分布式 体系
[数据管理] 数据中台之数据服务体系
9 数据服务体系 9.0 序：数据资产 => 数据服务（【资产服务化】，服务业务化） 水是生命的源泉，是人们赖以生存和发展的重要物质资源。 在日常生活中，可以通过不同的方式使用水，这也给我们的生活带来巨大便利。 在数据世界中，数据资产就好比日常生活中生命所需的水资源，无处不在且不可或缺。 但是如果没 ......
聊聊分布式 SQL 数据库Doris(九)
优化器的作用是优化查询语句的执行效率，它通过评估不同的执行计划并选择最优的执行计划来实现这一目标。 CBO: 一种基于成本的优化器，它通过评估不同查询执行计划的成本来选择最优的执行计划。CBO会根据数据库系统定义的统计信息以及其他因素，对不同的执行计划进行评估，并选择成本最低的执行计划。CBO的目标 ......
深圳大学计算机系统3-标准格式 实验五：存储体系实验1
深圳大学实验报告 课程名称： 计算机系统(3) 实验项目名称： 存储体系实验 学院： 计算机与软件学院 专业： 计算机与软件学院所有专业 指导教师： 罗秋明 报告人： 刘俊楠 学号： 2017303010班级： 01 实验时间： 2021.12.10 实验报告提交时间： 2021.12.13 教务处 ......
分布式系统HDFS
1、完全分布式搭建 hadoop102[namenode,datanode],hadoop103[datanode], hadoop104[secondarynamenode,datanode] 缺少104,配置104 选择完全克隆103 机器的名称 hadoop104 配置机器的IP 192.16 ......
伪分布环境搭建
1. 进⼊/opt/install/hadoop/etc/hadoop⽬录 2. 修改hadoop-env.sh：注释第25⾏并插⼊：export JAVA_HOME=/opt/install/jdk 3. 修改core-site.xml：在<configuration>与</configurati ......
智慧水利LiteCVR视频监控方案：技防+人防构建智慧治水新体系
方案将数据采集设备、远程可视化视频管理系统以及智能分析系统相结合，强化小水电站视频监控站点维护，提高水利工程建设信息化水平和管理能力，实现无人值守、少人值守、节约管理成本的效果。 ......
聊聊分布式 SQL 数据库Doris(八)
稀疏索引 密集索引：文件中的每个搜索码值都对应一个索引值，就是叶子节点保存了整行. 稀疏索引：文件只为索引码的某些值建立索引项. 稀疏索引的创建过程包括将集合中的元素分段，并给每个分段中的最小元素创建索引。在搜索时，先定位到第一个大于搜索值的索引的前一个索引，然后从该索引所在的分段中从前向后顺序遍历 ......
权重体系的构建
本文将针对权重计算的一些常见问题进行说明：如组合赋权法的综合权重值如何计算？多层级权重如何计算？用多种方法计算得到的权重如何合并为综合权重用于之后的分析？常见的不同权重计算方法的搭配方式？ 一、九种权重计算方法回顾 权重计算方法的选择在评级指标体系构建中属于重中之重，不同的方法对应的计算原理并不相同 ......
hive+mysql的伪分布式数据仓库搭建
1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
Java核心知识体系7：线程安全性讨论
Java核心知识体系1：泛型机制详解 Java核心知识体系2：注解机制详解 Java核心知识体系3：异常机制详解 Java核心知识体系4：AOP原理和切面应用 Java核心知识体系5：反射机制详解 Java核心知识体系6：集合框架详解 1 为什么需要多线程 我们都知道，CPU、内存、I/O 设备的速 ......
聊聊分布式 SQL 数据库Doris(七)
LSM-Tree Doris的存储结构是类似LSM-Tree设计的，因此很多方面都是通用的，先阅读了解LSM相关的知识，再看Doris的底层存储与读取流程会清晰透彻很多，如下是几个关键的设计: SSTable: Sorted Strings Table; 一般由一组数据block和一组元数据bloc ......
计算机体系结构与性能总结
计算机总体体系结构 如上图，计算机从硬件到软件，而计算机系统结构就处于连接硬件与软件之间。底层为实际机器，即更偏向硬件，使用机器语言，高层为虚拟机器，即更偏向软件，使用汇编语言可转化为机器语言，这是软硬件相连节点，更高级即为高级语言。 提升计算机系统性能时，总共有以下几种方法依据：定量原理，加快经常 ......
【scipy 基础】--统计分布
scipy.stats子模块包含大量的概率分布、汇总和频率统计、相关函数和统计测试、掩蔽统计、核密度估计、准蒙特卡罗功能等等。 这个子模块可以帮助我们描述和分析数据，进行假设检验和拟合统计模型等。 1. 主要功能 具体来说，scipy.stats子模块包括以下主要功能： 类别 说明 连续统计分布 包 ......
对Laxcus分布式操作系统的认知、价值、痛点解决的回答
下面是一位网友的提问，回答贴出来供大家参考，欢迎在下方留言评论。 问： Laxcus分布式操作系统有哪些与众不同的地方？它的价值在哪里？解决了哪些市场痛点？我公司现在已经使用Linux操作系统部署了一堆服务器，你如何说服我弃用Linux使用Laxcus？ 回答： Laxcus分布式操作系统是操作系统 ......
聊聊分布式 SQL 数据库Doris(六)
负载均衡 此处的负载均衡指的是FE层的负载均衡. 当部署多个 FE 节点时，用户可以在多个 FE 之上部署负载均衡层来实现 Doris 的高可用。官方文档描述: 负载均衡 。 实现方式 实现方式有多种，如下列举。 开发者在应用层自己进行重试与负载均衡。 JDBC Connector 发现一个连接挂掉 ......
Hadoop-3.3.6分布式集群搭建步骤
1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h ......
聊聊分布式 SQL 数据库Doris(五)
阅读 Doris SQL 原理解析，总结下Doris中SQL解析流程： 词法识别：解析原始SQL文本，拆分token 语法识别：将token转换成AST 单机逻辑查询计划：将AST经过一系列的优化（比如，谓词下推等）成查询计划，提高执行性能与效率。 分布式逻辑查询计划：根据分布式环境（数据分布信息、 ......
为什么全序集降位和和逆序对在同一长度的排列的分布相同？
引入 在 q-analog 中，我们知道： \[\sum_{p\in S}q^{\operatorname{maj}(p)}=\sum_{p\in S}q^{\tau(p)}=\binom{\sum a_i}{a_1,a_2,\dots,a_n}_q \]其中 \(S\) 是 \(a_i\) 个 \ ......
科普：多领域分布式协同仿真
分布式协同仿真是一种在分布式计算环境中进行协同工作的仿真方法。使用该方法进行协同仿真时，仿真任务将被分发到多个计算节点上，并且这些节点可以同时工作以模拟完整的系统行为。分布式协同仿真已被广泛应用于工程、科学和军事领域，以便更好地模拟和理解大规模和复杂系统的行为。 分布式协同仿真有以下特点： 1.集成 ......
Kafka分布式消息队列
一、Kafka的的介绍 （一）、概述 1、Kafka是由LinkedIn开发的一个分布式的消息系统，底层使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 2、Kafka是一个分布 ......
3高级篇--商城业务--压测--缓存--分布式锁
高级篇--商城业务 部分 本笔记从谷粒商城的P141（性能测试）开始记录 一、性能与压力测试 压力测试考察当前软硬件环境下系统所能承受的最大负荷并帮助找出系统瓶颈所在。压测都是为了系统在线上的处理能力和稳定性维持在一个标准范围内，做到心中有数。 使用压力测试，我们有希望找到很多种用其他测试方 ......
（1）操作系统知识体系
体系概览 核心 操作系统最核心的部分是进程，因为操作系统不能自己提供服务，它只能通过安装系统中的应用程序。而应用程序启动后就成了进程。 围绕进程梳理发现： 进程往往要做很多事情，比如浏览器同时要处理网络、又要处理鼠标、还要展示内容，因此有了多线程的概念。 进程需要执行用的存储空间，比如需要程序指令、 ......
分布式通讯方式比较（RPC、RMI、JMS、WebService、TIBCO）
在分布式服务框架中，最基本的问题就是网络服务间的远程通讯。根据计算机网络通讯的基本原理，网络服务间的通讯就是将数据流从一台PC传输到另一台PC，这一切都是基于网络传输协议与网络IO实现的。网络传输技术发展至今，我们常用的协议都是基于Socket而扩展出的传输协议，主要有HTTP、TCP、UDP，网络 ......
利用 docker 实现JMeter分布式压测
在工作中经常需要对一些关键接口做高QPS的压测，JMeter是由Java 语言开发，没创建一个线程（虚拟用户），JVM默认会为每个线程分配1M的堆栈内存空间。受限于单台试压机的配置很难实现太高的并发。所以，通过JMeter实现分布式，可以整合多台主机的硬件资源，实现同时对被测试接口进行压力测试。 ......
腾讯 PCG 数据治理体系
腾讯 PCG 数据治理体系 https://mp.weixin.qq.com/s/3-6eZbL7kbqgrf3xOYjXRQ PCG 元数据建设（链路、血缘、热度、成本等）；构建治理引擎(资产分体系、治理引擎)；构建大数据开发相关套件。 翻译 搜索 复制 ......
数据分析从入门到高级，10分钟帮你构建知识体系！
数据分析是一种通过收集、整理、解释和可视化数据来获得洞察力和做出决策的过程。在本文中，我将为你介绍数据分析的入门知识，并逐步向你介绍一些高级概念和技巧。以上是一个简要的数据分析知识体系，涵盖了数据分析的入门知识和一些高级概念和技巧。通过学习和实践，你将逐步掌握这些概念和技能，并能够运用它们来解决实际... ......
二项分布
数学之美 今天你不看天气预报，不想昨天前天有没有下雨，不用任何知识去猜出明天是否会下雨，这是一个事件；如果你连续猜未来两天的，那就是两个事件，而且这两个事件是独立的 如果说第一天你猜中会下雨的概率为$P_0$，第二天你猜中下雨的概率为$P_1$，则两天都猜中下雨的概率$P_0$*\(P_1\)，如果 ......
聊聊分布式 SQL 数据库Doris(四)
FE层的架构都能在网上找到说明. 但BE层的架构模式、一致性保障、与FE层之间的请求逻辑，数据传输逻辑等，我个人暂时没有找到相应的博客说明这些的。当然这些是我个人在学习与使用Doris过程中，对内部交互逻辑与实现感兴趣才有这些疑问. 还好现在有GPT这类大模型，有了疑问，只要问题描述得当，大多可以解 ......
Welcome to YARP - 8.分布式跟踪
Welcome to YARP - 1.认识YARP并搭建反向代理服务 Welcome to YARP - 2.配置功能 2.1 - 配置文件（Configuration Files） 2.2 - 配置提供者（Configuration Providers） 2.3 - 配置过滤器（Configur ......
keycloak~分布式缓存的使用
keycloak目前提供了几种分布式缓存，我们自己的缓存，如果希望是分布式的，可以将缓存添加到以下几个缓存里即可 actionTokens clientSessions loginFailures offlineClientSessions offlineSessions sessions work ......