集群zookeeper clickhouse架构
关于es中集群，节点，分片和副本的理解
集群 页面中每一个对象就是一个集群 节点 集群中包含许多es实例，其中一个es实例就是一个节点 节点也分许多功能 分片和副本 该例子中分片数为9，副本数为1 数据节点就是Node 注意：a和b是同样的数据，a为主分片，b为副本分片，但是同样的数据不能放在相同的节点上面，为了防止某个节点瘫痪导致主节点 ......
更新 Kubernetes 集群中 Argo CD 的服务类型为 NodePort失败
这个问题是我再做项目的时候要开区argoCD时并链接时端口开区不了 kubectl patch svc argocd-server -n argocd -p '{"spec": {"type": "NodePort"}}' service/argocd-server patched (no chan ......
Nacos安装部署（单机、集群）
一、前言 （一）、nacos支持三种部署 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境，确保高可用。 多集群模式 - 用于多数据中心场景。 （二）、官网地址 https://nacos.io/zh-cn/ 1.点击进入nacos版本及源码下载网页 2.根据圈中进行nacos版本选择 ......
VM虚拟机安装系统出现架构不兼容提示
报错内容： 无法打开此虚拟机的电源，因为此虚拟机需要使用 Arm 计算机架构，而该架构与此 X86 计算机架构主机不兼容。请参见知识库文章 84273。 解决方法： 这是因为镜像所需的架构和计算机本身的架构不兼容，比如我下载的就是arm64架构的iso镜像，但是我本身的电脑是win11系统，是x86 ......
手动部署Kraft模式Kafka集群
手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka ......
Kafka3.6.0 linux 安装，非zookeeper模式
参考： 安装Kafka3.3.1及kraft运行，告别zookeeper_kafka 3.3.1 jdk 无需zookeeper，kafka3.0版本集群安装实战 操作系统：ubutun18.04LTS 1.下载 到kafka官网下载 2.上传到服务器指定位置 3.解压到指定目录，这里我放到/opt ......
Hadoop-3.3.6分布式集群搭建步骤
1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h ......
C++聊天集群服务器2
总体项目结构如下： 一、数据库的封装 db.h如图代码量不多 db.cpp： #include "db.h" #include <muduo/base/Logging.h> // 数据库配置信息 static string server = "127.0.0.1"; static str ......
SD Host控制器微架构设计
微架构设计思路 ahb_slave_if中的寄存器可以在datasheet中进行描述 sd_clk - 时钟产生模块的接口描述 sd_data_fsm和sd_cmd_fsm - 状态机描述 发送时序需要遵守,并且在发送的时候需要产生CRC 接受时序需要遵守,并且要接收CRC,进行比较 FiFo中有存 ......
clickhouse infoes
我们可以使用下面的查询来获取关于表的元数据： SELECT part_type, path, formatReadableQuantity(rows) AS rows, formatReadableSize(data_uncompressed_bytes) AS data_uncompressed_ ......
C++聊天集群服务器1
先给出整个项目的结构图： 一、环境搭建 施磊的c++聊天项目。相信已经到了这部分内容就已经能够自行搭建环境了，这里主要给出搭建的具体内容，方法自行百度。下面给出环境要求。 1.json-cpp 2.muduo库 3.cmake 4.mysql 二、CMake编写 主目 ......
在x86_64的ubuntu下载并运行aarch64架构的容器
在x86_64的ubuntu下载并运行aarch64架构的容器 docker仓库官网 https://hub.docker.com/ docker操作相关指令 #拉取docker镜像 sudo docker pull 镜像名称 #加载本地docker文件 sudo docker load -i 文件 ......
minio集群部署
minio集群部署 1.说明： 安装前需要再添加一个磁盘后将磁盘挂载到/opt/minio目录,minio集群部署需要独占磁盘分区，不能使用文件夹代替。 运行分布式 MinIO 实例的服务器时间差不应超过15分钟 所有运行分布式 MinIO 设置的节点都是同构的，即相同的操作系统、相同数量的磁盘和相 ......
11、Redis集群（cluster）【面试重点】
*提示 目前一般比较少用复制+哨兵模式，一般都是直接上集群 一、是什么 二、能干嘛 三、集群算法-分片-槽位slot【高频考点】 1、官网出处 2、redis集群的槽位slot 3、redis集群的分片 4、他两的优势 5、slot槽位映射，一般业界有3中解决方案 5.1 哈希取余分区 5.2 一致 ......
软件测试/人工智能|AutoGPT原理与架构介绍
简介 我们生活中已经有越来越多的人工智能融入了，手机汽车等等接入了越来越多的人工智能，人工智能就像是我们的一个助手一样。不仅能够理解我们的需求，而且还能够与我们一起学习与成长。人工智能已无缝融入我们工作、生活，并帮助我们有效完成各种目标。大模型技术的发展与应用，使以上想法成为现实。特别是ChatGP ......
安装k8s集群的小问题
网络问题：直接安装calico插件，没有配置网络会导致每个节点的路由无法转发，pod之间跨节点无法通信 解决办法：使用calico+flannel作为cni普罗米修斯部署时，网络策略会导致只能特定pod才能通信（nodeport部署服务失效） 解决办法：删除网络策略的部署 ......
如何做好架构设计，架构设计有章可循吗？ | 京东云技术团队
设计一个系统的过程，就是建造一座大厦的过程，架构设计的质量直接决定了大厦的质量。 在我们进行系统的架构设计时，总是会遇到一系列的问题，比如一个大型系统的架构应该如何起步，从哪里开始设计？系统是否应该划分成多个模块，应该怎么划分模块才更加的合理？亦或是觉得产品提出的需求非常不合理，完全影响我们正常的架 ......
Web开发技术架构设计
Web开发技术架构设计是一项非常重要的工作，它关系到Web应用的性能、安全、可靠性等方面。以下是Web开发技术架构设计中需要考虑的几个方面： 1、前端技术架构设计 前端技术架构设计是Web开发技术架构设计中重要的一环。前端技术架构设计包括界面设计、交互设计、视觉设计、前端框架和库的选择、代码规范等方 ......
linux部署单节点clickhouse
一、部署clickhouse 1、配置yum源进行安装，详情看官网：https://clickhouse.com/docs/zh/getting-started/install 2、使用rpm包安装。 2.1、在https://packages.clickhouse.com/rpm/stable/或 ......
数据仓库中的架构
数据仓库的架构和相关建设规范 1.数据仓库的定义 官方定义 数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。 这个定义的确官方，但是却指出了数据仓库的四个特点。 特点 面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关 ......
clickhouse导入数据
csv文件导入 clickhouse-client --query "INSERT INTO cell_towers FORMAT CSVWithNames" < cell_towers.csv ......
Kubernetes进阶之使用二进制包部署集群
前言 之前关于Kubernetes有写过文档 参考：Kubernetes入门进阶课程 https://www.cnblogs.com/minseo/category/1654539.html 本文针对操作系统以及软件的新版本补充使用二进制包部署集群 之前版本部署参考：https://www.cnbl ......
clickhouse-配置浅谈
clickhouse，全称: click stream warehouse, 简称: ck. 属于 LOAP 分类下的数据库类型，且为列式数据库。 在mac下，安装简单。 brew install clickhouse 如果想下载源码，则去github官网down即可。 涉及相关配置的文件，也可以在 ......
如何做好架构设计，架构设计有章可循吗？
设计一个系统的过程，就是建造一座大厦的过程，架构设计的质量直接决定了大厦的质量。 在我们进行系统的架构设计时，总是会遇到一系列的问题，比如一个大型系统的架构应该如何起步，从哪里开始设计？系统是否应该划分成多个模块，应该怎么划分模块才更加的合理？亦或是觉得产品提出的需求非常不合理，完全影响我们正常的架 ......
线上ES集群参数配置引起的业务异常案例分析
作者：vivo 互联网数据库团队- Liu Huang 本文介绍了一次排查Elasticsearch node_concurrent_recoveries 引发的性能问题的过程。 一、故障描述 1.1 故障现象 1. 业务反馈 业务部分读请求抛出请求超时的错误。 2. 故障定位信息获取 故障开始时间 ......
《架构漫谈》阅读笔记3
今天阅读了《架构漫谈》第三章的内容。 作为软件工程师或者架构师，我们大部分时候是要去解决别人的问题，“别人”是谁，是值得好好思考的。明白了问题的主体，这个主体就自然会带来很多边界约束。找出问题的主体，是做架构的首要问题。 要正确的认识问题，需要问两个问题： 这是谁的问题？ 有什么问题？ 架构漫谈的第 ......
Windows下RabbitMQ 集群及应用测试
转自：https://blog.csdn.net/elie_yang/article/details/86657851 1：安装erlang环境； 2：安装RabbitMQ, 以上2步都是下载安装，下一步结束；参考官网：http://www.rabbitmq.com/install-windows. ......
haproxy+nginx实现web负载均衡集群：
haproxy+nginx实现web负载均衡集群： 主机 | 系统 |IP地址|主要软件|—|— |—| — |—Haproxy服务器 |CentOS7.9 X86_64 |192.168.8.202| haproxy-1.5.19.tar.gzNginx服务器1 |CentOS7.9 X86_64 ......
每天5分钟复习OpenStack（十）Ceph 架构
在很多关于Ceph的文章中，通常会介绍一堆概念。虽然这些概念很重要，但是对于一个新手来说，同时接受太多的概念实际上很难消化。因此，在阅读本章节时要保持轻松的心情，只需要对所有的概念有个了解就可以了，因为这些概念在接下来的Ceph章节中都会被反复提到。 1、Ceph是什么？ “Ceph is a un ......
一种推荐系统架构设计
机器学习系统设计的这个问题由两个主要构建块组成： 1-离线组件：该组件侧重于训练和验证推荐模型。 2-在线组件：该组件负责实时生成（推断）推荐。 最初的离线训练过程遵循经典的数据科学生命周期，从数据收集和转换为特征开始，到模型构建和验证结束。这些步骤的结果是捕获特征并存储在特征存储中的数据集，以及保 ......