集群zookeeper clickhouse架构
架构设计理解
作为一个开发人员，经常会听到架构一词，那么架构到底是什么呢？又为什么需要架构呢？以及架构设计的要点在哪？目前我作为一年级新生（工作经验一年），希望能以自己的了解浅显的回答下这个问题。 架构的定义 架构是什么？维基百科给出的解释是：架构是有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的 ......
logstash抽取clickhouse数据库偶现网络错误异常并提示FORMAT TabSeparatedWithNamesAndTypes格式问题
如上图错误信息所示，可以看到第一次sql查询是正常的，在第二次offset偏移的时候报了网络错误。 起初的想法就是clickhouse的问题，把sql粘贴出来放入clickHouse中单独执行发现sql并无问题。然后又认为是logstash的问题并分别下载了logstash-7.3.1、logsta ......
泛型仓储+服务架构落地
一、前言 本文章只为作学习记录使用，文中图片或引用均为网上摘抄，如涉嫌侵权请联系本人删除。 二、准备工作 1.Visual Studio 2022 2.Windows 11、.NET 6 环境 三、什么是仓储 仓储（Repository）模式自2004年首次作为领域驱动模型DDD设计的一部分引入，仓 ......
EMQX集群的创建和使用
EMQX的安装 Ubuntu 本页将指导您如何在 Ubuntu 系统中下载安装并启动 EMQX。 通过 Apt 源安装 EMQX 支持通过 Apt 源安装，免除了用户需要手动处理依赖关系和更新软件包等的困扰，具有更加方便、安全和易用等优点。如希望通过 Apt 源安装 EMQX，可参考如下步骤。 1. ......
Logstash：如何连接到带有 HTTPS 访问的集群
https://blog.csdn.net/UbuntuTouch/article/details/126868040 前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在 Elasticse ......
minio集群的部署【nginx+minio]
1、 配置MinIO集群配置本地解析在/etc/hosts中配置 vim /etc/hosts #添加以下内容，每台MinIO节点都需要配置 192.168.5.1 minio-1 192.168.5.2 minio-2 192.168.5.3 minio-3 192.168.5.4 minio-4 ......
分布式架构的高性能与可用性
分布式架构是一种将系统拆分为多个独立的组件或服务，并在不同的计算节点上部署这些组件或服务的架构方式。它可以提供高性能和可用性的好处。下面我将详细介绍分布式架构在高性能和可用性方面的优势。 高性能 横向扩展：分布式架构可以通过增加计算节点来实现横向扩展，从而提高系统的处理能力和吞吐量。当系统负载增加时 ......
GlusterFS集群安装
GlusterFS集群安装 GlusterFS 参考链接：https://zhuanlan.zhihu.com/p/586419358 安装环境准备 服务器编号 OS IP GFS1 CentOS7.9-2009 192.168.1.15 GFS2 CentOS7.9-2009 192.168.1. ......
Hive的体系架构
Hello，大家好，上一篇博文聊了一下Hive的基本知识，为了让大家更深入地理解Hive，本篇就写一下Hive的体系架构吧。 先看一张图： 大概解释一下： command-line shell & thrift/jdbc 可以用 command-line shell 和 thrift／jdbc 两种 ......
如何通过port-forward命令在本地访问 k8s 集群服务
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 概述 在我们访问k8s中的pod服务时，一般通过node port映射pod端口进行访问，还有一种是通过ingress或者istio通过域名方式来访问，虽然两种方式能满足我们需求，但是如果针对临时访问，配置起来还是有点复杂和 ......
electron 技术架构
Electron核心组成 核心总结 Chromium：支持最新特性的浏览器（支持ES6及其他版本的新语法） Node.js: Javascript 运行时，可实现文件读写等（本地命令调用和执行操作） Native APIs：提供统一的原生界面能力（与操作系统通信，如操作系统的通知、快捷键、获取底层硬 ......
吉特日化MES 与周边系统集成架构
作者：情缘 出处：http://www.cnblogs.com/qingyuan/ 关于作者：从事仓库，生产软件方面的开发，在项目管理以及企业经营方面寻求发展之路 版权声明：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。 联系方式: 个人QQ ......
《架构师之路：软件架构之美》阅读三
老师教我们软件架构的时候，就告诉我们，软件开发，先从架构入手。他说，弄清楚了架构，再来学习具体的语法和技术就很简单了。以前不懂，底层具体的细节都不了解，如何来构建一个系统呢？就像让我们去建造一栋大厦，刚开始想到的可能就是需要砖、砌墙的工具、、、、、这就像刚学习编程的自己，以为掌握了一门语言，会使用几 ......
在arm架构的银河麒麟系统部署Redis
以下是在arm架构的银河麒麟系统上部署Redis的详细步骤： 1. 创建文件夹 首先，在合适的位置创建必要的文件夹。在本例中，我们将创建/opt/redis和/usr/src/redis两个文件夹。 mkdir /opt/redis mkdir /usr/src/redis 2. 准备Redis及其 ......
前端微服务架构1-项目启动及打包部署
启动 父子应用可以单独启动，单独启动就不说了 关于一起启动 1、安装npmall: npm install npm-run-all --save-dev 2、编写启动命令 "scripts": { "dev": "webpack-dev-server --inline --hot --progres ......
前端微服务架构2-路由配置
先声明我的项目使用的是history路由，hash路由的坑没有踩 父应用的路由 { path: '/compliancePromotion/:pathMatch(.*)*', //微服务，由于子应用可能还有二级菜单，所以子应用的所有菜单都得匹配上 name: 'compliancePromotion ......
前端微服务架构1-搭建项目
公司项目老旧，迭代时间过久，迭代人员水平一般的情况下还有添加新模块怎么办？ 这几天尝试了一下开源的微服务架构， 目前网上有两种开源框架： 1、蚂蚁的qiankun目前15.1k 2、京东的micro-app目前4.9k点赞， 前者的点赞量在github上更高，所以我选择了前者 搭建也不是很难，主要是 ......
架构与思维：如何应对Redis热Key？
★ Redis系列文章 Redis系列1：深刻理解高性能Redis的本质 Redis系列2：数据持久化提高可用性 Redis系列3：高可用之主从架构 Redis系列4：高可用之Sentinel(哨兵模式） Redis系列5：深入分析Cluster 集群模式 追求性能极致：Redis6.0的多线程模型 ......
架构基础
特点,本质 软件架构简介 抽象而言，架构就 是对系统中的实体以及实体之间的关系所进行的抽象描述， 是对物/信息的功能与形式元素之间的对应情况所做的分配， 是对元素之间的关系以及元素同周边环境之间的关系所做的定义； 软件架构的核心价值，即是控制系统的复杂性，将核心业务逻辑和技术细节的分离与解耦； 软件 ......
存储架构- shared-everything
西瓜哥：从Shared-Nothing到Shared-Everything：分布式全闪架构的演进与未来 (doit.com.cn) 西瓜哥：从Shared-Nothing到Shared-Everything，分布式全闪架构演进之路-DOIT Shared Everything的分布式存储，来了！-存 ......
架构整洁之道笔记2
设计原则 SRP 单一职责原则 一般会被大家简单理解为：一个函数只完成一个功能。 实际上，单一职责原则是：任何一个软件模块都应该只对某一类行为者负责。 我比较喜欢记住这个解释：任何一个软件模块都应该有且只有一个被修改的原因。当一组人对一些数据有共同的责任时，那这些数据的处理适合放在同一个地方管理，如 ......
mysql集群模式分析
集群的好处 高可用性：故障检测及迁移，多节点备份。 可伸缩性：新增数据库节点便利，方便扩容。 负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。 集群要考虑的风险 网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。 脑裂：导致数据库节点彼此 ......
SD Host控制器微架构设计-02
SD_clk 测试模式下,选择hclk,将扫描链中的时钟保持一致 clk_en表示可以通过软硬件关闭时钟 sd_if模块 模块中设置一些寄存器,我们可以对寄存器进行读写或者对于寄存器中的某些域段进行读写操作 对于AHB总线的协议进行解析,将address phase和data phase进行对齐 a ......
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
吉特日化MES & WMS 与周边系统集成架构
作者：情缘 出处：http://www.cnblogs.com/qingyuan/ 关于作者：从事仓库，生产软件方面的开发，在项目管理以及企业经营方面寻求发展之路 版权声明：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。 联系方式: 个人QQ ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
Linux Zookeeper在Docker 安装与简单通信
一、在本地计算机上安装Docker 1.安装Docker （安装最新的Docker版本） yum install docker-ce docker-ce-cli containerd.io docker-bulidx-plugin docker-compose-plugin 2.查看Docker版本 ......