集群zookeeper clickhouse架构
数据量很大，字段频繁变化，数据频繁刷新，架构如何设计？
这些系统具备横向扩展能力，适合存储海量数据。同时，由于字段频繁变化，可以采用NoSQL数据库（如MongoDB、Cassandra）作为辅助存储，它们支持动态的Schema设计和快速的写入操作，更好地适应字段变化的情况。为了应对字段频繁变化的情况，可以采用Schema on Read 的处理方式，即... ......
NIFI系列---【Linux离线安装nifi集群】
1.环境准备 准备三台4c8g的centos7服务器，分别安装jdk8，zookeeper-3.4.9 node01 node02 node03 2.下载nifi安装包和nifi-toolkit-1.19.1-bin.zip安装包 下载地址:https://archive.apache.org/di ......
Centos7部署zookeeper+kafka
一、Zookeeper 概述 1、Zookeeper 定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 2、Zookeeper 工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据， ......
ZooKeeper集群脑裂问题处理，值得收藏！
转载自：https://cloud.tencent.com/developer/article/1758883 本文重点讲解ZooKeeper脑裂问题的处理办法。ZooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通 ......
应用架构的演进 I 使用无服务器保证数据一致性
在微服务架构中，一个业务操作往往需要跨多个服务协作完成，包含了读取数据和更新多个服务的数据同时进行。在数据读取和写入的过程中，有一个服务失败了，势必会造成同进程其他服务数据不一致的问题。 ......
机器学习——编码器和解码器架构
正如我们在 9.5节中所讨论的， 机器翻译是序列转换模型的一个核心问题， 其输入和输出都是长度可变的序列。 为了处理这种类型的输入和输出， 我们可以设计一个包含两个主要组件的架构： 第一个组件是一个编码器（encoder）： 它接受一个长度可变的序列作为输入， 并将其转换为具有固定形状的编码状态。 ......
RedisTimeSeries+ClickHouse来实现时序数据的分析和实时查询
ClickHouse很好，在它擅长的OLAP领域。千万级别的数据的分页查询秒级呈现。由于其对资源的使用追求极致，所以相应的TPS不是很高。所有的OLAP的数据库本身TPS都不会很高，单台机器100+就可称之为优秀了。然而，高并发的读写正好是Redis所擅长的，如何将两者的优点结合起来呢？在IOT行业 ......
zookeeper节点介绍
参考：https://blog.51cto.com/u_15535797/6076363 节点特性 zookeeper 中节点叫znode存储结构上跟文件系统类似，以树级结构进行存储。不同之外在于znode没有目录的概念，不能执行类似cd之类的命令。 znode结点属性如下： path:唯一路径 c ......
zookeeper之curator API
参考：https://www.jianshu.com/p/075f3262938c 概述 Apache Curator是一个比较完善的，由Netflix公司开源的一套ZooKeeper的JAVA客户端框架组件。解决了很多Zookeeper客户端非常底层的细节开发工作，包括连接重连、反复注册Watch ......
redis 集群部署
在生产环境不存在单体果奔的数据库，且云厂商rds等高可用数据库性价比极低，因此很多场景需要我们使用实例自建集群。本章介绍如何从0开始搭建redis7三主三从基础集群环境与故障迁移模拟测试。 预备姿势 vm模拟环境 vmware cetos7.9 //关闭防火墙与selinux redis7 | 6 ......
架构设计：数据中台如何落地
随着数据驱动业务的发展，数据中台作为一种新兴的架构设计模式，逐渐受到企业的关注和采用。数据中台旨在构建统一的数据基础设施和数据服务，为企业内部各业务部门提供高效的数据支持和数据交换能力。在实际落地数据中台项目时，良好的架构设计是至关重要的。本文将探讨数据中台的架构设计要素和一些最佳实践。 1、架构设 ......
openGauss集群主库出现流复制延迟告警
问题描述：环境是openGauss 5.0集群，在一次意外重启数据库之后。收到了一个主库的主从延迟告警，只有从库才能出现延迟，主库怎么会出现了告警延迟 告警信息： Status: Resolved Hostname: hkuatxcrecondb01 IP Address: 192.168.163. ......
轻量级前端架构之：小程序技术
无生态，不平台。
全球人口红利瓶颈，大流量App的建设到了需要深耕流量的阶段，单纯靠自研提供业务的软件支撑，并不能留住日益多元化选择的用户，生态是深耕用户，吸引更多忠诚用户的关键。 ......
浅谈移动端GPU架构
【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！ 一、前言 本文是关于TBR、TBDR和IMR三种不同的GPU架构的学习和总结，希望可以帮助到大家理解这些概念。 前置概念现有的GPU架构主要分为以下三类： Im ......
DDD如何落地：去哪儿的DDD架构实操之路
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
手机centos下mysql安装，ARM架构下安装Mysql8.0数据库
只能安装使用Mysql 8.0版本，因为5.7版本在mysql官网没有适配，需要自己手动编译安装 一、下载镜像 https://downloads.mysql.com/archives/community/ 二、卸载系统自带的MySQL和MariaDB rpm -qa | grep mysql rp ......
Linux下安装Zookeeper
前言 Zookeeper是java编写，所以需要先安装JDK环境：linux安装JDK 1.下载解压文件 tar zxvf apache-zookeeper-3.6.3-bin.tar.gz 2.在主目录下创建data和logs两个目录用于存储数据和日志： cd /opt/apache-zookee ......
假设对思维体系进行面向对象的架构组织
学习的东西很多，学过之后不用容易忘掉。学的时候钻研进去，探索到比较内部的功能，在当时是很了解的。当退出学习环境之后，就边等生冷。以后再次进去的话需要重新挖一遍的样子。每一门想学的东西，从开始接触，慢慢深挖，要搜索好多东西。有的时候搜不到这些东西。再次走一遍的话如果不记得原来的会比较难再走一遍。最近a ......
kk 工具安装K8S集群
设置时区 每个节点都要操作 timedatectl set-timezone Asia/Shanghai 查看时区 timedatectl 安装环境依赖 yum install -y socat conntrack ebtables ipset 安装时间同步 每个节点都要操作 yum install ......
从混乱到优雅：基于DDD的六边形架构的代码翻新指南
趁着双十一备战封板，终于又有一些时间可以梳理一下最近的心得。最近这半年跟同事讨论比较多的是分层架构，然后就会遇到两个触及灵魂的问题，一个是如何做好分层架构，二是DDD在架构层面该如何落地。 ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
基于 Istio 的灰度发布架构方案实践之路
1. 背景介绍 灰度发布，又名金丝雀发布，是指能够平滑过渡的一种发布方式。基于系统稳定性和快速业务迭代的综合考虑，业务应用开发团队采取了新版本服务灰度上线的方式，即新版本服务并非全量发布到线上环境，而是发布少数几个实例进行灰度验证，没有问题后再全量发布。在部分核心服务进行接口升级和逻辑迁移时，还会通 ......
VPC终端节点的实现架构和原理
什么是VPC终端节点？
在传统的VPC架构中，为了使VPC内的资源能够与云服务提供商的各种服务进行通信，通常需要通过公共Internet进行访问。这种方式存在一些问题，比如安全性、可靠性、访问速度等。为了解决这些问题，云服务提供商推出了VPC终端节点。
VPC终端节点是VPC内的一种虚拟设备，它直接... ......
微服务架构【原理】
一、架构图 微服务访问大致路径为：外部请求 → 负载均衡 → 服务网关（GateWay）→ 微服务 → 数据服务/消息服务。服务网关和微服务都会用到服务注册和发现来调用依赖的其他服务，各服务集群都能通过配置中心服务来获得配置信息。 二、服务网关（GateWay） 网关是外界系统（如：客户端浏览器、移 ......
架构设计【电商系统】
一、架构图 二、交易核心 2.1、基础交易类型抽象 2.2、多表聚合&订单关联 2.3、支付核心 2.4、支付编排 2.5、异常处理机制 2.6、渠道网关 2.7、资金核算体系 2.8、平台统一上下文 2.9、数据一致性挑战 2.9.1、CAS 2.9.2、幂等&异常补偿 2.9.3、对账 2.9. ......
手把手系列 - Ceph使用rbd及cephfs与k8s集群集成 - 三种方式实现
前言 本次详细部署 k8s、ceph 以及如何使用 ceph 作为 k8s 的外部存储。 主机信息 主机名 IP 说明信息 k8s-master 192.168.199.41 k8s master k8s-node01 192.168.199.42 node k8s-node02 192.168.1 ......
3大方面升级华为云CCE集群体验，助力集群高效运维管理
我们会持续在“过程业务无感”、“稳定高效升级”、“丝滑交互体验”等方面进行持续优化，让集群升级过程更简单、高效和可靠。 ......
《大型网站技术架构--核心原理与案例分析》阅读笔记
这本书组织的很不错，语言精练，篇幅也不长，对网站架构的要点讲的狠清楚透彻，思路清晰。主要围绕架构的五个要点：性能、高可用、伸缩性、扩展性、安全性。令人印象非常深刻。而且李智慧老师深谙职场之道，后面一些关于技术人的建议也让人受用无穷。 事物发展到一定阶段，就会拥有自身的发展冲动，摆脱其初衷，向着使自己 ......