集群zookeeper clickhouse架构
SAP-APP-服务器组-pacemaker集群的基础环境的安装部署-001
1、安装 pacemaker 相关的软件及可能会用到的软件，两台主机都需要安装 [root@app01 qq-5201351]# yum install nmap-ncat -y [root@app01 qq-5201351]# yum install pcs -y [root@app01 qq-5 ......
软件架构读书笔记2
第二部分：计算机功底 主要讲解的是术。计算机功底、语言、框架、网络、数据库、操作系统等。 印象最深刻的是框架那一章。作者提到，熟悉一个框架之后，更多的是应该去关注它的缺点，而不是优点。更应该关注它不能做什么，而不是它能做什么。 它不能做什么往往是别的框架的改进点。 细想，如果你不关注它不能做什么，在 ......
软件架构设计读书笔记
第一部分：什么是架构？ 一句话:架构是针对所有重要问题做出的重要决策。 不同公司或者相同公司在不同的阶段所面临的问题不同，架构自然也会有所不同。 个人认为，不存在称之为完美的架构，只会存在最适合的。面对的场景，着重的目的不同，那么相应的决策也会不同(有点废话)。 架构的分类。 作者从技术的角度，把软 ......
kubeadm安装k8s集群
1.机器准备 部署k8s集群的节点按照用途可以划分为如下2类角色： master：集群的master节点，集群的初始化节点，基础配置不低于2c 4g slave：集群的slave节点，可以多台，基础配置不低于1c 2g 这里教程是基于非高可用版本的k8s集群，高可用是指有多个k8s-master主节 ......
[Clickhouse] Clickhouse 报SQLException : Read timed out
1 问题描述 在使用Clickhouse(21.3.4.25)进行大数据量地数据查询，高频报出 SQLException : Read timed out 错误 2 问题分析 2.1 单次查询：耗时约4s 2.2 并发20查询：报SQLException Read timeout，并发5查询：正常 ......
教你使用Prometheus-Operator进行K8s集群监控
本文分享自华为云社区《Promethues-operator入门使用指导》，作者：可以交个朋友。 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配 ......
prometheus监控k8s集群node节点/linux操作系统
prometheus监控k8s集群node节点/linux操作系统 一、监控linux操作系统 1、下载二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0 ......
GSM/WCDMA/LTE/NR网元架构
1、GSM系统网元架构： 一套完整的蜂窝移动通信系统主要是由交换网络子系统（NSS）、无线基站子系统（BSS）、移动台（MS）及操作维护子系统（OMS）四大子系统设备组成。 NSS 包括： MSC: 交换，采集原始通话记录，移动性管理； HLR: 用来储存本地用户位置信息的数据库； VLR：用来储存 ......
【架构】事件驱动设计遇上事件溯源
From：现代软件架构：事件驱动设计遇上事件溯源 (qq.com) 在当今的软件领域中，做出正确的架构决策对于确保性能、可扩展性、可维护性和整体成功至关重要。在众多模式中，事件驱动架构（EDA）和事件溯源（ES）作为复杂软件系统最受欢迎的两种选择之一。虽然可以单独使用EDA或ES，但它们的结合可能效 ......
ClickHouse中select final和optimize table final的区别
ClickHouse中select final和optimize table final的区别 使用 OPTIMIZE TABLE FINAL 该语句会对表的数据部分进行计划外的合并，通常不建议使用。见官档：传送门 而在select中当 FINAL 被指定，ClickHouse会在返回结果之前完全合 ......
架构分类
SOA认知和方法论 1 前言 1.1 架构分类 在软件设计领域，企业架构通常被划分为如下五种分类： 如何理解架构分类依据及其彼此之间的关系？业务是企业赖以生存之本，因此业务架构是基础、是灵魂，其他一切均是对业务架构的支撑；根据业务架构形成与之相应的产品架构和数据架构；最后通过技术架构落地实施。 应用 ......
MVCS架构
个人感觉，model -> view这条线也可以改成model -> controller -> view，这样controller就变成了commonder分发（双向）。 ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
clickhouse sql优化笔记
1.order by sort_field limit 1 by group_f1, group_f2 sql目的：根据group_f1,group_f2去重并按照sort_field排序保留第一个 当数据量很大时，order by 操作非常慢而且占用内存很大，容易导致oom 优化方案：可以先分组， ......
centos7搭建kubernetes-v1.25.1集群（Containerd作为运行时）
集群配置 节点名称内存硬盘处理器内核总数ip master 6GB 40GB 6 192.168.67.166 node1 6GB 40GB 6 192.168.67.167 node2 6GB 40GB 6 192.168.67.168 一、所有节点更改镜像源 curl -o /etc/yum.r ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
Transformer架构在大型语言模型(LLM)中的应用与实践
Transformer架构是当今最前沿的语言模型技术之一，它已经在谷歌的BERT、OpenAI的GPT系列中取得了显著的成就。这一架构之所以独特，是因为它打破了传统的序列处理模式，引入了创新的“自注意力”机制。 Transformer架构的核心是自注意力机制，它使模型能够识别和重视输入数据中不同部分 ......
云电脑架构设计的层次
云电脑架构设计的层次
基础设施层是云电脑架构的最底层，负责提供计算、存储、网络等基础设施。这些基础设施可以由多个服务器组成，通过虚拟化技术进行资源池化，实现资源的动态分配和共享。基础设施层需要提供足够的计算、存储和网络资源，以满足虚拟化层和应用层的资源需求。同时，基础设施层还需要具备高可用性、可扩展... ......
系统架构设计系列之基础：初探软件架构设计
前言 欢迎来到软件架构设计的世界，这是一次面向有志成为架构师的研发工程师的学习和分享交流的机会。 本系列内容将结合理论和实践经验，探讨软件架构的基本知识、设计原则和最佳实践，旨在和大家一起更好地理解软件架构设计的重要性和成为架构师的路径。 一、架构的基础 我们都知道编写和调试一段代码直至成功运行，这 ......
异常关机clickhouse无法启动
[ 169492 ] {} <Error> Application: DB::Exception: Suspiciously many (1416 parts, 0.00 B in total) broken parts to remove while maximum allowed broken ......
(转载)bs/cs架构,三层架构,单体架构,垂直架构,SOA架构,微服务.
原文地址：https://coder55.com/article/24713 前言 在过去的学习中,我们经常了解到各种关于结构之类的问题,什么三层架构,mvc设计模式,bs,cs模式.等等.那么这些东西,到底是个什么意思,到底有什么联系呢.之间又有什么关系,它们的发展历程是怎么样的,这次,就以这篇文 ......
Unity3D 帧同步核心技术: 3D定点数物理引擎架构实战详解
在游戏开发中，帧同步技术是一项非常重要的技术，它可以保证多个玩家在不同的客户端上看到的游戏画面和动作是一致的。本文将详细介绍Unity3D中的帧同步核心技术，并以3D定点数物理引擎架构为实例进行实战演示和代码实现。 一、帧同步核心技术概述帧同步是指多个客户端在同一时间点进行游戏画面和动作的更新，以保 ......
《架构师之路：软件架构之美》阅读二
软件架构： 1.是一个系统的草图，是构建计算机软件实践的基础。 2.是用于指导大型软件系统各个方面的设计的一系列相关的抽象模式。 3.描述直接构成系统的抽象组件以及组件之间的通讯。 4.在实现阶段，这些抽象组件被细化为实际的组件，比如具体某个类或者对象。在面向对象领域中，组件之间的连接通常用接口来实 ......
数据库集群主键为什么不用uuid
主键用数字还是UUID？ UUID 是通用唯一识别码的缩写，其目的是让分布式系统中的所有元素，都能有唯一的辨识信息，而不需要通过中央控制端来做辨识信息的指定。在数据库集群中，为了避免每个MySQL各自生成的主键产生重复，所以有人考虑采用UUID方式。 使用UUID的好处 使用UUID，分布式生成主键 ......
第四单元 管理数据库架构
EF Core 提供两种主要方法来保持 EF Core 模型和数据库架构同步。至于我们应该选用哪个方法，请确定你是希望以 EF Core 模型为准还是以数据库为准。 如果希望以 EF Core 模型为准，请使用迁移。 对 EF Core 模型进行更改时，此方法会以增量方式将相应架构更改应用到数据库， ......
ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
目录JDBC建表用法示例JDBC表函数资料分享参考文章 JDBC 允许CH通过JDBC连接到外部数据库。 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 该引擎支持Nullable数据类型。 建表 CREATE TABLE [IF NOT EXI ......
DataX vs 腾讯云COS对象存储 -> StarRocks集群
本文将介绍使用DataX读出Cos的Orc文件往StarRocks里面写。 需求: 需要将腾讯云cos上84TB的数据, 同步到StarRocks某个大表。正常每个分区数据量20~30亿，600GB。 工具：DataX插件：hdfsreader、starrockswriter对象存储COS：非融合 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)
普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM，由于缺少root权限，无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例，利用普通用户权限进行编译安装。文章修正了已有教程中部分问题，特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......