集群 容器 架构hashicorp
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务
小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了 AI 技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。 在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括 Ceph+NFS、HDFS 和对象存储挂载等。然而 ......
Saas软件架构学习
接触到Saas架构的软件啦要了解一下啦 what 1.什么是Saas（软件即服务） 从宏观的角度来看，SaaS是一种软件应用程序交付方式，软件提供商集中化托管一个或多个软件应用程序，并通过互联网向租户体用这些软件应用程序。从分类上看，SaaS（软件即服务）也是云计算重要的一部分。目前国内主流的云服务 ......
SpringBoot中内置Servlet容器原理
本篇博客会梳理一下SpringBoot内置Servlet容器的原理： 原理其实跟SpringBoot中的内置Tomcat的启动原理差不多，我们从整个源码进行梳理一下。 我们会发现当我们从Spring,SpringMVC演化到SpringBoot后发现采用SpringBoot后不需要配置Tomcat服 ......
k8s-为容器和pods分配CPU资源
1、创建一个命名空间 创建一个命名空间，以便将本节练习中创建的资源与集群的其余部分资源隔离 kubectl create namespace cpu-example apiVersion: v1kind: Pod metadata: name: cpu-demo namespace: cpu-exa ......
组织架构调整也许是把你从焦油坑中拉出来的一双手～
好久没有更新博客，主要是最近的工作内容发生了一些变化，心态和状态也发生了一些变化～，所以随便聊聊总结一下。 以前的工作 过去的一年时间里，主要从事网关相关的内容，也就是Openresty以及一些管理后台的编写，go、lua、前端Vue都需要自己写，整个模块又多，又复杂。开始的兴趣点很足，觉得学习最好 ......
k8s-集群搭建
部署目标 在所有节点上安装Docker和kubeadm，kubelet 部署容器网络插件flannel 安装基础软件 1、配置Master和work节点的域名 2、CPU设置为2核 3、下载阿里云的yum源repo文件 curl -o /etc/yum.repos.d/CentOS-Base.rep ......
PowerDotNet平台化软件架构设计与实现系列（16）：财务平台
不同行业基本都会有自己独特的业务，甚至同行的不同企业之间的业务逻辑也会相差千里，只有最大程度抽象出通用性、标准性和普适性的系统才能够成为平台系统，平台系统开发的成本和难度可想而知。 个人深度参与或独立设计开发过的公共服务型平台系统，主要包括基础数据平台、支付平台、财务平台、结算平台、配送平台、CRM ......
ElasticSearch集群的搭建
一、集群有什么用 1.1 群集的含义与产生 群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应 ......
docker容器中打开gazebo等可视化页面报错No protocol specified
转载：https://blog.csdn.net/wsl_longwudi/article/details/127005162 权限问题No protocol specified问题这是由于X11服务默认只允许『来自本地的用户』启动的图形程序将图形显示在当前屏幕上。解决的办法很简单，允许所有用户访问 ......
如何查看kubeadm搭建出来的集群，admin.conf文件，使用的是哪些用户？
当使用kubeadm工具搭建一个k8s集群之后，会自动的创建一个admin.conf文件。 同时，会建议将这个文件拷贝到$HOME/.kube/config，kubectl会使用这个配置文件来访问k8s集群，也可以说是访问apiserver。 那么，在admin.conf中，到底设置的是哪个用户呢？ ......
企业微信针对百万级组织架构的客户端性能优化实践
相对于传统的消费级IM应用，企业级IM应用的特殊之外在于它的用户关系是按照所属企业的组织架构来关联的起来，而组织架构的大小是无法预设上限的，这也要求企业级IM应用在遇到真正的超大规模组织架构时，如何保证它的应用性能不受限于（或者说是尽可能不受限于）企业架构规模，这是个比较有难度的技术问题。
本文主... ......
数据库集群
一、海量数据存储问题 传统的关系型数据库，因为数据存储量越来越大，已经无法满足快速查询与插入数据的需求。NoSql的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，换取性能的提升。 有的场景要求绝对要有事务与安全指标，这时候NoSql一些折中是无法满足使用场景 ......
HDFS高可用架构
1 HDFS高可用架构原理1.1 HDFS的基本架构NameNode负责响应客户端的请求，负责管理整个文件系统的元数据HDFS 的读、写操作都必须向 NameNode 申请，元数据非常关键负责维持文件副本的数据SecondNameNode是为了帮助 NameNode 合并编辑日志，减少 NameNo ......
关于.Net 6.0 在Linux ,Docker容器中，不安装任何依赖就生成图形验证码！！！！！！！！！！！
在.Net Framework时代，我们生成验证码大多都是用System.Drawing。 在.Net 6中使用也是没有问题的。 但是，System.Drawing却依赖于Windows GDI+。 为了实现跨平台，我陷入了沉思!! 微软推荐使用SkiaSharp 进行替代，所以就开始了，踩坑之旅 ......
kubesphere快速搭建集群
1，资源准备 mkdir -p /opt/kubesphere cd /opt/kubesphere curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0-alpha.4 sh - chmod +x kk ./kk create config ......
高级系统架构师学习（一）系统工程与信息系统基础
系统工程 定义：一种组织管理技术【一种现代的科学决策方法】 目的：以最好的方式实现系统 目标：整体最优 意义：利用计算机为工具，对系统的结构、元素、信息和反馈等进行分析，以达到最优规划、最优设计、最优管理和最优控制的目的。 系统工程方法 霍尔三维结构【“硬科学”方法论】 逻辑维：解决问题的逻辑过程 ......
.NET Core + K8S 玩转容器编排
原文：https://www.cnblogs.com/sheng-jie/p/10591794.html 1. 引言 由于最近在学习微服务，所以就基于之前docker的基础上把玩一下k8s（Kubernetes），以了解基本概念和核心功能。 2. What's k8s？ k8s涉及到很多基本概念，可 ......
C++ STL 容器之map
一、map简介 可以将任何基本类型映射到任何基本类型。如int array[100]事实上就是定义了一个int型到int型的映射。 map提供一对一的数据处理，key-value键值对，其类型可以自己定义，第一个称为关键字，第二个为关键字的值 map内部是自动排序的 二、用法 1.map定义: ma ......
进击消息中间件系列（一）：Kafka 入门（基本概念与架构）【转】
在这之前，我们相继卷完了：关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 、大数据 Hadoop框架、PostgreSQL 数据库这些系列的知识体系。今天开始，我们将踏上另一个学习之路：中间件！第一个要学习的中间件就是：Kaf ......
redis cluster三主六从 redis三主三从集群搭建
转自：https://blog.51cto.com/u_16099166/6885197 一、下载安装二、本文架构（三台服务器，每台部署两个节点，主从同步，生产最好是部署六台服务器）： 三、进入redis安装目录，复制redis.conf文件，建立从节点配置文件 1 #进入redis安装目录 2 c ......
redis三主三从哨兵模式 redis三主三从集群
转自：https://blog.51cto.com/u_16213559/7033634 conf 复制/usr/local/src/redis-6.2.6文件夹下redis.conf文件到/usr/local/src/master-slave文件夹中命名为redis6381.conf 1 # 允许 ......
KingbaseES V8R6 集群运维案例 -- 集群备份到nfs共享存储初始化错误
案例说明： 在主备库建立nfs共享存储的文件系统，作为sys_rman备份的repo-path，在备库作为repo-path节点执行备份，出现数据库连接到'5432端口的错误'，数据库实际的服务端口为54321。 适用版本： KingbaseES V8R6 节点信息： [kingbase@node1 ......
KingbaseES V8R6 集群运维系列 -- trusted_server
案例说明： 在KingbaseES V8R3及V8R6早期的版本，对于读写分离的集群如果网关地址无法连通，将会导致整个集群关闭，数据库服务无法访问。在后期版本的改进中，降低了对网关的依赖性，当网关地址不通时，会影响集群的部分高可用功能比如failover切换，但集群可以正常对外提供数据库访问服务。如 ......
KingbaseES V8R6集群运维系列 -- connect_check_type参数
案例说明： 在KingbaseES V8R6C7的版本中，repmgr.conf增加了connect_check_type参数可以指定参数值，默认值是‘mix’，以前版本为隐藏参数，默认值‘ping‘。connect_check_type参数可以配置为： 监控数据库connect_check_typ ......
KingbaseES V8R3 集群运维案例 -- cluster.log无日志输出问题诊断
案例说明： KingbaseES V8R3集群正常运行期间，现场发现cluster.log日志无任何信息输出，针对这一问题做了复现及提出解决方案。后现场检查发现，cluster.log文件曾被删除： 适用版本： KingbaseES V8R3 一、查看集群的服务状态 1、集群节点状态 TEST=# ......
KingbaseES V8R6集群运维案例-- 备库数据库服务意外down分析
案例说明： KingbaseES V8R6一主二备架构的集群，两个备库节点sys_log日志分别不同时间点收到‘fast shutdown request’的日志信息，导致备库数据库服务down，需要对备库数据库服务down的原因进行分析。 集群节点信息： node12：primary node10 ......
详解Redis三大集群模式，轻松实现高可用！
转自：https://zhuanlan.zhihu.com/p/624144774 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。 ......
关于.Net 6.0 在Linux ,Docker容器中，不安装任何依赖就生成图形验证码！！！！！！！！！！！
在.Net Framework时代，我们生成验证码大多都是用System.Drawing。 在.Net 6中使用也是没有问题的。 但是，System.Drawing却依赖于Windows GDI+。 为了实现跨平台，我陷入了沉思!! 微软推荐使用SkiaSharp 进行替代，所以就开始了，踩坑之旅 ......