集群kubernetes架构
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
架构整洁之道笔记4
软件架构 架构师的定位 工作实质：规划如何将系统切分为组件，并安排好组件之间的排列关系，以及组件之间互相通信的方式。 目的：更好地对组件开发、部署、运行、维护。 如果想设计一个更方便推进各项工作的系统，策略就是在设计中尽可能长时间地保留尽可能多的可选项。 开发的角度 难以开发的系统也不会健康长久。 ......
【云原生 | Kubernetes 系列】— Kubernetes存储方案
目录【云原生 | Kubernetes 系列】— Kubernetes存储方案🍇 一、基本存储EmptyDirHostPathNFS搭建nfs服务器🍋 二、高级存储PV和PVCpvpvc演示 -NFSStorageClass（动态存储）StorageClass准备创建deployment应用St ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解，Zabbix 提供了与 Elasticsearch（ES）的集成，允许用户将历史数据存储在 Elasticsearch 中，而无需使用传统数据库。在高监控负载的生产环境中，这种架构带来了多重好处。首先，它有效减轻了数据库的负担，从而提高了整体性能。其次，通 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
当创建一个ingress后，kubernetes会发什么？
本文分享自华为云社区《当创建一个ingress后，kubernetes会发什么？》，作者：可以交个朋友。 一、Ingress概述 Ingress是一组路由转发规则合集，将集群内部服务通过7层协议暴露给用户，是一种k8s默认的资源。Ingress资源对象用于定义来自外网的HTTP和HTTPS规则，流量 ......
开启Android学习之旅-2-架构组件实现数据列表及添加(kotlin)
Android Jetpack 体验-官方codelab 1. 实现功能 使用 Jetpack 架构组件 Room、ViewModel 和 LiveData 设计应用； 从sqlite获取、保存、删除数据； sqlite数据预填充功能； 使用 RecyclerView 展示数据列表； 2. 使用架构 ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
集群渲染是？渲染农场是？两者与云渲染关联是什么
在数字化浪潮不断推进的当下，渲染技术在多个行业中发挥着至关重要的作用，尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中，集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量， ......
kubernetes idea 插件便捷操作
9. kubernetes idea 插件便捷操作 https://blog.csdn.net/feiyuchuixue/article/details/126373605?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baid ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
No Magic—复杂机电产品系统架构开发套件
CATIA Magic，原名MagicDraw，俗称No Magic，被达索收购后融入3DExperience产品协同研发管理平台中，形成更具协同体验的系统工程解决方案。该软件提供对SysML/UML/UAF语言的完整支持，提供独有的MagicGrid方法论，涵盖：业务和任务分析、利益攸关者需要及需... ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
数据高速公路：详解数仓集群通信技术
本文分享自华为云社区《直播回顾 | 数据高速公路—数仓集群通信技术详解》，作者： 胡辣汤。 大数据时代，集群规模越来越大，业务并发越来越高，数据库集群各节点间的通信压力也越来越大。在本期《数据高速公路—数仓集群通信技术详解》的主题直播中，我们邀请到华为云GaussDB(DWS)技术布道师魏登老师，深 ......
似乎有点理解指令集和架构的区别了
架构就是造房子的图纸，而指令集就是造房子的材料【玩过俄罗斯方块可能就比较好理解什么是指令集了】 比如指令集里只有：L型的砖，I型的砖，田字形的砖等； 而架构就是基于上面的砖（指令集）设计好的房子的造法，即最底层是用什么砖，往上是用什么砖等等； 不过还是有疑问，如果真的是这么理解的话，那图纸一模一样， ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
开启安全功能 ES 集群就安全了吗？
背景 经常跟 ES 打交道的朋友都知道，现在主流的 ES 集群安全方案是：RBAC + TLS for Internal + HTTPS 。 作为终端用户一般只需要关心用户名和密码就行了。作为管理和运维 ES 的人员来说，可能希望 ES 能提供密码策略来强制密码强度和密码使用周期。遗憾的是 ES 对 ......
建设本地私有集群kubesphere+kubernetes高可用集群服务器
一、资源需求主机名 cpu(vCPUs) 内存(GB) 磁盘 ipk8s-master01 8 32 40G+500G 192.168.1.180k8s-master02 8 32 40G+500G 192.168.1.53k8s-master03 8 32 40G+500G 192.168.1.1 ......
干货｜EasyMR 基于 Kubernetes 应用的监控实践
在之前的内容中，我们深入探讨了 EasyMR 如何利用 Kubernetes 进行部署。大家已经了解到，在 EasyMR 的整体架构中，我们使用 Prometheus 进行节点和服务监控数据的采集、查询和存储。同时，Grafana 作为强大的可视化工具，将 Prometheus 中的监控数据以多样化 ......
DDD落地实践-架构师眼中的餐厅 | 京东云技术团队
本文以餐厅场景为叙事主线，以领域驱动为核心思想，结合架构设计与功能设计方法论。是从领域分析到落地的全过程案例，内容偏重于落地，因此不乏一些探讨，欢迎指正。 文章较长、全程干货、耐心读完、必有收获。 本文不针对餐厅的实现细节，重在探讨设计思想和方法。 1、领域设计 让我们抛开技术人员的本能技术视角、站 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
字节面试：DDD架构，如何落地？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
API架构大全(SOAP、Restful、GraphQL、Grpc、Websocket)
一、SOAP SOAP是一种基于XML的简单对象访问协议，适合企业应用 二、Restful Restful基于HTTP应用，提供简介和可靠的网络通信 三、GraphQL GraphQL是一种用于构建和查询API的语言，用来请求特定数据应用，减少多次请求的网络开销，响应速度快 四、Grpc Grpc是 ......
云原生周刊：2024 扩展 K8s 集群指南 | 2024.1.2
开源项目推荐 Jib Jib 无需 Docker 守护进程，也无需深入掌握 Docker 最佳实践，即可为您的 Java 应用程序构建优化的 Docker 和 OCI 映像。它可作为 Maven 和 Gradle 的插件以及 Java 库使用。 Docketeer Docketeer 提供了一个简单 ......
优惠券系统架构分层测试
数据层测试：主要测试优惠券数据存储的正确性和可靠性，包括优惠券的生成、存储、读取等操作是否符合要求。 网络层测试：主要测试网络通信的稳定性和安全性，包括网络连接、数据传输、加密传输等是否正常。 业务逻辑层测试：主要测试优惠券业务逻辑的正确性和合理性，包括优惠券的领取、使用、过期等逻辑是否符合业务需求 ......
尚硅谷-xsync集群分发脚本
1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录 使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个 ......
Zookeeper集群一键启停脚本
1.创建脚本 vi /bin/zk.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ......