分布式 集群hdfs
REDIES集群脚本
REDIES集群脚本 转至元数据结尾 Created by 蒋颖伟, last modified on 六月 16, 2017 转至元数据起始 一、dockerfile 及其中的脚本 1.创建集群的cluster.sh #/bin/bashcat /mnt/redishosts|awk '{prin ......
StarRocks 3.0 集群安装手册
本文介绍如何以二进制安装包方式手动部署最新版 StarRocks 3.0集群。 什么是 StarRocks StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户 ......
[问题记录]k8s集群中coredns解析失败
[问题记录]k8s集群中coredns解析失败 故障现象 在k8s集群，使用coredns提供集群内部dns服务 但是在使用过程中，偶现解析公网域名失败的情况，应用内日志记录显示UnknownHost 问题排查 对有问题的集群进行网络抓包解析，在服务侧记录到DNS解析失败的现象时，观察当时的DNS解 ......
使用docker 运行etcd 单实例/集群
一. 介绍 本文描述了如何使用docker搭建etcd集群，github/etcd上有单实例etcd服务的搭建方法，包括linux，mac，docker。 在操作之前你需要安装docker docker-compose 是可选的,如果你不想使用 docker-compose 就跳过他 二. etcd ......
win环境基于docker搭建zookeeper伪集群
创建路径：D:\Docker\zk-cluster 在此路径下创建配置文件：docker-compose.yml version: '2' networks: zk-net: name: zk-net services: zoo1: image: zookeeper restart: always ......
OSD自然OUT之后无法再加入集群-v1-20210308_124828
OSD自然OUT之后无法再加入集群企业云平台产品中心共享知识库Exported on 03/08/2021Table of Contents问题描述 4问题原因 5解决方法 6验证步骤 6相关下载链接：OSD自然OUT之后无法再加入集群.pdf1- - - - - - - - 这是一条华丽的分割线 ......
matlab学习笔记9 随机变量与概率分布
##概率分布函数 下图的函数作用是求某点处的B(n,p)的概率，横坐标为实验所得值，即x，从中可见e(x)=12 unidpdf(k,N)为均匀分布函数的概率密度在随机范围为1到N的正整数中取k的概率,若需要离散的情况可改用unifpdf y=unidpdf(1:1:10,20)%unidpdf(k ......
[XXL-JOB] 分布式调度XXL-JOB快速上手
1.概述 1.1什么是任务调度 我们可以思考一下下面业务场景的解决方案: 某电商平台需要每天上午10点，下午3点，晚上8点发放一批优惠券 某银行系统需要在信用卡到期还款日的前三天进行短信提醒 某财务系统需要在每天凌晨0:10分结算前一天的财务数据，统计汇总 以上场景就是任务调度所需要解决的问题 任务 ......
手动部署OceanBase集群
1. 准备工作 准备工作参考：https://www.cnblogs.com/haha029/p/17336622.html 中的“准备工作” 初始化基础环境：创建admin用户、配置ssh互信、修改内核、修改会话变量、配置防火墙、配置时钟同步。 2. 部署OceanBase集群 2.1 安装oce ......
k8s大规模集群优化
大规模集群优化2022-11-24 13:11Kubernetes ⾃ v1.6 以来，官⽅就宣称单集群最⼤⽀持 5000 个节点。不过这只是理论上，在具体实践中从 0 到 500 0，还是有很⻓的路要⾛，需要⻅招拆招。官⽅标准如下：不超过 5000 个节点 不超过 150000 个 pod不超过 ......
集群
1. 大纲 1. redis应用场景 2. redis得持久化方式 3. redis得集群 4. java连接redis服务器 2. redis应用场景 1、热点数据的缓存 由于redis访问速度块、支持的数据类型比较丰富，所以redis很适合用来存储热点数据，另外结合 expire，我们可以设置过 ......
分布式数据库中间件：MyCat 和 ShardingSphere 对比说明
分布式数据库中间件：MyCat 和 ShardingSphere 对比说明 2022-05-29 16:5314720转载MySQL 原文链接：https://blog.csdn.net/horses/article/details/106086208 本文转载自 https://blog.csdn ......
警惕MySQL运维陷阱：基于MyCat的伪分布式架构
警惕MySQL运维陷阱：基于MyCat的伪分布式架构 王竹峰 2018-10-11 09:41:50 作者介绍 王竹峰，去哪儿网数据库总监，目前负责MySQL源码研究与运维、数据库管理和自动化运维平台设计开发及实践工作；中国计算机行业协会开源数据库专业委员会常务理事，擅长数据库开发、数据库管理及维护 ......
PostgreSQL的Mysql_fdw插件能不能连分布式mysql
PostgreSQL的Mysql_fdw插件能不能连分布式mysql 励志成为postgresql大神2021-04-28 642 先说答案：不能连 select * from yjjk_company_cp;ERROR: failed to retrieve query result set me ......
K8S集群node的删除和添加
copy自： K8S集群node的删除和添加 1、在master节点查看所有的node节点 [root@master ~]# kubectl get node NAME STATUS ROLES AGE VERSION master Ready master 23h v1.17.4 node01 R ......
k8s集群pod常见状态
Error : Pod 启动过程中发生错误NodeLost : Pod 所在节点失联Unkown : Pod 所在节点失联或其它未知异常Waiting : Pod 等待启动Pending : Pod 等待被调度ContainerCreating : Pod 容器正在被创建Terminating : ......
K8s 集群 etcd节点故障解决方案
1 环境说明 k8s版本：v1.20 etcd节点（192.168.0.12）故障： 报错详情： 4月 24 22:47:13 k8s-node2 etcd[9543]: {"level":"warn","ts":"2023-04-24T22:47:13.571+0800","caller":"et ......
redis主从、哨兵、集群
redis主从、哨兵、集群 redis实际生产过程中可能出现的问题： 机器宕机，redis直接停用，影响业务 容量瓶颈，内存大小不够 QPS瓶颈，读的并发量很高很高，一个服务不够 redis主从（master-slave） 主从实现的功能： 做读写分离：主库用来写，从库只用来读 做数据副本 机器故障 ......
集群时钟同步必读-NTP和chrony
一、 前言 搭建和维护集群环境中时钟同步是非常重要一环。如果集群的时间不统一,例如ceph集群就会报错无法更新数据、CDH集群无法添加客户端等等。目前主流在Linux系统搭建集群用到NTP和chrony软件,本文简单介绍两者的集群搭建。 二、 NTP和chrony区别 根据chrony官网描述，主要 ......
kubectl 命令 --save-config 将部署信息添加到注解，防止deploy或webhook通过注释添加到集群 --record 记录下当前的版本信息为了回滚
1、--save-config 为什么需要使用kubctl apply保存配置？ kubectl apply <file.yaml> --save-config创建或更新部署，并将部署另存为元数据。 文件上说--save-config[=false]：如果为true，则当前对象的配置将保存在其注释中 ......
reids04 集群原理及搭建
今日内容详细 1 集群原理及搭建 # 做了读写分离，做了高可用，还存在问题 1 并发量：单机redis qps为10w/s,但是我们可能需要百万级别的并发量 2 数据量：机器内存16g--256g，如果存500g数据呢？ # 使用集群解决这个问题 # 解决：加机器，分布式 redis cluster ......
mysql主从分离 缓存优化 python操作哨兵集群
今日内容 1 python操作哨兵 # 高可用架构后 》不能直接连某一个主库了 》主库可能会挂掉，后来它就不是主库了 # 之前学的连接redis的操作,就用不了了 import redis conn=redis.Redis(host='',port=6379) conn.set() conn.clo ......
第五讲 Weldentity分布式身份解决方案、智能合约初探
#什么是智能合约 1996年，Nick Szabo在文章《Smart Contracts:Building Blocks For Digital Markets》中提出了智能合约的概念 所谓“合约”，就是条文、合同一类的东西，里面记录了发生的条件与对应执行的条款，以支持确权等操作；所谓”智能”，就意 ......
kubernetes集群的高可用架构
概述 kubernete在云平台的高可用分为两种情形 单az的高可用集群搭建 多az的高可用集群搭建 这两种情形其实就是一个k8s集群内部的高可用，只是多az的场景下能够实现更高级别的高可用，此时k8s需要跨az部署集群。 集群内部的高可用需要实现基础组件的高可用，其中最重要的就是etcd和apis ......
手动恢复_MariaDB_集群
KEYWORDS: tencent, tstack, solution, HISTORY: Created at 15:26:22 on 2020-02-15. 手动恢复 MariaDB 集群 (TStack K 与 P 版均适用) (2020-02-15) [ERROR] WSREP: bind: ......
k8s集群故障后中间件恢复
k8s集群故障后中间件恢复k8s集群恢复之后，mysql、rabbitmq、redis中间件的集群状态无法自愈，需要手动修复。mysql组复制恢复mysql集群会只有一个主节点在线，通过启动其他节点，其他节点同步数据会出现事务日志不一致的情况，如图：修复方法：需要--清空从节点数据，从主节点恢复所有 ......
redis实现分布式锁
分布式锁是由共享存储系统维护的变量，多个客户端可以向共享存储系统发送命令进行加 锁或释放锁操作。Redis 作为一个共享存储系统，可以用来实现分布式锁。 在基于单个 Redis 实例实现分布式锁时，对于加锁操作，我们需要满足三个条件。 条件一：客户端从超过半数（大于等于 N/2+1）的 Redis ......
.net使用nacos配置，手把手教你分布式配置中心
.net使用nacos配置，手把手教你分布式配置中心 Nacos是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 这么优秀的分布式服务管理平台，怎么能不接入呢？ nacos的安装和使用这里就不细说了，可以参考网上教程和官方文档。https://nacos.io/zh-cn/docs ......
如何在k8s集群中安装配置loki并使用grafana可视化管理
按照以下步骤在 Kubernetes 集群中安装 Loki 并使用 Grafana 进行可视化管理： 在 Kubernetes 中安装 Loki。您可以使用 Helm Package Manager 的 Loki Chart 进行安装，也可以手动在 Kubernetes 上安装 Loki。 安装 P ......