集群 实例docker etcd

############# 1.log_archive_config 该参数必须显式声明主备库的db_unique_name，且主库的db_unique_name永远放在第一位。其他备库的跟随其后。该参数适用于：主库、物理备库、逻辑备库、快照备库。 log_archive_config = 'dg_ ......

一、概述 其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方 ......

如何把ETCD的数据库备份，以及还原的操作方法（待更新中） 地址： Etcd 是一个分布式键值存储系统，Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障，应采用集群方式部署，这里使用3台组建集群，可容忍1台机器故障。为了节省机器，这里把3个ETCD实 ......

项目实例：- 命令行程序 一、实例：接收命令行参数 本章内容 12.1 接收命令行参数 12.2 读取文件 12.3 重构：改进模块和错误处理 12.4 使用 TDD（测试驱动开发）开发库功能 12.5 使用环境变量 12.6 将错误消息写入标准错误而不是标准输出 创建项目 ~/rust ➜ car ......

DAY5 ：ETCD的Lease机制 Lease 机制简介 除了前面文章中提到的分布式锁，lease机制还广泛应用于服务注册与发现场景，需要与watch机制相配合。本文主要做对Lease部分的源码分析。 一个租约可以关联ETCD集群中的一个或多个key。当租约过期或者被撤销时，关联的key会被自动删 ......

前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务（如同步）的基础，因此它提供了一组保证： 【顺序一致性】来自客户端的更新将按发送顺序执行，因为只有唯一的主节点负责写请 ......

Dokcer中使用的Image镜像可能别人写好，我们下载来直接使用，但有些情况可能不能满足我们的需求，那就需要修改镜像，一般可以通过在容器中修改，之后在生成镜像，但有时则需要通过写Dockerfile来重新生成。本文主要介绍Docker中查看Image镜像的Dockerfile的方法。 原文地址：D ......

HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......

前言 ElasticJob-Lite是集群环境下应用（比如SpringCloud微服务）任务调度的解决方案。 集群部署的时候，一个定时任务会有多个进程执行，如果不进行任何处理，会导致任务触发的时候每个进程重复执行一次。 解决办法有两种：一种是加锁，保证同时只有一个进程执行任务，比如用分布式锁，或者用 ......

Docker 容器：数据持久化 每当从镜像创建容器时，它都会创建一个新容器，除了镜像数据之外没有任何数据 意味着如果在提交更改之前删除容器，我们将丢失数据 Docker 应该存在一种将数据的文件系统与容器的文件系统分开的技术 每当创建容器时，也会创建一个文件系统【这是默认的 Linux 文件系统】 ......

docker：开源的应用容器引擎，允许开发人员将其应用和依赖打包成可移植的镜像，然后发布到任何流行的linux或windows机器上，也能实现虚拟化。 kubernetes：谷歌开发的容器集群管理系统。在docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功 ......

警告Cgroup Driver不一致 节点加入集群会警告 docker 和 kubelet 的 Cgroup Driver 不一致，但是暂未发现影响，如图： 解决办法：修改 docker 的 Cgroup Driver 为 systemd vim /etc/docker/daemon.json 加下 ......

前言 以制作CentOS镜像为例，讲述对镜像自定义，打包以及推送的远程仓库的过程，步骤都比较简单可以快速上手。 创建步骤 创建CentOS基础镜像 创建构建目录和Dockerfile，在Dockerfile中编辑镜像相关设置，参考菜鸟教程 - Dockerfile。 echo "在当前用户目录下创建 ......

前言 本文讲述在Linux内网搭建K8s集群详细步骤，解决搭建过程中的问题。 脚本基本可以不修改直接使用。 准备工作 需要Linux CentOS 7.x 两台及以上，本文用的 7.6。 主机要求有2个核心及以上。 安装步骤多个节点可以并行操作，默认所有操作各节点都要执行，某些操作仅主/工作节点执行 ......

layout: post cid: 7 title: k8s集群进行删除并添加node节点 slug: 7 date: 2021/12/30 16:58:32 updated: 2021/12/30 16:58:32 status: publish author: cby categories: 默 ......

layout: post cid: 60 title: Docker容器中使用GPU slug: 60 date: 2021/12/30 17:13:00 updated: 2022/03/25 15:42:19 status: publish author: cby categories: 默认分 ......

layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......

前言 本文讲述在多台 Linux 服务器搭建 ZooKeeper 集群的具体步骤，共 4 个节点（1 主 2 从 1 观察者）。 ZooKeeper使用的端口：【2181】对 client 提供服务；【3888】选举 leader；【2888】集群内通讯。 准备工作 ZooKeeper需要1.7及以 ......

为了让我们的ubuntu22系统更干净清爽我们使用docker 首先使用snap install docker安装docker后即可使用docker了 docker命令的使用方法1：将你的代码下载到用户目录(~)下面（例如~/github/xixi/...）2：使用cd命令进到你代码需要运行go b ......

今天来学习webgl一个重要功能：Instanced Drawing(实例化绘制)，内容翻译自webgl学习网站webglfundamentals(由于英语水平尽量按原文翻译)：https://webglfundamentals.org/webgl/lessons/webgl-instanced-d ......

上篇《WebGL-实例化绘制》我们学习了实例化webgl底层实现原理，基于webgl1.0标准的扩展。这篇博客我们来了解下cesium引擎是如何支持实例化功能的。该篇公众号主要参考了博客：《Cesium原理篇：6 Render模块(6: Instance实例化)》。 假如有这样的需求：有四个不同颜色 ......

前言 以kafka_2.13-2.8.0版本做示例，安装架构图如下所示，4台服务器，4个节点的Zookeeper集群（1主2从1观察）以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调，所以得先准备好Zookeeper集群。可以参考 在Li ......

前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵，实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从，本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......

前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......

前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft，偏向CAP定理一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）中的CP。 Raft在容错和性能方面和Paxos相当，不同之处在于它将问题分解成相对独立 ......

重点： 主从复制：主从复制是高可用redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点：故障恢复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。 哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 ......

前言 先安装Docker，使用文内的脚本可以快速创建CentOS 7.8虚拟系统集群，并通过SSH（Secure Shell）远程工具连接。 创建桥接网络，方便容器间通信 指令格式为docker network create <网络名称 >。 docker network create test-n ......

Docker镜像 镜像是Docker容器的基石，容器是镜像的运行实例，有了镜像才能启动容器。 1.hello-world——最小的镜像 hello-world是Docker官方提供的一个镜像，通常用来验证Docker是否安装成功。 通过docker pull从Docker Hub下载它 用docke ......

创建docker 准备实验环境 1. 安装前准备 Centos7 Linux 内核：官方建议 3.10 以上，3.8以上貌似也可。 1.1 查看当前的内核版本 uname -r 1.2 使用 root 权限更新 yum 包 yum -y update 这个命令不是必须执行的，看个人情况，后面出现不兼 ......

容器生态系统 Docker现在几乎是容器的代名词，但在Docker围绕的还有一个生态系统。 Docker是这个生态系统的基石，但完善的生态系统才是保障Docker以及容器技术能够真正健康发展的决定因素。 容器生态系统包含核心技术、平台技术和支持技术 1.容器核心技术 容器核心技术是指能够让Conta ......