集群zookeeper docker hadoop
docker 基础
Docker 1 安装 卸载原有的docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ dock ......
Docker虚拟化容器
一、简介 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。 容器是完全使用沙箱机制,相互之间不会有任何接口(类 ......
Docker Redash搭建
准备docker-compose.yml version: '2' services: server: image: redash/redash:8.0.2.b37747 command: server depends_on: - postgres - redis ports: - "5000:50 ......
wsl docker 安装redis
wsl docker 安装redis 宿主机准备配置文件 redis.conf 根据需要修改配置/docker-project/redis/redis.conf, 例如如下开启远程连接访问redis bind 0.0.0.0 protected-mode no 启动命令 docker run --r ......
docker安装mysql8 并配置大小写不敏感
docker安装mysql8 一. 准备好mysql配置文件my.cnf [mysqld] # 设置3306端口 port=3306 # 设置mysql的安装目录 #basedir=/usr/local/mysql # 设置mysql数据库的数据的存放目录 #datadir=/usr/local/m ......
记录一次 OpenStack 集群在创建虚机后无法获取 IP 的问题
现象 所有的组件状态都是正常工作的,DHCP 服务正常工作,在个个虚拟网络设备端口抓包,发现 OpenVSwitch 上 DHCP 包可以通行,虚机获取 DHCP Discover 请求可以正常发出,但是无法收到回包。 抓包命令 tcpdump -i eth0 udp port 67 or port ......
docker 常用批处理
批量导出镜像到一个tar包 docker save $(docker images --format '{{.Repository}}:{{.Tag}}' | grep xxx) -o allinone.tar 批量修改tag docker images | grep xxx| sed 's/xxx ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验,帮助用户全面理解 ACK 稳定性理论和优化策略,并了解如何使用相应的工具和服务进行稳定性保障。 ......
docker使用记录
1、安装docker sudo snap install docker --candidate 2、登录容器注册服务 docker login purefdaanalytics.azurecr.io -u 用户名 -p 密码 用户名和密码在azure爬虫部署中心可以看见 3、拉取镜像(本地调试,这里 ......
使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群
阿里云 ECS 机器节点 这里我们使用两台同一区域的 ECS 机器。 机器配置:2 核 2 G。(ps: 阿里云 99 元一年的活动) 一台安装 coordinator(协调器),这里内网 IP 为 172.18.60.11 一台安装 worker,这里内网 IP 为 172.18.60.12 操作 ......
死锁、内部碎片、外部碎片、多进程/多线程、服务器高并发、集群
死锁:两个(多个)线程互相等待对方数据的过程 1.死锁产生条件(解决办法): 🔴 互斥条件:所需求的资源具有排他性,其他请求进程只能等待(可以允许多进程、多线程访问) 🔴 不剥夺条件:未主动释放,不能被其他进程夺走(可以强制剥夺) 🔴 请求和保持:进程或线程至少持有一个资源,并且在等待其他资源 ......
K8s中下线Hadoop节点(节点下线,调整副本数)
K8s中下线Hadoop节点(节点下线,调整副本数) 将Hadoop从三副本修改为双副本,同时修改datanode和nodemanager节点数为2 修改hadoop节点副本数和datanode以及yarn nodemanager节点数: hadoop.hdfs.replication=2 hado ......
Docker 清理日志文件
1、 Linux_清理docker容器的log 2、 cd /var/lib/docker/containers du -sh * 找到文件大的目录 cd 容器id/ du -sh * 容器id-json.log 日志文件大 echo "">容器id-json.log 文件变小了 重启docker ......
docker
查看docker的镜像docker images 重启容器docker restart ecece58c23ba删除容器docker rm 72e707ed2f2f停止容器docker stop confluence docker容器启动自动启动某个容器docker update --restart ......
docker笔记
docker设置: 在执行 TensorFlow Serving 容器的命令之前,你需要完成以下 Docker 相关的设置和操作: 安装 Docker:如果你的系统上尚未安装 Docker,请按照以下步骤进行安装: 对于 Ubuntu 系统: shell复制代码 sudo apt-get updat ......
hadoop配置
基础准备 sudo apt install ssh pdsh # 安装 ssh sudo apt install openjdk-8-jdk # 安装 jdk8 在.bashrc文件中添加: export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ......
Docker搭建Plumelog并集成到SpringBoot(Logback)
开源地址:https://gitee.com/plumeorg/plumelog 同时分享一个大佬整理的各种docker compose:https://gitee.com/zhengqingya/docker-compose 搭建Plumelog服务端 依赖: redis elasticsearc ......
docker部署fastapi
使用 Docker 部署 FastAPI 应用程序可以提供更好的可移植性和隔离性。以下是使用 Docker 部署 FastAPI 应用程序的一般步骤: 创建 Dockerfile: 在项目的根目录下创建一个名为 Dockerfile 的文件,用于定义 Docker 镜像的构建过程。在 Dockerf ......
docker 启用ipv4,默认只有ipv6
方法一 在服务器上禁用IPv6 使用vim打开/etc/default/grub在第6行中增加ipv6.disable=1 例如: 复制代码 GRUB_CMDLINE_LINUX="ipv6.disable=1 ..." 重新配置grub并重启服务器 复制代码 $ grub2-mkconfig -o ......
Docker常用操作汇总
大家好,我是joker,希望你快乐。 对docker常用操作做一个汇总,通过命令行使用的工具基本结构都是工具名称 操作 参数格式。 查看docker系统信息,镜像,容器等 docker info 查看镜像列表 docker images 拉取镜像 国内拉去镜像慢可以配置国内的docker镜像地址 # ......
Spingboot整合Dubbo+zookeeper
前言: 2023-12-26 19:38:05 最近学习分布式技术:Dubbo+zookeeper,准备写一个demo用springboot整合dubbo和zookeeper。但是看了网上一些教程都是几年前的,试着跟着写了几个demo没一个跑起来,基本是maven依赖方面的问题。 版本信息: spr ......
06-redis的cluster集群
一、介绍 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施(installation)。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令, 因为执行这些命令需要在多个 Redis 节点之间移动数据, 并且在高负载的情况下, 这些命令将降低 Redis 集群的 ......
Docker 运行命令
停止所有的容器 docker stop $(docker ps -aq) 启动所有的容器 docker start $(docker ps -aq) 停止容器 docker stop <容器Name> 启动容器 docker start <容器Name> 删除所有的容器 docker rm -f $ ......
依托Docker构建监控服务
1. 安装 loki安装 Grafana Loki 简明教程-阳明的博客|Kubernetes|Istio|Prometheus|Python|Golang|云原生 (qikqiak.com) grafana安装 Grafana 在 Kubernetes 中的使用-阳明的博客|Kubernetes| ......
hadoop数据迁移
使用Distcp进行Hadoop数据迁移 DispCP官方文档 在进行数据迁移前确认数据量大小和数据文件数,源端和目的端都需要确认: hdfs dfs -count / 59790 7008 22875716090 / 59790:表示目录 / 下的文件总数,即包括目录和文件在内的所有对象的数量。 ......
docker安装RocketMQ
在RocketMQ中,有三个关键组件:Namesrv(Name Server)、Broker和Console-ng(管理控制台)。 Namesrv(Name Server):Namesrv是RocketMQ的命名服务,负责管理整个RocketMQ集群的路由信息。每个RocketMQ集群中都至少需要一 ......
通过docker环境mysqldump全量备份mysql数据库
应用场景:生产环境mysql数据库大小5G以内(超过15G推荐使用xtrabackup工具),在数据库以外的一台机器上做每天全量备份,以防止数据丢失 1.首先导入最新的mysql 镜像 可以联网的环境下 #下载docker镜像docker pull mysql:5.7.44 #查看docker镜像d ......
数据库清空,镜像编译,docker配置文件及服务启动完整流程
前言:当数据库表发生变更的时候。 要做的事情: 一、更改数据库表 # 删除表,更改数据库表(表结构改变) drop table if exists src20_v3; drop table if exists src20_valid_v4; drop table if exists src20_ti ......
EMQX集群的创建和使用
EMQX的安装 Ubuntu 本页将指导您如何在 Ubuntu 系统中下载安装并启动 EMQX。 通过 Apt 源安装 EMQX 支持通过 Apt 源安装,免除了用户需要手动处理依赖关系和更新软件包等的困扰,具有更加方便、安全和易用等优点。如希望通过 Apt 源安装 EMQX,可参考如下步骤。 1. ......