集群zookeeper docker hadoop
Oracle11 集群（二）
集群grid软件安装2019年7月19日10:30grid安装需要登录到grid用户下进行，绝大多数操作仅需在节点1上执行即可。解压安装介质：#仅节点1执行[grid@rac1 u01]$unzip p13390677_112040_Linux-x86-64_1of7.zip[grid@rac1 u ......
Oracle11 集群（三）
集群oracle软件安装2019年7月19日15:31ORACLE软件安装集群框架GRID安装完成并开启后，剩下的所有操作均只需在节点1执行即可，其余节点会自动完成配置同步。接下来登入节点1的oracle账户，开始oracle数据库软件的安装。如同验证grid先决条件一样，先运行runcluvfy. ......
Oracle11 集群（四）
集群建库2019年7月17日17:23开始实例和数据库的创建，以oracle用户登录节点1，开启数据库配置助手开始创建：#仅节点1执行[oracle@rac1 u01]$ export LANG=en_US[oracle@rac1 u01]$ dbca弹出配置界面：1, 创建集群数据库2, 创建单节 ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
Docker跨主机跨服务器迁移
主要作用: 就是让配置好的容器，可以得到复用，后面用到得的时候就不需要重新配置。 其中涉及到的命令有: docker commit 将容器保存为镜像 docker save -o 将镜像备份为tar文件 docker load -i 根据tar文件恢复为镜像 老服务器 docker备份 [root ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
docker部署企业wiki----atlassian/confluence-server:7.8
一、部署 下载镜像： docker pull atlassian/confluence-server:7.8 运行镜像： docker run -d --name confluence -p 8090:8090 --user root:root atlassian/confluence-server ......
docker安装配置redis
安装redis docker pull redis 配置数据路径 mkdir -p /home/redis/data docker启动 docker run -d -v /home/redis/data:/data --name redis -p 6379:6379 redis redis-se ......
openEuler欧拉配置Nacos集群
一、安装Nacos systemctl stop firewalld systemctl disable firewalld mkdir -p /home/nacos tar xvf nacos-server-2.1.2.tar mv nacos nacos8848 cd /home/nacos ......
docker部署RocketMQ
RocketMQ是阿里巴巴2016年MQ中间件，使用java语言开发，在阿里内部，RocketMQ承接了例如“双11”等高并发场景的消息流转，能够处理亿万级别的消息处理。 RocketMQ各角色介绍 Producer：消息的发送者 Consumer：消息的接收者 Broker：暂存和传输消息，如： ......
CentOS安装docker
要在CentOS 7上安装Docker，您可以按照以下步骤操作： 更新系统：运行以下命令以更新系统软件包列表： yum update -y 请注意，以下命令需要使用管理员权限（root 或具有 sudo 权限的用户）。 卸载旧版 Docker（如果已安装）： rpm -qa | grep docke ......
Docker下的SqlServer发布订阅启用
一、准备一个Docker的sqlserver #创建挂载数据文件夹 mkdir -p /home/mssql/data #创建挂载日志文件夹 mkdir /home/mssql/log #给文件夹权限 chmod 777 /home/mssql/data chmod 777 /home/mssql/ ......
Docker 常用命令
1. docker run：启动一个新的容器； 2. docker ps：列出所有正在运行的容器； 3. docker images：列出所有镜像； 4. docker stop：停止一个正在运行的容器； 5. docker rm：删除一个容器； 6. docker rmi：删除一个镜像； 7. d ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
Hadoop之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小 mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapRe ......
Hadoop之mapreduce参数大全-2
26.指定在Reduce任务在shuffle阶段的网络重试之间的最大延迟时间 mapreduce.reduce.shuffle.retry-delay.max.ms是Apache Hadoop MapReduce任务配置中的一个属性，用于指定在Reduce任务在shuffle阶段的网络重试之间的最大 ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
手写docker—核心概念(一)
一、Namespace、Cgroups、Rootfs 进程和容器有什么区别？ 进程作为计算机程序运行起来后资源管理的总和，内部包含了程序计数器、堆栈、各种变量指令等等； 容器就是对进程做一些限制和约束，从而形成一个边界。Cgroups 技术是用来制造约束的主要手段，Namespace 技术用来修改进 ......
docker网络
docker网络驱动 1.bridge（桥接网络驱动）：这是Docker默认使用的网络驱动，它通过docker0网桥连接到宿主机，并为容器分配IP地址，使得容器可以互相通信和与宿主机通信。 2.host（主机网络驱动）：使用主机网络驱动时，容器与宿主机共享网络命名空间，容器可以直接使用宿主机的网络接 ......
设计你生活的Hadoop yarn
去年十月份，我决定考雅思。然而，除了这项任务之外，我还有其他四个主要任务需要同时兼顾：学校的学业、数据结构和算法的学习、LeetCode的刷题以及大数据网课的学习。这五项任务都非常重要，但由于每天可用于学习的时间是固定的，我发现很难在这些任务之间找到平衡。事实上，在当时我并没有达到良好的平衡，因此结 ......
docker compose 容器编排
Docker compose 编排 docker compose的安装 如果你之前的harbor能够顺利搭建起来的话，那么这一步你是不用做的 docker compose 文件格式 docker compose 使用的是yaml格式，yaml格式使用缩进来控制层级，这个可以自行查询一下yaml语法 ......
docker学习笔记
<h1 style="text-align: start; " id="heading-1"><strong>一、初识Docker</strong></h1><h2 style="text-align: start; " id="heading-2"><strong>（一）什么是Docker</st ......
搭建MySQL集群-1(搭建单节点MySQL)
突发奇想，想做一个微信小程序，于是买了云服务器，准备尝试自己搭建MySQL集群。 系统版本：Ubuntu 22.04.3 LTS 一、通过apt包管理器安装MySQL。 sudo apt install mysql-server 二、安装成功后，mysql-service会启动。可用以下命令查看： ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
mariadb集群切换成mysql5.7集群
mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba ......
Docker+jenkins 运行 python 自动化
参考：Docker+jenkins 运行 python 自动化 - 测试派 (testingpai.com)一、实现思路在Linux服务器安装docker创建jenkins容器根据自动化项目依赖包构建python镜像(构建自动化python环境)运行新的python容器，执行jenkins从仓库中拉 ......