集群docker ceph

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群

1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
集群 容器 Zookeeper docker hadoop

ETCD集群key超出200w给etcd压力太大,导致集群调度器延迟

背景: 业务在做测试的时候,突然集群不可用了,无法做出变更了,找到我们平台侧,经过排查,发现controller-manager调度器出现问题,经过查看,调度器不可使用, 处理 方案: 删除etcd集群的key 查询etcd集群中的key的数量: #etcd的命令行 etcdctl="/opt/et ......
集群 压力 ETCD 200w etcd

利用kubeadm创建高可用集群

前言 本页的高可用是控制平面组件的高可用部署,同时还分为2种情况:堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便,大体是3个步骤:使用init参数初始化好第一个master节点,然后其余的master节点使用join命令加入到master集群中,形成一个高可用的maste ......
集群 kubeadm

使用kubeadm创建集群

前言 k8s集群在Node节点数量少的情况下,逐台去维护是可行的,但是如果Node节点数量多的情况下,再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来,一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
集群 kubeadm

大规模集群的注意事项

简介 一提到大规模这三个字,就联想到数据中心机房中一排排的物理服务器,在早期还是购买物理机找托管机房的年代,很多时间都在机房中维护服务器,那声音吵得耳朵疼,现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点,每个节点Pod数量不超过110,pod总数不超 ......
集群 大规模 注意事项 事项

docker入门加实战—项目部署之DockrCompose

docker入门加实战—项目部署之DockrCompose 我们部署一个简单的java项目,可能就包含3个容器: MySQL Nginx Java项目 而稍微复杂的项目,其中还会有各种各样的其它中间件,需要部署的东西远不止3个。如果手动的逐一部署,就太麻烦了,同时也无法保证完整性。 而Docker ......
DockrCompose 实战 项目 docker

一个Docker仓库问题的思考

近期项目有云上部署要求,产品要打包成docker镜像。之前产品已经发布过docker版本本次只需要需要更新下,于是交代组内另外一个同学更新下镜像,想着应该很简单; 中间经过熟悉docker知识点搭建环境等,过了大概2天,跟我反馈:环境搭建好了,但是无法制作镜像,连docker run hellowo ......
仓库 Docker 问题

Docker基础

目录1. docker 介绍2. docker 安装3. docker 常用命令3.1 docker信息3.2 镜像操作3.3 容器启动和状态管理3.4 容器相关操作4. docker 镜像4.1 镜像加载原理4.2 镜像操作4.2.1 commit4.2.2 export 和 import4.2. ......
基础 Docker

Docker网络

目录1. 网络类型1.1 link (已不建议使用)1.2 container (已不建议使用)1.3 none1.4 host1.5 bridge/自定义网络 (推荐)2. 自定义网段网络3. bridge与自定义网段网络通信4. 部署Redis集群示例 1. 网络类型 1.1 link (已不建 ......
Docker 网络

Docker-Compose

目录1. 简介2. Compose yml规则3. Compose 示例3.1 Python-web应用3.2 wordpress应用 1. 简介 Docker Compose是Docker官方的开源项目,作用是通过 docker-compose.yml 定义运行多个容器 官方文档 Compose概 ......
Docker-Compose Compose Docker

docker-compose

Compose 简介 Compose 项目是 Docker 官方的开源项目,负责实现对 Docker 容器集群的快速编排。从功能上看,跟 OpenStack 中的 Heat 十分类似。 其代码目前在 https://github.com/docker/compose 上开源。 Compose 定位是 ......
docker-compose compose docker

K8S集群搭建

集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件,手动部署,比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点: IP:10. ......
集群 K8S K8 8S

MongoDB分片+副本集高可用集群的启停步骤

■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
副本 集群 步骤 MongoDB

Docker镜像管理

Usage: docker image COMMAND Manage images Commands: build 从Dockerfile中构建镜像 history 显示镜像历史信息,如元数据等。。。 import Import the contents from a tarball to crea ......
镜像 Docker

Docker容器运行、使用、管理

docker container [COMMAND] 命令: **exec 在容器中执行命令** export 将容器的文件系统导出为tar归档文件(和docker save的区别在于,save会记录有所有修改,体制较大,export只是当时overlay层) kill 杀死一个或多个正在运行的容器 ......
容器 Docker

Docker的安装、镜像加速配置

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo yum -y install docker-ce systemctl enable doc ......
镜像 Docker

Docker操作笔记

Docker操作笔记 images保存 docker save -o ubuntu.tar(保存名) ubuntu:laster(名称:版本) docker save -o ubuntu.tar ubuntu:laster images导入 docker load -i ubuntu.tar ......
笔记 Docker

docker 基础

https://www.bookstack.cn/read/docker_practice-1.3.0/image-list.md 1.旧版本的 Docker 称为 docker 或者 docker-engine,使用以下命令卸载旧版本 $ sudo apt-get remove docker \ ......
基础 docker

掌握 Kubernetes 故障排除:有效维护集群的最佳实践和工具

Kubernetes 是一款管理容器化应用程序的强大工具。然而,与任何复杂的系统一样,使用它时也可能出错。当问题出现时, 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤,助您了解事件收集的入门知识: 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
集群 Kubernetes 故障 工具

docker迁移

docker迁移 本人使用的是Docker Desktop和WSL2的结合使用,因此该方法估计只能适用于两者的结合,其他的仅供参考 由于Docker和WSL2的内存过大,导致C盘不堪负重,爆红了!!排除一堆没用的垃圾后还是没办法,看着日益增长的ext4.vhdx没办法,只能痛下毒手,由于里面存放有s ......
docker

转:docker常用命令

Docker常用命令整理 docker启动:service docker start docker停止:service docker stop docker重启:service docker restart 1.帮助命令 docker -h,查看帮助 docker -v,查看版本 Docker in ......
命令 常用 docker

Docker认识

Docker 是一种容器化平台,可以轻松地将应用程序及其依赖项打包为容器,以便在不同的环境中运行。 1.为什么使用容器 (1)更高效的利用系统资源 (2)一致的运行环境 (3)持续交付 (4)快速部署 (5)弹性扩容 2.容器特点 (1)容器和虚拟机的区别,通过下图可以很明显看出,虚拟机是模拟出一套 ......
Docker

Docker 安装部署 kkfileview 4.1 支持配置文件自定义化

Docker 安装 kkfileview 4.1 支持配置文件自定义化 *** 基础环境:可以访问互联网的环境,并且已经安装docker *** 1. 下拉镜像 docker pull keking/kkfileview:4.1.0 2. 运行kkfileview,使用外置的配置文件 docker ......
kkfileview 文件 Docker 4.1

通过 docker-compose 快速部署 Elasticsearch-Cerebro 保姆级教程

目录一、概述二、开始编排部署 Elasticsearch-Cerebro1)部署 docker2)部署 docker-compose3)创建网络4)构建镜像5)编排 docker-compose.yaml 部署6)测试验证 一、概述 Elasticsearch-Cerebro(也称为 Cerebro ......

Docker 重置mysql密码

1、参考 docker重置mysql密码 2、 set password for dev@%='password2'; update mysql.user set authentication_string='password2' where user='dev'; update user set ......
密码 Docker mysql

使用 XShell 连接 Docker 内的虚拟机

以centos7为例: 下载并安装 centos7 1. 下载镜像并运行容器 docker run --name docker-centos7 --privileged --publish 522:22 --interactive --detach centos:7 /usr/sbin/init 2 ......
XShell Docker

两台实体机器4个虚拟机节点的Hadoop集群搭建(Ubuntu版)

安装Ubuntu Linux元信息 两台机器,每台机器两台Ubuntu Ubuntu版本:ubuntu-22.04.3-desktop-amd64.iso 处理器数量2,每个处理器的核心数量2,总处理器核心数量4 单个虚拟机内存8192MB(8G),最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
节点 集群 实体 机器 Hadoop

docker快速入门

docker出现的原因 使用linux部署项目的时候,最大的麻烦是软件的安装和部署步骤复杂,容易出错。项目部署上线的时候大概有三种方式: 1.原生部署:什么环境软件都自己手动安装,还需要自己配置环境变量等等问题,非常麻烦(不推荐) 2.宝塔部署:使用宝塔面板完成部署,与第一种方式相比,轻松了很多。 ......
docker

docker搭建网安靶场教程

Docker拉取靶场环境 docker是一个很好用的容器服务,它相当于在你的虚拟机中生成无数个容器,可以供开发人员使用, 假设一个环境,如果你想搭建网安靶场环境供自己练习,那么常规情况下你就要去VM里开环境自己搭建,这样是非常慢的,不如使用docker服务,而且还可以上网上拉取自己想要的镜像,同样也 ......
靶场 教程 docker

最简单的Docker部署.netcore webApi 一看就会

学会如何使用Docker部署.NET Core WebAPI 用vscode新建一个文件,文件名存为:dockerfile 不要后缀名 本地发布一下项目,然后把dockerfile放到发布后的目录里或则选择属性始终复制 创建完之后,发布一下,然后到publish文件夹下面新建个dockerfile, ......
netcore Docker webApi