集群 命令hdfs
curl 命令 -- GET 和 POST
目录 简介 GET 发送 GET 请求，并将结果打印出来 发送 GET 请求，并将 response 的 body 输出到文件里 POST 发送空的 POST 请求 发送有参数的 POST 请求 发送可重定向的有参 POST 请求 发送带 JSON 数据的 POST 请求 发送带 XML 数据的 P ......
linux 网络管理之netstat命令详解
一、Netstat的作用 netstat用于显示网络状态，可以查看服务器当前端口列表及指定端口的连接状态 二、语法格式 [root@host127 home]# netstat -h usage: netstat [-vWeenNcCF] [<Af>] -r netstat {-V|--versio ......
【MySQL】通过xenon实现数据库高可用集群
[root@node01 ~]# yum install -y golang screen git[root@node01 ~]# which ip /usr/sbin/ip [root@node01 ~]# visudo mysql ALL=(ALL) NOPASSWD:/usr/sbin/ip ......
Kubernetes 学习总结（19）—— Kubernetes 集群管理平台如何选择？Rancher vs KubeSphere
Kubernetes 学习总结（19）—— Kubernetes 集群管理平台如何选择？Rancher vs KubeSphere 前言 Kubernetes（K8s）集群管理平台都是基于 Kubernetes 提供功能，可以说他们是在 K8s 的基础上封装了一层更为友好的操作方式。他们都是为了降低 ......
kubernetesk8s各个版本高可用集群灵活安装 掌握k8s日常运维
一、环境介绍 主机名称IP地址部署软件备注 k8s-master1 192.168.66.30 etcd+kube-apiserver+kube-controller-manager+kube-scheduler+Kubelet+docker+kube-proxy master k8s-master ......
使用shell并发执行系统命令
有个php脚本，shell_exec形式执行top、sar等系统命令并正则匹配以监听linux系统当前状态。为每小时监听一次，需改成分钟级。 ......
Linux学习第二课-Linux常用命令
1. 远程连接Linux 工具：putty（https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html）、xshell（https://www.xshellcn.com/xshell.html）等 个人喜欢使用putty，免安装， ......
使用Docker部署Consul集群并由Ocelot调用
关于consul的介绍就不写了百度就行，我们直接开干。 一、部署consul集群 拉取consul的镜像 docker pull consul 然后部署consul容器 docker run --name consul1 -d -p 8500:8500 -p 8300:8300 -p 8301:83 ......
kafka的原理及集群部署详解
kafka原理详解 消息队列概述 消息队列分类 点对点 组成：消息队列（Queue）、发送者（Sender）、接收者（Receiver） 特点：一个生产者生产的消息只能被一个接受者接收，消息一旦被消费，消息就不在消息队列中了 发布/订阅 组成：消息队列（Queue）、发布者（Publisher）、订 ......
Nginx + Keepalived 高可用集群部署
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。在使用 Nginx 做反向代理或者负载均衡的时候，都是以 Nginx 为入口，如果 Nginx 宕机了，那么所有的服务都无法正常提供，影响非常 ......
docker常用命令总结
1.1 docker 命令帮助 docker 命令是最常使用的docker 客户端命令，其后面可以加不同的参数以实现不同的功能 docker 命令格式 docker [OPTIONS] COMMAND COMMAND分为 Management Commands #指定管理的资源对象类型,较新的命令用 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
HDFS节点的分类与作用
文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 File 文件名 Size 文件大小（字节） Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file：文件类型（常规文件） Devic ......
使用containerd搭建MinIO集群服务
概述 因为在云服务器上默认只有一块磁盘，如果直接在系统盘上安装MinIO，会被拒绝，所以这里采用containerd的方式绕过这一限制 操作环境 操作系统 CentOS 7.9 MinIO版本 RELEASE.2023-03-13T19-46-17Z 服务器host信息 192.168.10.1 m ......
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
问题描述 使用Azure Kubernetes服务(AKS)，可以通过kubectl连接 pod 中查看日志，但是如何来查看节点的系统日志呢？如是否有ubuntu系统升级的记录？ 问题解答 是的，可以进入AKS的节点查看系统文件，如日志文件（/var/log) 或者由应用生产的其他日志。 具体的操作 ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
hdfs file system shell的简单使用
1、背景 此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。 2、hdfs file system shell命令有哪些 我们可以通过如下网址https://hadoop.apache.org/docs/current/hadoop-project-dis ......
【故障公告】Kubernetes 集群节点宕机造成博客站点故障（被3.5万QPS压垮）
非常抱歉！今天 18:40-18:55 左右 Kubernetes 集群一台高配节点突然宕机，造成博客站点故障，访问时出现 502 Bad Gateway，由此给您带来麻烦，请您谅解。 发现故障并定位问题后，我们增加了新节点服务器并重启宕机节点服务器，之后恢复正常。 19:17 左右又出现故障，疑似 ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述：在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中，我们可以非常方便的针对 ... ......
MySQL查看数据库性能常用命令和实战教学
MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
为K8S集群准备Ceph存储
随着K8S存储接口逐渐成熟并顺势推出CSI接口规范后，原来“in-tree”(树内)模式的很多存储插件也逐步迁移到了“out-of-tree”(树外)模式的CSI插件上，甚至有些原来支持的存储卷类型都被直接移除了(例如在K8S v1.26上直接移除了 glusterfs 卷类型)，查阅了一下K8S官 ......
Eureka高可用集群服务端和客户端配置
微服务应用中，生产环境一般都需要保障服务注册中心的高可用！高可用也分好几个等级，例如：同数据中心(可用Zone区)高可用——》同地域(Region)跨数据中心(可用Zone区)高可用——》全国跨地域(Region)跨数据中心(可用Zone区)高可用——全球跨地域(Region)跨数据中心(可用Zon ......
利用kubeadm部署Kubernetes v1.22.10高可用集群
一、概述 Kubernetes集群控制平面(Master)节点右数据库服务(Etcd)+其它服务组件（Apiserver、Controller-manager、Scheduler等）组成；整个集群系统运行的交互数据都将存储到数据库服务(Etcd)中，所以Kubernetes集群的高可用性取决于数据库 ......
Linux命令-用户、权限管理
Linux命令-用户、权限管理 用户是Unix/Linux系统工作中重要的一环，用户管理包括用户与组账号的管理。 在Unix/Linux系统中，不论是由本机或是远程登录系统，每个系统都必须拥有一个账号，并且对于不同的系统资源拥有不同的使用权限。 Unix/Linux系统中的root账号通常用于系统的 ......
一个容器，但是一整个k8s集群
你可能需要一个快速启动和销毁的 k8s 集群；你可能在资源受限的环境中运行 k8s 集群；你可能是一个完全的初学者，觉得搭建完整的 k8s 套件太难。那么这篇短文可能可以帮到你。 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
IoT 边缘集群基于 Kubernetes Events 的告警通知实现
背景 边缘集群（基于 树莓派 + K3S) 需要实现基本的告警功能。 边缘集群限制 CPU/内存/存储 资源紧张，无法支撑至少需要 2GB 以上内存和大量存储的基于 Prometheus 的完整监控体系方案（即使是基于 Prometheus Agent, 也无法支撑） （需要避免额外的存储和计算资源 ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
IoT 边缘集群基于 Kubernetes Events 的告警通知实现（二）：进一步配置
上一篇文章 IoT 边缘集群基于 Kubernetes Events 的告警通知实现 目标 告警恢复通知 - 经过评估无法实现 原因: 告警和恢复是单独完全不相关的事件, 告警是 Warning 级别, 恢复是 Normal 级别, 要开启恢复, 就会导致所有 Normal Events 都会被发送 ......