hadoop集群
ZooKeeper集群版本升级
ZooKeeper集群版本升级 环境描述： 3节点的集群，当前版本为3.8.1，计划将所有节点版本升级到3.8.3。 由于过半机制，即存活的节点数量>（非>=）所有节点数量的一半，则整个集群可以正常对外提供服务。 举个例子，3个节点，最少存活2>(3/2=1.5)个节点，即允许有一个节点宕机下依旧能 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
kubeadm 加入work 节点集群时报 http://localhost:10248/healthz处理方法
现象: [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tc ......
Base虚拟机克隆集群节点,并固定IP与免密互通
克隆Base虚拟机 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname nod ......
Etcd集群换机导致etcd集群不可用
背景： 因为工作中有nj地域需要下线，需要我所有地域的机器包括vip全部换成其他临近地域 问题： 集群中的etcd正常替换，当时保持的是平移，由于历史原因，之前的同学上线都是手动变更，没有发起上线，导致使用的之前的版本，导致etcd只能读，不能写入，而且etcd监控查询是不健康的状态 排查： 检查了 ......
搭建redis分片集群
搭建redis分片集群第一章：测试环境搭建1.1、版本信息：操作系统：CentOS-7-x86_64-Minimal-2009.isoredis：6.0.81.2、地址规划与结构图ip地址端口描述192.168.118.20020300master1192.168.118.20020301slave ......
mongo集群和es集群添加密码
1、查看/etc/mongod27017.conf 配置, 添加 security: keyFile: /etc/mongo.keyfile authorization: enabled 2、 security.authorization不配置 and keyfile配置 security.auth ......
redis集群的简单应用
1、创建集群 # 创建redis示例docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled ......
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对 问题描述和初步判断 k8s中部署的数据中台调用指云（open.imzhiyun.com）的sdk接口，调用了23次，成功了3次,其余20次都失败。我这边通过在宿主机上进行tcpdump抓包 抓包命令： 1. 查出调用sdk的 ......
hadoop集群 大数据项目实战_电信用户行为分析_day02
集群配置好后，运行一个小例子，统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis ......
轻松掌握组件启动之Redis集群扩展秘籍：轻松扩容与缩容，释放高性能潜能
在这篇文章中，我们将揭示Redis集群的扩容和缩容操作，让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点，并将它们无缝添加到集群中，您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时，我们还将探讨如何进行缩容操作，即删除节点，以优化集群资源的利用。无论您是初学者还是经验丰... ......
Kubernetes集群管理面板的安装及使用
Kubernetes集群管理面板的安装及使用 1、前言 若海的腾讯云Lighthouse组建跨地域Kubernetes集群，让我成功体验到了Kubernetes集群诸多优点，但是非技术出生的我，长时间使用黑洞洞的命令行终究不是我能接受的，在海哥的帮助下，我成功安装了Kubernetes集群管理面板。 ......
ORACLE:集群oracle查看session的语句
1.查看session可以把status改为ACTIVE和INACTIVE v$session 和gv$session 只在RAC中区别明显，有g是全局的，rac的两个数据库中的内容，没有是但实例的数据库的，内容不全 rac么？ gv$开头视图是rac全局的，v$开头是本节点的 gv$session ......
Hadoop-3.3.5 自动安装
Hadoop-3.3.5 自动安装脚本 为了方便数据科学与大数据技术的 hadoop-3.3.5 安装与配置 目前适用于新安装的纯净虚拟机，未配置冲突检测.. 所以安装的话请使用全新创建的机器以避免错误... 如何使用 ssh localhost 输入你目前用户的密码 exit 退出当前ssh终端（ ......
hadoop集群 大数据项目实战_电信用户行为分析_day01
上图是相关配置的要求，主要创建了四个虚拟系统，有三台虚拟机搭建hadoop集群，一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数，设置静态网络 ......
轻松掌握组件启动之Redis单机、主从、哨兵、集群配置
这篇文章介绍了Redis的单机配置启动和主从架构、哨兵、集群搭建方法。无论你是初学者还是有一定经验的开发者，这篇文章都能为你提供实用的指导，让你轻松掌握Redis的配置和架构搭建。 ......
基于Docker搭建Hadoop+Hive
基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224，但是这篇文章有一些细节配置没有讲清楚，这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15 ......
云行｜乘云而上，“赣”劲十足，天翼云4.0暨赣州算力集群落成！
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”... ......
Hadoop-Operation category READ is not supported in state standby 故障解决
在查询hdfs时或者执行程序向hdfs写入数据时遇到报错：Operation category READ is not supported in state standby 意思是：该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls ......
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
Kubernetes集群使用容器镜像仓库Harbor
目录Kubernetes集群使用容器镜像仓库Harbor一、容器镜像仓库Harbor部署1.1 在docker主机部署harbor1.1.1 docker-ce安装1.1.1.1 获取YUM源1.1.1.2 安装并设置启动及开机自启动1.1.2 docker compose安装1.1.3 获取har ......
k8s集群证书更新
一、检查证书是否过期 #k8s集群证书默认有效期为1年（365天）,查看： kubeadm alpha certs check-expiration 二、自动更新证书 kubeadm 会在控制面升级的时候更新所有证书。 这个功能旨在解决最简单的用例；如果你对此类证书的更新没有特殊要求， 并且定期执行 ......
主从、集群、分布式的区别
主从、集群和分布式是计算机系统中常见的架构模式，它们有不同的特点和用途： 主从（Master-Slave）： 主从架构是一种单点控制的架构，其中有一个主节点和一个或多个从节点。 主节点通常负责处理所有的请求和决策，而从节点用于执行主节点分派的任务或保存数据的备份副本。 主从架构通常用于提高系统的可用 ......
Redis学习--------分片集群、散列插槽、集群伸缩、故障转移
Redis学习 分片集群、散列插槽、集群伸缩、故障转移 https://blog.csdn.net/qq_43719634/article/details/124911627 Redis集群添加新节点(水平扩展)、删除其中一个节点 https://blog.csdn.net/qq_33417321/ ......
搭建 Kubernetes 集群 —— API 概述
官网文档：https://kubernetes.io/zh-cn/docs/reference/using-api/ REST API 是 Kubernetes 系统的重要部分，组件之间的所有操作和通信均由 API Server 处理的 REST API调用，大多数情况下， API 定义和实现都符合 ......
同集群优先的负载均衡
Nacos中提供了一个NacosRule的实现，可以优先从同集群中挑选吗，然后在同集群下去随机选实例。 加入的负载均衡配置： ribbon: NFLoadBalancerRuleClassName: com.alibaba.cloud.nacos.ribbon.NacosRule # 负载均衡规则 ......
Hadoop问题解决（5）
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes *** are bad. Aborting. ......
ElasticSearch集群处于yellow状态处理
一般思路： 1、查看集群状态 curl -XGET -u {username}:{password} -s $prefix/_cat/health?v 2、查看节点状态 curl -XGET -u {username}:{password} -s $prefix/_cat/nodes?v 3、查看索 ......
Kubernetes集群通过Helm部署skywalking及测试
目录 1.前言 2.skywalking组件 3.Helm部署步骤 3.1安装包下载 3.2修改配置 3.3helm安装 3.4访问方式 4.制作skywalking-agent-sidecar镜像 5.在deployment中应用skywalking-agent 1.前言 本文主要介绍Kubern ......