集群hadoop hive
TKE在Kubernetes集群原地无损大版本升级的一些探索
如何在不重建容器不中断服务的情况下升级Kubernetes集群大版本，一些探索，方案实现于2021年9月 该功能已上线一段时间，因为一些原因文章迟迟没有发布，升级肯定会有还没有触及到的未知问题，该方案也不是十全十美，但目前上线后也基本平稳，能够处理大部分情况，把自己在这方面的思路和方案的迭代发出来， ......
Nacos集群配置
docker run -itd \ -e MODE=cluster \ -e NACOS_APPLICATION_PORT=8860 \ -e NACOS_SERVERS=10.200.1.xx:8860,10.200.1.xx:8870,10.200.1.xx:8880 \ -e SPRING_D ......
详解Redis三大集群模式，轻松实现高可用！
原文：https://zhuanlan.zhihu.com/p/624144774?utm_id=0 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高 ......
五、搭建高可用集群
一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export ......
C++聊天集群服务器4
一、客户端异常退出处理 在chatserviec层增加一个客户端异常退出的处理函数： 因为要保证userConnMap的线程安全，因此在这里用一个智能锁来处理，在作用域结束后会自动释放资源。然后，更新数据库里的在线状态，由online修改为offline，测试效果如图： 登录成功： ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
spark离线分析--本地Spark1.6版本读写hive表
1. 搭建好hive环境，并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav ......
中间件：Redis-x64-5.0.14.1高可用集群-哨兵(Sentinel)模式（Win10）
原文：https://blog.csdn.net/chenyang_wei/article/details/127846656 在 Redis 主从复制模式中，因为系统不具备自动恢复的功能，所以当主服务器（master）宕机后，需要手动把一台从服务器（slave）切换为主服务器。在这个过程中，不仅需 ......
hive+mysql的伪分布式数据仓库搭建
1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
kubernetes集群使用容器镜像仓库Harbor
1、容器镜像仓库Harbor部署 在docker主机部署Harbor，安装过程比较简单 在k8s集群中部署Harbor 2、使用Harbor仓库 2.1 通过secret使用Harbor仓库 新建私有仓库 集权所有节点配置harbor仓库 # cat /etc/docker/daemon.json ......
Linux部署Redis哨兵集群 一主两从三哨兵
目录一、哨兵集群架构介绍二、下载安装Redis2.1、选择需要安装的Redis版本2.2、下载并解压Redis2.3、编译安装Redis三、搭建Redis一主两从集群3.1、准备配置文件3.1.1、准备主节点6379配置文件3.1.2、准备从节点6380配置文件3.1.3、准备从节点6381配置文件 ......
C++聊天集群服务器3
这部分的主要业务逻辑是网络层获取到json文件解析后，调用注册好的登录事件回调函数login，然后获取id和密码，通过查询是否在数据库里判断下一步业务，然后更新其在数据库里的在线在线状态，处理错误。因此，需要在对user表操作的类添加查询以及更新函数。 一、用户登录代码 将chatservi ......
Hadoop MapReduce 历史服务器配置
1.在mapred-site.xml中配置历史服务器 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 设置MapReduce程序默认运行模式： ......
Hadoop 常用命令
1.文件类 1.新建文件夹 hadoop fs -mkdir {folderName} hadoop fs -mkdir /coreqi 2.上传文件 hadoop fs -put {localPath} {hadoopPath} hadoop fs -put /home/coreqi.txt /c ......
关于es中集群，节点，分片和副本的理解
集群 页面中每一个对象就是一个集群 节点 集群中包含许多es实例，其中一个es实例就是一个节点 节点也分许多功能 分片和副本 该例子中分片数为9，副本数为1 数据节点就是Node 注意：a和b是同样的数据，a为主分片，b为副本分片，但是同样的数据不能放在相同的节点上面，为了防止某个节点瘫痪导致主节点 ......
更新 Kubernetes 集群中 Argo CD 的服务类型为 NodePort失败
这个问题是我再做项目的时候要开区argoCD时并链接时端口开区不了 kubectl patch svc argocd-server -n argocd -p '{"spec": {"type": "NodePort"}}' service/argocd-server patched (no chan ......
Nacos安装部署（单机、集群）
一、前言 （一）、nacos支持三种部署 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境，确保高可用。 多集群模式 - 用于多数据中心场景。 （二）、官网地址 https://nacos.io/zh-cn/ 1.点击进入nacos版本及源码下载网页 2.根据圈中进行nacos版本选择 ......
手动部署Kraft模式Kafka集群
手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka ......
Hadoop-3.3.6分布式集群搭建步骤
1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h ......
C++聊天集群服务器2
总体项目结构如下： 一、数据库的封装 db.h如图代码量不多 db.cpp： #include "db.h" #include <muduo/base/Logging.h> // 数据库配置信息 static string server = "127.0.0.1"; static str ......
Hadoop运行模式之本地模式（wordcount）
本地模式总结起来大概有以下几点： 单机运行，常用来演示，生产环境不适用 文件存储在操作系统的文件系统中而非Hadoop的HDFS中 1.安装JDK https://www.cnblogs.com/fanqisoft/p/16949738.html 2.安装Hadoop https://www.cnb ......
Hadoop 环境变量配置
1.下载 https://hadoop.apache.org/releases.html 2.环境变量配置 在/etc/profile.d中配置 1.新建hadoop.sh vi /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/hadoop/hado ......
C++聊天集群服务器1
先给出整个项目的结构图： 一、环境搭建 施磊的c++聊天项目。相信已经到了这部分内容就已经能够自行搭建环境了，这里主要给出搭建的具体内容，方法自行百度。下面给出环境要求。 1.json-cpp 2.muduo库 3.cmake 4.mysql 二、CMake编写 主目 ......
minio集群部署
minio集群部署 1.说明： 安装前需要再添加一个磁盘后将磁盘挂载到/opt/minio目录,minio集群部署需要独占磁盘分区，不能使用文件夹代替。 运行分布式 MinIO 实例的服务器时间差不应超过15分钟 所有运行分布式 MinIO 设置的节点都是同构的，即相同的操作系统、相同数量的磁盘和相 ......
11、Redis集群（cluster）【面试重点】
*提示 目前一般比较少用复制+哨兵模式，一般都是直接上集群 一、是什么 二、能干嘛 三、集群算法-分片-槽位slot【高频考点】 1、官网出处 2、redis集群的槽位slot 3、redis集群的分片 4、他两的优势 5、slot槽位映射，一般业界有3中解决方案 5.1 哈希取余分区 5.2 一致 ......
一、Hadoop概述与初步学习
一、Hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTable-->HBase ......
安装k8s集群的小问题
网络问题：直接安装calico插件，没有配置网络会导致每个节点的路由无法转发，pod之间跨节点无法通信 解决办法：使用calico+flannel作为cni普罗米修斯部署时，网络策略会导致只能特定pod才能通信（nodeport部署服务失效） 解决办法：删除网络策略的部署 ......
Kubernetes进阶之使用二进制包部署集群
前言 之前关于Kubernetes有写过文档 参考：Kubernetes入门进阶课程 https://www.cnblogs.com/minseo/category/1654539.html 本文针对操作系统以及软件的新版本补充使用二进制包部署集群 之前版本部署参考：https://www.cnbl ......