集群vmware hive
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
Hive 3.1.3最小化安装
1.解压 mkdir /usr/hive tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/hive 2.配置Hive环境变量 在/etc/profile.d中配置 1.新建hive.sh vi /etc/profile.d/hive.sh export ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
vmware 虚机网络设置
VMware 三种网络设置方式：参考博客：一文详解Linux三种网络设置方式_Linux_脚本之家 (jb51.net) Oracle 19C RAC环境配置网络时，public ip、 virtual ip、scan ip （公网ip、vip、scan ip）处于同一网段，vip与scan ip不 ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
Spark写hive insertInto和saveAsTable的差别和错误
insertInto必须保证源表字段顺序和hive表字段顺序一致，不然会插入乱序，如果字段数不一致，会报错 saveAsTable append模式下，如果字段数不一致，会报错，overwrite模式下，会重建表 如果是外部表，已经存在了数据，saveAsTable会报错 org.apache.sp ......
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询 ORC 输入格式的Hive 表在 Hive 中建表在 ClickHouse 中建表查询 Parquest 输入格式的Hive 表在 Hive 中建表在 ClickHouse 中建表查询文本输入格式的Hive表在Hive 中建 ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的，1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址：https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择：docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装，还是可以参考笔者另一篇文章，APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Hive-mapjoin详解（mapjoin原理）
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作 ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
在VMware上安装openwrt
一、准备工作 1.下载并安装VMwareWorkstation Download VMware Workstation Pro 2.下载OpenWRT镜像 选择最新的稳定release版本后，下载系统对应的架构镜像，这里我下载的是x86_64。 现在的Windows系统PC应该几乎都是x64，可以在 ......
记录一次两台电脑vmware中的虚拟机互相访问学习经过
装过VMware的都知道，VMware有四种网络选择，桥接，主机，和nat，平时都是会使用vmnet8作为网络。因为桥接会使用和宿主机同一个网络，估计会在路由器中注册自己的ip地址。nat模式是网关和dhcp服务交给了虚拟的一个VMnet8网卡，网卡接口为.1出现在宿主机路由表，.2的网关，dhcp ......
vmware虚拟机 linux 本地yum源，网卡配置ens33，防火墙selinux
1、挂载镜像文件,CentOS-7-x86_64-DVD-1804.iso，并且要处于连接状态 #光盘挂载至/mntmount /dev/sr0 /mnt #备份yum源文件cd /etc/yum.repos.d/mkdir -p ./bakmv CentOS* ./bak #编缉本地源vim lo ......
VMware 下的 Linux 系统的空间清理和压缩
问题描述 若虚拟磁盘以逐渐填充扩大的方式运行时，虚拟磁盘文件的体积就会逐渐变大，在 Windows 系虚拟机上，可以在 VMware 上右键选择清理磁盘，然后再回收物理磁盘空间，但在 Linux 系虚拟机上就得在虚拟机中执行清理。 解决方法 首先确认你虚拟机里面装了 vmtools (open-vm ......
C++聊天集群服务器解决客户端注销登录问题
客户端如何处理注销登录问题？ 问题描述: 在客户端登录后进行注销选择，然后重新登录刚才注销的账号，直接卡死。注意这是概率发生，因为是主线程和子线程抢服务器发送的信息，只有子线程抢到才会发生卡死 问题产生原因分析： 前置条件：主线程循环等待用户输入选择（第一张图是死循环，send后立马recv ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限，对于绝大多数的系统而言，都是读多写少，系统之所以宕机，一般都是因为并发读操作太高导致的宕机，因此搭建 Redis 主从集群，实现读写分离，是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上，使用 docker-compose 模拟搭建一 ......
Linux--VMware虚拟机安装
1. 介绍 操作系统(Operation System, OS)，是管理计算机硬件与软件资源的计算机程序，同时也是计算机系统的内核与基石。 操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。 操作系统也提供一个让用户与系统交互的操 ......
prometheus监控k8s集群信息（通过kube-state-metrics）
prometheus监控k8s集群信息（通过kube-state-metrics） 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少，当然如果只需要监控POD的cpu、内存等信息，可能使用kubelet也够了，但是更多的信息还需要其他的工具，这里使用kube-st ......
Kubernetes集群存储解决方案GlusterFS
1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......