集群hadoop hive
docker compose 一键部署zookeeper集群
compose.yml 文件 services: zoo1: image: zookeeper:3.8.3 restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server. ......
RabbitMQ高可用集群的搭建部署（Centos7）
高可用集群架构 节点域名 操作系统 RabbitMQ版本 Erlang版本 iamdemo.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo2.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo3.tp-link.com Ce ......
redis集群
集群：支持多个master，一个master挂载多个slave cluster自带了sentinel的故障转移机制，内置了高可用的支持，无需再去使用哨兵功能 客户端不再需要连接所有节点，只需连接一个可用节点 槽位slot负责分配各个物理节点，对应的节点来维护节点，插槽，数据之间的关系 集群算法--分 ......
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置，StackGres 将创建一个默认配置，您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
使用 anasible 搭建一个多 master 多 worker 的 k8s 集群
kubernetes + istio 是目前最强大，也是最易于使用的服务网格方案。 要使用kubernetes + istio, 首先要搭建 kubernets 集群。搭建kubernetes 集群的 方式有很多，其中使用anisble自动化搭建kubernetes集群算是最具合适的方案了。 服务器 ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
hive向表中导入数据出现FAILED: SemanticException
完整错误信息 FAILED: SemanticException Line 1:23 Invalid path ''~/Downloads/stocks.csv'': No files matching path file:/home/lcz/~/Downloads/stocks.csv 路径错误， ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
Redis哨兵、复制、集群的设计原理与区别
本篇主要谈Redis的高可用 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢? 这时候就需要哨兵和复制 1.哨兵(Sentinel): 可以管理多个Redis服务器，它提供了监控，提醒以及自动的故转移的功能 2.复制(Replication): 则是负责让一个Redis服务 ......
hive启动出现Cannot create directory /tmp/hive. Name node is in safe mode.
原因：进入了安全模式，hdfs在启动开始时会进入安全模式，这时文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 执行命令： hadoop dfsadmin -safemode leave 退出安全模式即可 出现 Safe mode is OFF 表示成功退出 ......
hive启动时有一堆WARN信息
hive启动时有一堆WARN信息 比如： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.17.1 ......
Hive的安装与配置
第1关：Hive的安装与配置 在修改 conf 下面的hive-site.xml文件这里，题目给的信息是错误的，正确的内容如下： <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xs ......
hive启动出现Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"
hive启动出现： Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either ......
hive升级元数据报错The reference to entity "useSSL" must end with the ';' delimiter.
使用Hive自带的schematool工具升级元数据，也就是把最新的元数据重新写入MySQL数据库中。 执行以下命令 cd /usr/local/hive ./bin/schematool -initSchema -dbType mysql 出现The reference to entity "us ......
使用极限网关助力 ES 集群无缝升级、迁移上/下云
在工作中大家可能会遇到以下这些场景： 自建 ES 集群需要平滑迁移到 XX 云； 从 XX 云将 ES 集群迁移到自建机房； ES 集群进行跨版本升级，同时保留回退能力； 这些场景往往都还有个共同的需求：迁移过程要保证业务的最小停机时间。 幸运的是，在这三个场景中，我们都能使用极限网关来帮助我们进行 ......
redis集群压测报错Error from server: MOVED
## redis集群压测报错Error from server: MOVED ## 故障描述 redis7集群压测报错 ```sh Summary: throughput summary: 31250.00 requests per second latency summary (msec): av ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
INFINI Labs 产品更新 | 修复 Easysearch 跨集群复制索引同步问题，Gateway 内存异常增长等问题
INFINI Labs 产品又更新啦~，本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复，解决了内存异常增长等问题，以下是详细说明。 INFINI Easysearch v1.6.2 INFINI Easysearch 是一个分 ......
C++聊天集群服务器5
一、服务器异常处理函数 这部分主要处理服务器异常退出时，用户的在线状态还是online不会改变，因此需要修改。由于是需要对用户进行操作，因此我们在user表的数据操作类添加重置用户状态函数。 在usermodel.hpp添加后： #ifndef USERMODEL_ #define USER ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......
k8s集群部署nginx服务以及外网访问nginx服务
1、查看k8s进群状态 [root@k8s-master test]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-master Ready master 16d v1.15.1 k8s-node1 Ready <none> 16d v1.1 ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
MySQL集群搭建，你会吗
对于目前的应用来说，一般很少使用单机MySQL服务，都会采用主从复制或集群方式，那么如何搭建呢？ 1.集群 1.1概述 所谓集群，就是多台服务器之间共享数据，从而实现系统的高可用。节点之间的数据是实时同步的，采用的是同步复制机制。除了有多个主节点外，这些主节点还有多个从节点，当在主节点上进行写操作时 ......
java使用hive-jdbc查询超时：java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out at org.apache.hive.jdbc.HiveSt ......
Docker中创建ES集群并修改默认用户密码-sunziren
注1，本文参考了https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html注2，本文这种搭建的方式，适用于开发环境，不适用与生产环境，生产环境要用Docker搭建ES集群，请使用docker-compose命 ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
docker 一键搭建 MySQL 主从集群
分享一个 GitHub 项目，用来一键搭建 MySQL 的主从集群的： https://github.com/vbabak/docker-mysql-master-slave 前面Google了一下没找到，搜出来的都是需要自己手动调操作过的，本来想自己写一个的，让 GPT 取了个名字，结果一搜就搜到 ......
12.kafka单集群安装部署
一.安装jdk ，kafka需要至少jdk8+ 1.安装jdk yum install java-11-openjdk.x86_64 -y 2.查看安装是否正常 [root@localhost bin]# java --version openjdk 11.0.21 2023-10-17 LTS O ......