集群hadoop
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
容器与集群——通过deployment 创建pod以及Java Web应用的容器化发布
## 一、通过deployment 创建pod 1.1 编写yaml文件 1.2 安装pod 创建kubectl create -f dp-nginx.yaml 查看Deployment信息 1.3 查看相关信息 查看pod信息kubecel get pods 查看rs信息 二、Java Web应用 ......
docker compose 一键部署zookeeper集群
compose.yml 文件 services: zoo1: image: zookeeper:3.8.3 restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server. ......
RabbitMQ高可用集群的搭建部署（Centos7）
高可用集群架构 节点域名 操作系统 RabbitMQ版本 Erlang版本 iamdemo.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo2.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo3.tp-link.com Ce ......
redis集群
集群：支持多个master，一个master挂载多个slave cluster自带了sentinel的故障转移机制，内置了高可用的支持，无需再去使用哨兵功能 客户端不再需要连接所有节点，只需连接一个可用节点 槽位slot负责分配各个物理节点，对应的节点来维护节点，插槽，数据之间的关系 集群算法--分 ......
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置，StackGres 将创建一个默认配置，您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
使用 anasible 搭建一个多 master 多 worker 的 k8s 集群
kubernetes + istio 是目前最强大，也是最易于使用的服务网格方案。 要使用kubernetes + istio, 首先要搭建 kubernets 集群。搭建kubernetes 集群的 方式有很多，其中使用anisble自动化搭建kubernetes集群算是最具合适的方案了。 服务器 ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
Redis哨兵、复制、集群的设计原理与区别
本篇主要谈Redis的高可用 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢? 这时候就需要哨兵和复制 1.哨兵(Sentinel): 可以管理多个Redis服务器，它提供了监控，提醒以及自动的故转移的功能 2.复制(Replication): 则是负责让一个Redis服务 ......
使用极限网关助力 ES 集群无缝升级、迁移上/下云
在工作中大家可能会遇到以下这些场景： 自建 ES 集群需要平滑迁移到 XX 云； 从 XX 云将 ES 集群迁移到自建机房； ES 集群进行跨版本升级，同时保留回退能力； 这些场景往往都还有个共同的需求：迁移过程要保证业务的最小停机时间。 幸运的是，在这三个场景中，我们都能使用极限网关来帮助我们进行 ......
redis集群压测报错Error from server: MOVED
## redis集群压测报错Error from server: MOVED ## 故障描述 redis7集群压测报错 ```sh Summary: throughput summary: 31250.00 requests per second latency summary (msec): av ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
INFINI Labs 产品更新 | 修复 Easysearch 跨集群复制索引同步问题，Gateway 内存异常增长等问题
INFINI Labs 产品又更新啦~，本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复，解决了内存异常增长等问题，以下是详细说明。 INFINI Easysearch v1.6.2 INFINI Easysearch 是一个分 ......
C++聊天集群服务器5
一、服务器异常处理函数 这部分主要处理服务器异常退出时，用户的在线状态还是online不会改变，因此需要修改。由于是需要对用户进行操作，因此我们在user表的数据操作类添加重置用户状态函数。 在usermodel.hpp添加后： #ifndef USERMODEL_ #define USER ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......
k8s集群部署nginx服务以及外网访问nginx服务
1、查看k8s进群状态 [root@k8s-master test]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-master Ready master 16d v1.15.1 k8s-node1 Ready <none> 16d v1.1 ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
MySQL集群搭建，你会吗
对于目前的应用来说，一般很少使用单机MySQL服务，都会采用主从复制或集群方式，那么如何搭建呢？ 1.集群 1.1概述 所谓集群，就是多台服务器之间共享数据，从而实现系统的高可用。节点之间的数据是实时同步的，采用的是同步复制机制。除了有多个主节点外，这些主节点还有多个从节点，当在主节点上进行写操作时 ......
Docker中创建ES集群并修改默认用户密码-sunziren
注1，本文参考了https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html注2，本文这种搭建的方式，适用于开发环境，不适用与生产环境，生产环境要用Docker搭建ES集群，请使用docker-compose命 ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
docker 一键搭建 MySQL 主从集群
分享一个 GitHub 项目，用来一键搭建 MySQL 的主从集群的： https://github.com/vbabak/docker-mysql-master-slave 前面Google了一下没找到，搜出来的都是需要自己手动调操作过的，本来想自己写一个的，让 GPT 取了个名字，结果一搜就搜到 ......
12.kafka单集群安装部署
一.安装jdk ，kafka需要至少jdk8+ 1.安装jdk yum install java-11-openjdk.x86_64 -y 2.查看安装是否正常 [root@localhost bin]# java --version openjdk 11.0.21 2023-10-17 LTS O ......
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群 本文源自GreatSQL社区用户的一次提问： Q：一个包含仲裁节点（ARBITRATOR）的GreatSQL MGR集群，一开始是用手动方式构建，后来想用MySQL Shell接管，可以吗？ A：是可以的，不过也有一定局限性 具体的操作 ......
TKE在Kubernetes集群原地无损大版本升级的一些探索
如何在不重建容器不中断服务的情况下升级Kubernetes集群大版本，一些探索，方案实现于2021年9月 该功能已上线一段时间，因为一些原因文章迟迟没有发布，升级肯定会有还没有触及到的未知问题，该方案也不是十全十美，但目前上线后也基本平稳，能够处理大部分情况，把自己在这方面的思路和方案的迭代发出来， ......
Nacos集群配置
docker run -itd \ -e MODE=cluster \ -e NACOS_APPLICATION_PORT=8860 \ -e NACOS_SERVERS=10.200.1.xx:8860,10.200.1.xx:8870,10.200.1.xx:8880 \ -e SPRING_D ......
详解Redis三大集群模式，轻松实现高可用！
原文：https://zhuanlan.zhihu.com/p/624144774?utm_id=0 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高 ......
五、搭建高可用集群
一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export ......
C++聊天集群服务器4
一、客户端异常退出处理 在chatserviec层增加一个客户端异常退出的处理函数： 因为要保证userConnMap的线程安全，因此在这里用一个智能锁来处理，在作用域结束后会自动释放资源。然后，更新数据库里的在线状态，由online修改为offline，测试效果如图： 登录成功： ......