集群hadoop hive
Hadoop3.3.5完全分布式搭建
首先在之前的伪分布基础上克隆两台机器 这样一共三台虚拟机 为这三台虚拟机设置三个不同的静态ip地址和主机名 我的是 billsaifu 192.168.15.130 hadoop1 192.168.15.131 hadoop2 192.168.15.132 静态IP设置 #先进入root vim / ......
Kafka 集群
[TOC] # Kafka 和 ZooKeeper Kafka 使用 Zookeeper 来维护集群成员的信息。每个 Broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。 在 Broker 启动的时候，它通过创建 **临时节点** 把自己的 ID 注册到 Zookeep ......
Kubernetes高可用集群安装
# Kubernetes高可用集群安装 ## Sealos安装集群 ### 下载Sealos ```bash # 推荐下载最新版，会修复一些BUG,下载并安装sealos, sealos是个golang的二进制工具，直接下载拷贝到bin目录即可, release页面也可下载 wget -c http ......
springcloudalibaba -nacos集群
按照nacos_config.sql创建数据库 在 /nacos/conf/application.properties的最后添加上 spring.datasource.platform=mysql #127.0.0.1 是mysql所在主机的ip db.num=1 db.url.0=jdbc:my ......
部署Mysql-8.0.33主从半同步复制集群
Centos7.9部署Mysql-8.0.33主从半同步复制集群 杨同港 者行花 2023-07-03 17:10 发表于山东 mysql主从同步方式区别 异步同步：在异步模式下，主数据库将数据更改写入日志，然后立即确认事务已完成，而不需要等待从数据库完成复制。主数据库不会等待从数据库的确认。这种模 ......
keepalived+LVS高可用性集群部署
keepalived+LVS高可用性集群部署小记 原创 青菜浪人 青菜浪人 2023-06-14 18:41 发表于陕西 keepalived+LVS实现高可用集群部署小记 ·尽可能提高服务的可用性 ·实现原理：心跳检测 一、keepalived+LVS-DR实现高可用负载均衡 点击底部的阅读原文可 ......
HAproxy 集群
常见的web集群调度器 1.目前常见的web集群调度器分为软件和硬件 软件通常使用开源的LVS、 Haproxy、Nginx 2.LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有Haproxy好 3.硬件一般使用比较多的是 ......
hadoop2.7. 序列化对象
1.在hadoop中必须序列化对象后，才能进行网络传输,不使用java序列化的原因是：java序列化对象会添加很多信息，造成对象的字节数变大，hadoop序列化为一种高效的序列化 如果在实际生产中，BooleanWrite、IntWrite，Text，FloatWrite等数据类型无法满足要求，就需 ......
Hadoop on k8s 编排部署进阶篇
[TOC] ## 一、概述 `Hadoop` 是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它使用了 `Hadoop` 分布式文件系统`（Hadoop Distributed File System，HDFS）`来存储数据，并通过 `MapReduce` 编程模型进行数据处理。 的时候遇到了问题，配置完parcel存储库以后页面提示：未在已配置的存储库中找到 ......
企业集群的应用 LVS+Keepalived 集群
[toc] ## 一、keepalived 概述 ### 1. keepalived 服务的重要功能 #### （1）管理 LVS 负载均衡器软件 keepalived 可以通过读取自身的配置文件，实现通过更底层的接口直接管理 LVS 配置以及服务的启动、停止功能这会使 LVS应用跟更加简便 ### ......
docker安装kafka集群 - 副本
## 搭建docker基本环境大大打算 搭建docker环境非本处详细讲解, 了解或查阅资料即可 ## 拉取镜像(zookeeper以及kafka的) ```bash docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka ......
docker安装kafka集群 - 副本
## 搭建docker基本环境 搭建docker环境非本处详细讲解, 了解或查阅资料即可 ## 拉取镜像(zookeeper以及kafka的) ```bash docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka ``` ......
自己动手实现rpc框架(二) 实现集群间rpc通信
# 自己动手实现rpc框架(二) 实现集群间rpc通信 ## 1. 集群间rpc通信 上一篇博客中MyRpc框架实现了基本的点对点rpc通信功能。而在这篇博客中我们需要实现MyRpc的集群间rpc通信功能。 * [自己动手实现rpc框架(一) 实现点对点的rpc通信](https://www.cnb ......
Hive 组件（进阶中级）
## Hive 组件（进阶中级） ### 1. 实验一：Hive 组件部署 #### 1. 实验任务一：环境需求 ##### 1.1. 步骤一：解压安装文件 ~~~bash [root@master ~]# ls anaconda-ks.cfg jdk-8u152-linux-x64.tar.gz ......
高可用 ZooKeeper 集群部署（进阶中级）
## 高可用 ZooKeeper 集群部署（进阶中级） #### 免密登录 ~~~bash [root@master ~]# ssh-keygen [root@master ~]# ssh-copy-id root@slave1 [root@master ~]# ssh-copy-id root@s ......
Hadoop启动报错：org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
Hadoop启动报错：org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"解决思路以及方法。 ......
选对方法，K8s 多集群管理没那么难
随着对云计算接受程度不断提高，以及企业规模和业务持续发展的共同驱动下，越来越多的企业在考虑或已经采用多云和混合云方案，以提升架构的灵活性和健壮性。 ......
mac spark+hive+hadoop 数据分析环境搭建(单机简版)
apache产品下载地址： http://archive.apache.org/dist/ mysql5.6 brew方式安装配置： Icon mysql做为元数据存储使用。 brew search mysql brew install mysql@5.6 配置mysqlhome： export M ......
Redis专题：了解Redis集群，这篇就够了
随着业务系统功能、模块、规模、复杂性的增加，我们对Redis的要求越来越高，尤其是在高低峰场景的动态伸缩能力，比如：电商平台平日流量较低且平稳，双十一大促流量是平日的数倍，两种情况下对于各系统的数量要求必然不同。如果始终配备高峰时的硬件及中间件配置，必然带来大量的资源浪费。 Redis作为业界优秀的 ......
Docker+Emqx+Nginx集群及负载均衡的搭建 MQTT服务器
# Docker+Emqx+Nginx集群及负载均衡的搭建 MQTT服务器 ### 1.拉取镜像 ``` docker pull emqx/emqx ``` ### 2.创建虚拟网络 ``` # -d 参数默认为bridge，可省略 docker network create -d bridge - ......
ZLmediakit集群部署
1简单理解 2 如何简单部署测试 2.1: 我在10.1.1.1的机器上有拉 IPC-A摄像头的数据源；这个摄像头通过部署在10.1.1.1上的ZLM去拉，转协议RTSP的地址是rtsp://10.1.1.1:554/rtp/stream_1 2.2：我本地（127.0.0.1）启动ZLM服务，通过 ......