集群hadoop hive
编译安装redis6.2.13集群-哨兵模式
## 下载并编译Redis 虽然使用SLES15进行编译，但是理论上在其它系统上也是可行的，我们把编译所需要的依赖包安装即可。 Redis我们选择`6.2.13`这个版本, 我们先随便找个节点进行编译产生二进制文件 ``` #首先安装依赖包 zypper ref && zypper install ......
shardingsphere配置读写分离集群（1主2从结构）
第一章、shardingsphere的安装 1、使用ftp将离线安装包放到/opt 2、进入opt目录，解压，移动到/usr/local，重命名 cd /opt tar -xzvf mysql-5.7,29-linux-glibc2.12-x86_64.tar.gz mv apache-shardi ......
Kafka 集群参数配置介绍
[TOC] # Broker 端 Broker 端参数也被称为静态参数（Static Configs），必须在 Kafka 的配置文件 server.properties 中进行设置的参数，不管是新增、修改还是删除。同时，你必须重启 Broker 进程才能令它们生效。 ## 存储信息相关参数 - ` ......
Karmada：让跨集群弹性伸缩FederatedHPA突破新边界
为了解决多云多集群下的成本难题，Karmada 率先提出并实现了支持多指标，多策略的全新跨集群HPA（即 FederatedHPA），实现业务跨集群弹性伸缩，为多云架构提供了新的玩法。 ......
Oracle集群启动停止
转至：https://www.cnblogs.com/yj411511/p/12459533.html 目录 1、关闭数据库 1.1 查看数据库实例状态 1.2 停止所有节点上实例 1.3 确认数据库实例状态 2、停止HAS(High Availability Services)，必须以root用户 ......
Hive分区/分桶
# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段) ......
k8s部署nacos集群
一、部署依赖及环境 1.部署依赖 MySQL storageClass 2.部署环境 阿里云ACK MySQL 5.7 k8s 1.24 nacos 2.2.3namespace 为default自行修改 二、创建及初始化数据库 wget https://raw.githubusercontent. ......
第三章 Flink 集群搭建
# Flink集群搭建 ```text Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 我们对sta ......
Hadoop的hdfs云服务器配置踩坑记录
本章更多的是通过hdfs的API接口问题角度记录坑点 # 坑点记录 ## 一、能够远程访问和通过web端访问hdfs 1. 在java代码中添加或更改如下： ```java Configuration conf = new Configuration(); conf.set("dfs.client. ......
python操作redis集群、redis主从+哨兵
# 主从+哨兵 ```Python from redis.sentinel import Sentinel if __name__ == '__main__': # 哨兵监听的别名，这个就是你redis配置中的名字 server_name = "mymaster" # 设置哨兵组的IP和PORT s ......
通过windows ip转发连接redis集群，随时都可以删库跑路
## 背景 假设redis集群部署地址如下,从本地pc只能访问公网地址，内网地址不通。 | 公网地址 | 内网地址 | 端口 | | | | | | 114.252.41.111 | 192.168.0.184 | 8001 | | 114.252.41.111 | 192.168.0.184 | ......
Hive列值转换为列名处理方案
1.背景 最近有个朋友问了一个问题，如何把列值转换为列名进行展示，比如一个表有销售名称，销售日期，销售金额，他想统计这个销售每个月的销售额，然后每个月作为列字段。 2.实施 方法1使用case when: select t1.sale_name ,sum(case when t1.month_id= ......
通过kubectl连接Kubernetes集群
1、安装kubectl 本地客户端安装kubectl 添加kubernete 阿里云yum源 # cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.al ......
ES集群搭建和Kibana管理集群
# 搭建实例 先复制2份解压后的完整目录，将里面的data和log删除. ```Bash elasticsearch-6.8.23-node2 elasticsearch-6.8.23-node3 ``` 修改3个实例的配置文件：（只列出一份，其他的改一下节点名和监听端口、节点内部通信端口就可以了） ......
Java 实现 WebSocket 集群转发：使用 Redis 发布订阅
场景 浏览器客户端 client1 连接到了服务端 A 的 websocket 节点。 浏览器客户端通过弹性负载均衡，把请求分配到了服务端 B，服务端 B 上没有 client1 的连接。 需求 服务端 B 把消息转发到服务端 A 上，找到 客户端 client1 的连接，发送出去。 画示意图 ![ ......
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统
课程实用性很强，老师讲的很透彻，都是面试容易问到的；紧扣当前企业所用技术，对于从事大数据或者转行大数据行业，都有很大的帮助。 比屋教育，秉承“活学活用”的教育理念，集合资深专家讲师团队，依托完善的线上教学管控平台，专注于大数据、云计算、互联网架构师等领域的职业技能培训，着力培养满足互联网企业实际需求 ......
Hadoop大数据2
HDFS 文件系统 overview9870 8088 shell操作 echo如果，没有它会自己创建 上传不必加本地和外部前缀他会根据默认自动识别 echo 输入的内容和cin要各有空格，否则它不会生效 文件夹只有用门槛低而 或者递归创建 文件夹是没有大小的，只存储具体的一个个文件 文件夹后面不用 ......
启动Hadoop时需要进行的操作
首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese ......
聊聊我认为的分布式、集群实现关键点
基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， ......
hadoop学习笔记第一次
这周学习了大数据之hadoop，这一周的学习主要围绕在hadoop集群配置及其华宁的搭建，hadoop是采用多态服务器的分布式系统，主要的核心就是hdfs,mapreduce,yarn等等，hadoop配置时候在主机上遇到了蛮多的问题现在就来记录一下。 1.首先是一些基础命令： 回退/进入目录命令： ......
SpringBoot+Vue3+MySQL集群 开发健康体检双系统
第1章 课程介绍 试看4 节 | 38分钟观看项目演示，熟悉大健康体检项目主要功能。掌握学习本课程的最佳方法，以及如何利用在线手册学习和答疑。第2章 大健康体检项目全栈环境搭建16 节 | 218分钟利用虚拟机或者云主机安装Linux系统和Docker环境，部署MongoDB、Redis、Minio ......
Hadoop大数据
Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 恢复内容开始 Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 配置集群虚拟机 首先配置vmnet8网卡 修改 ......
Python使用hdfs上传文件至hadoop报错
报错代码： from hdfs.client import Client hdfs_client = Client('http://IP:端口') hdfs_client.makedirs(hdfs_dir) 在与hadoop创建链接后建文件夹时报错 报错信息： requests.exception ......
KingbaseES V8R6集群运维案例之---single-pro模式备份
**案例说明：** KingbaseES V8R6集群物理备份配置参数_target_db_style，可选single或cluster或single-pro。 single对应单机模式的目标数据库实例，cluster对应集群模式的目标数据库实例，single-pro对应集群模式的每个DB节点独立备 ......
RabbitMQ集群安装
rpm -Uvh *.rpm --nodeps --force 安装依赖(一步步来) rpm -ivh erlang-22.2.1-1.el7.x86_64.rpm rpm -ivh socat-1.7.3.2-2.el7.x86_64.rpm --nodeps --force rpm -ivh r ......
redis集群安装
1、将下载的离线安装包放到服务器下 2、解压安装包：unzip -o redis_offline_rpm.zip 3、由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装，进入到gcc-c++ 目录下，运行命令进行安装 rp ......
三台服务器配置简易Kafka集群+debug记录
使用了3台阿里云服务器做实验，搭建kafka集群，可以通过java程序生产消息到云服务器。中途遇到许多问题，仅在此记录一些配置信息，安装过程省略。 ## 服务器信息 | host name | 私网IP | 公网IP | | | | | | server001 | 172.24.16.132 | 6 ......
万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源 ......
Ansible-playbook三分钟部署一个zookeeper集群
Ansible-playbook三分钟部署一个zookeeper集群 原创 Redhatlh IT运维图谱 2023-07-05 20:39 发表于陕西 收录于合集 #ansible2个 #自动化2个 不要说话音乐：陈奕迅 - 不想放手 相信大家在从事运维工作当中，都会使用到zookeeper中间件 ......