集群hadoop hive
rancher2.7.5创建集群
通过安装rancher2.7.5（dokcer版本）步骤,我们已经将docker单机版的rancher安装完成了，下面我们通过图形界面创建集群，首先我们先看一下rancher的首页信息： 1.点击首页进入首页页面，然后点击创建按钮创建一个新的集群 2.点击完成后我们可以看到有Kubernetes集群 ......
23使用服务集群改善网站并发处理能力
增加服务器：一台变成N台 会出现几个问题： 哪一台服务器来转发请求（负载均衡） 请求的服务器，如何维护session的一致性（有状态与无状态的问题） 负载均衡： 请求到负载均衡服务器，在由负载均衡发给服务器 负载均衡技术： 七层：应用层：基于特定软件的负载均衡（http重定向）、反向代理服务器 ht ......
Redis：单机、哨兵、集群、主从复制
学习自：redis的4种模式，单机，哨兵、主从复制、集群_redis单机和集群_本郡主是喵的博客-CSDN博客 深入理解Redis的单机、主从、哨兵、集群四种模式 为什么redis被称为redis服务器？ 因为redis在运行时是被注册为一个进程（服务），我们将其称为redis服务器。 1、单机模式 ......
hive 的order by ,sort by，distribute by，cluster by
order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......
大数据-hive 添加分区
1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 ......
Hadoop初体验
# 1、HDFS初体验  既能够通过后台的终端命令进行文件的管理，也可以通过Web UI界面进行相关的操作； 可以知 ......
Hadoop集群启停命令以及Web UI界面的相关介绍
# 1、Hadoop集群的启停命令（我是将文件都配置好了，直接使用最方便的启停命令就能进行使用） ``` start-all.sh stop-all.sh ``` # 2、HDFS集群的Web UI界面  ......
条条大路通罗马系列—— 使用 Hiredis-cluster 连接 Amazon ElastiCache for Redis 集群
前言 Amazon ElastiCache for Redis 是速度超快的内存数据存储，能够提供亚毫秒级延迟来支持 实时应用程序。适用于 Redis 的 ElastiCache 基于开源 Redis 构建，可与 Redis API 兼容，能够与 Redis 客户端配合工作，并使用开放的 Redis ......
Linux系统下安装Hadoop环境
# 安装Hadoop的话，是在安装好JDK和MYSQL之后的环境下进行的；还没有安装的话，可以跳转到安装jdk环境（https://www.cnblogs.com/liuzijin/p/17591188.html） # 和安装mysql环境（https://www.cnblogs.com/liuzi ......
基于keepalived+gtid半同步主从复制的MySQL集群
一. GTID半同步复制+ansible配置 半同步复制要先在mysql里安装这个插件 ```mysql root@(none) 14:37 mysql>INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; ``` ```she ......
Hive之分区表
在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了 同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了。 如图，一个典型的按月份分 ......
Hadoop：哪个数据节点是最近的数据节点来检索数据以及节点如何实现容错性
# Q1 who can decide which Data Node is the closest datanode to retrieve the data? 当客户端要读一个文件的某个数据块时，它就需要向NameNode节点询问这个数据块存储在哪些DataNode节点上，这个过程如下图：![i ......
最新版 redis-py 操作 redis(同步、异步、集群、连接池)
现在的 Python 异步操作 redis，有三种（ aredis 、aioredis、asynio_redis) 但是都不推荐 ### 背景 从 redis.py 4.2.0rc1+ 开始，Aioredis 已经集成到 redis-py 中，并且 Aioredis 将不再更新维护, 导入方式：fr ......
【Windows】Windows10系统下Hadoop和Hive环境搭建
环境准备 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.1 - Apache Hive 3.1.2 - Apache Hive src ......
hive之内部表与外部表
hive之内部表与外部表 内部表&外部表定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.war ......
elasticsearch由单节点部署成3节点的集群
环境:OS:Centos 7ES:6.8.5目前拓扑:单节点的ES(带密码验证)当前节点ip:192.168.1.105 新增节点ip:192.168.1.106192.168.1.107 ########################当前节点的配置情况###################### ......
ceph-deploy部署ceph集群 nautilus 14.2.22
## 规划 | 主机名 | IP地址 | 系统 | ceph版本 | ceph硬盘 | 大小 | 组件 | 规划 | | | | | | | | | | | master | 192.168.1.60 | CentOS7.9 | ceph-15.2.10 | sdb | 100G | OSD、MOD ......
搭建k8s集群错误
1 etcd ``` 8月 10 14:12:32 k8master-1 etcd[23435]: {"level":"warn","ts":"2022-08-10T14:12:32.069+0800","caller":"rafthttp/http.go:500","msg":"request c ......
使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph
 > 本文由社区用户 Albert 贡献，首发于 NebulaGraph 论坛，旨在提供多一种的部署方式使用 NebulaGraph。 在本文， ......
docker-compose快速部署elasticsearch-8.8.1集群+kibana+logstash
安装环境 centos7.9 8cpu 16G 内存 vda50 G vdb 100G 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败用编辑工具打开文件/etc/sysctl.conf在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值不能 ......
docker-compose快速部署elasticsearch-8.8.1集群+kibana+logstash
安装环境 centos7.9 8cpu 16G 内存 vda50 G vdb 100G 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败 用编辑工具打开文件/etc/sysctl.conf 在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值 ......
Redis从入门到放弃（9）：集群模式
前面文章我们介绍了Redis的主从模式是一种在Redis中实现高可用性的方式，但也存在一些缺点。 ## 1、主从模式缺点 * **写入单点故障：**在主从模式中，写入操作只能在主节点进行，如果主节点宕机，写入将无法执行。虽然可以通过升级从节点为主节点来解决，但这会增加故障切换的复杂性。 * **写入 ......
带你走进数仓大集群内幕丨详解关于作业hang及残留问题定位
本文分享自华为云社区《【带你走进DWS大集群内幕】大集群通信：作业hang、残留问题定位》，作者： 雨落天穹丶。 前言： 测试过程中，我们会遇到这样一种情况，我的作业都执行很久了，为啥还不结束，是不是作业hang掉了？ 或者说，明明看到CN上的作业都没了，为什么通过全局视图发现DN上还有作业在执行而 ......