集群hadoop hive
patriotic 集群管理
2022-05-05 346 安装环境 主机名ip角色 cs1 192.168.43.10 etcd、patroni、postgresql cs2 192.168.43.11 etcd、patroni、postgresql cs3 192.168.43.12 etcd、patroni、postgre ......
RDBMS与Hbase对比 HDFS与HBase对比 Hive与HBase对比
RDBMS: HBASE： HDFS与HBase对比： Hive与HBase对比： Hive与HBase总结 ......
centos7.9 部署elasticsearch 7.17.8 集群
### 准备基本环境 名称|ip地址|cpu|内存|es监听端口 --|:--:|:--|:--|:-- redis-651|10.0.2.1|8c|64G|9200 redis-652|10.0.2.2|8c|64G|9200 redis-653|10.0.2.3|8c|64G|9200 ### ......
Linux安装部署seata集群模式
####第一步：下载seata安装包 #####下载地址：https://seata.io/zh-cn/blog/download.html ##### 解压如下  # Hadoop集群模式安装 # 安装包获得 ## Hadoop安装包、源码包下载地址： ......
docker-mysql(集群)
第一步：安装docker+并获取mysql镜像 第二步：运行master的mysql容器 docker run -id \ --name=mysql_master \ -p 3307:3306 \ -v $PWD/mysql-master/conf:/etc/mysql/conf.d \ -v $P ......
Linux集群监控部署: prometheus 普罗米修斯 + Grafana
前言 之前我们有用到top、free、iostat等等命令，去监控服务器的性能，但是这些命令，我们只针对单台服务器进行监控，通常我们线上都是一个集群的项目，难道我们需要每一台服务器都去敲命令监控吗？这样显然不是符合逻辑的，Linux中就提供了一个集群监控工具 – prometheus。 promet ......
达梦数据库集群启动笔记
## 集群启动顺序 ### 主库启动数据库服务 ``` cd /opt/dmdbms/bin/bin ./dm_services start DmServiceGRP1_RT_01 ``` ### 备库启动数据库服务 ``` cd /opt/dmdbms/bin/bin ./dm_services ......
Hive 内置函数
Hive 常用的内置函数 --查看内置函数 show functions; --查看函数的用法 describe function extended count; String Functions 字符串函数 select length("itcast");--长度 select reverse(" ......
Hive select查询语句
创建表 CREATE TABLE t_usa_covid19( count_date string, county string, state string, fips int, cases int, deaths int) row format delimited fields terminate ......
离线Linux部署k8s集群环境
***********离线部署安装k8s集群环境***********1.机器配置master 192.168.245.201 4核4gnode1 192.168.245.202 4核4gnode2 192.168.245.203 4核4g 系统内核：3.10.0-957.el7.x86_64 2. ......
在同一个Java进程中连接多个RocketMQ集群
RocketMQ使用场景： 作为消费者：用户应用 --> MQ集群A --> 权益应用 消息内容:客户开户/销户相关消息 作为生产者：权益应用 --> MQ集群B --> 信贷应用 消息内容:卡券事件消息 问题现象： 一个Java进程要连接多个RocketMQ集群时，作为消费者功能无法正常使用，作为 ......
（转）二进制K8s集群环境搭建
原文：https://www.cnblogs.com/k8sinaction/p/17352116.html#top https://www.cnblogs.com/wxyyy/articles/17411340.html 1.1 高可用集群环境规划 1.1.1 服务器地址规划 类型服务器地址备注 ......
24-Hive优化(下)
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 ......
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......
20-Hive-DML&DQL
# 1. Load DATA 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产 ......
19-Hive-DDL
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 ......
18-Hive入门&安装
# 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL） ......
Windows本地IDEA运行mapreduce报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
## 问题原因 在windows运行hadoopJob程序的时候需要模拟下hadoop的运行环境。否则出现会出现标题的问题。 ## 解决方案 1. 下载Hadoop的bin目录 https://github.com/s911415/apache-hadoop-3.1.3-winutils 2. 将步 ......
Hive查看所有表/分区更新时间
业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs ......