集群hadoop hive
Redis（2）：四种模式（单机、哨兵、集群、主从复制）部署
学习自：Redis 的四种模式 - 何童鞋 - 博客园 深入理解Redis的部署模式四种模式的探索（redis部署四种模式）-数据库运维技术服务 redis部署和运行原理 redis的三种部署方式_小咪咪的技术博客_51CTO博客 上一节：Redis（1）：四种模式（单机、哨兵、集群、主从复制）原理 ......
nacos 单机3节点 集群env
集群中包含 3 个 Nacos Server 节点，两个 Proxy 主备节点，Mysql 数据库主备 这里仅记录Nacos的安装 Nacos节点服务器节点 IP 端口 Nacos1 172.17.10.21 8858 (默认 8848) Nacos1 172.17.10.22 8858 (默认 8 ......
Kubernetes集群部署（三）
> 准备三台Linux虚拟机（K8S集群三台起步），系统用CentOS7.4，虚拟机配置是2颗CPU和2G内存（K8S最低要求的配置），网络使用桥接网卡方式并使用静态IP | 主机名 | IP地址 | 角色描述 | | | | | | k8s-master-192.168.245.11 | 192. ......
时序数据库TimescaleDB 功能介绍、单节点、集群安装部署、centos、linux
简介 Timescale Documentation | Getting started with Timescale Timescale是一个用于时间序列，事件和分析的PostgreSQL数据平台。 提供了PostgreSQL的可靠性，这是时间序列的超能力 TimescaleDB，。它提供 自动备 ......
HIve 刷题——同一时刻异地登录问题
题目描述 从登录明细表（user_login_detail）中查询在相同时刻，多地登陆（ip_address不同）的用户 题目需求 从登录明细表（user_login_detail）中查询在相同时刻，多地登陆（ip_address不同）的用户 期望结果如下： user_id<string>(用户id ......
HIVE带中括号的列名取数
某次取数，某表中有奇怪的字段名：pointchange_ygz_[yyyy]，带了个中插号，用简单查询出错 select pointchange_ygz_[yyyy] as p from t 出错信息： Error while compiling statement: FAILED: Semanti ......
聊聊在集群环境中本地缓存如何进行同步
## 前言 之前有发过一篇文章[聊聊如何利用redis实现多级缓存同步](https://mp.weixin.qq.com/s?__biz=MzI1MTY1Njk4NQ==&mid=2247507197&idx=1&sn=90b1be9d29f37fc7aba21ccf047fa6b3&chksm= ......
2-06-Nacos配置管理-Nacos集群搭建-not practice
# Nacos集群搭建 # 1.集群结构图 官方给出的Nacos集群图：  其中包含3个nacos节点，然后一个负载 ......
Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
# Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 配置完hadoop启动的时候出现如下警告信息： ```shell WARN util.NativeCode ......
nacos集群部署
准备nacos 一般集群需要至少3个节点。我们先准备3台机器： 192.168.11.200、192.168.11.196、192.168.11.126 nacos 的默认服务端口是 8848 ，但是由于 我们的机器上还有其他nacos 服务正在作用，所以， 我们这里把端口改为 8748， 如下： ......
Hive SQL 的 ntile 分组切片函数
Hive SQL 的 ntile 函数用于将分组数据按照顺序切分成n组，并返回当前切片值。如果切片不均匀，默认增加第一个切片的分布。它把有序的数据集合「平均分配」到指定的数量（n）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差 1。 语法 Hi ......
中电金信：技术实践｜Flink多线程实现异构集群的动态负载均衡
导语：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。本文主要从实际案例入手并结合作者的实践经验，向各位读者分享当应用场景中异构集群无法做到负载均衡时，如何通过Flink的自定义多线程来实现异构集群的动态负载均衡。 ● 1. 前言 ● 2. 出现的问题与解决 ......
Redis 持久化及集群架构
本篇技术博文将深入探讨 Redis 持久化机制的原理、配置和使用方式。我们将介绍两种常用的持久化方式：RDB 持久化和 AOF 持久化。您将了解到它们的工作原理、优缺点以及如何根据需求选择合适的持久化方式。
通过深入学习 Redis 持久化及集群架构，您将能够构建稳定、可靠并具备高可用性的 Red... ......
etcd集群恢复
etcd 概述 etcd 是 CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。 etcd 内部采用 raft 协议作为一致性算法，etcd基于Go语言实现。 完全复制：集群中的每个节点都可以使用完整的存档 高可用性：Etcd可用于避免 ......
[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job fai ......
1.hive 简介
[TOC] ## 1.1 hive出现的原因 FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目(hive是由Facebook开源用于解决海量结构化日志的数据统计)==》广泛应用原因： + ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......
【HIVE系列】01-HIVE 常用操作
title: 【HIVE系列】01-HIVE 常用操作 date: 2018-11-13 20:20:31 update: 2018-11-15 17:10:43 categories: - 大数据技术 - hive tags: [hive] >> 参考资料： https://blog.csdn.n ......
关于hive的字段注释乱码解决
今天我发现我的DBeaver执行完sql后，表的注释乱码，深究下来是要去设置hive的编码，要不注释是乱码。 教程：hive设置中文编码格式utf-8_hive建表指定字符集_2021xyz666的博客-CSDN博客 ......
hive如何提高查询性能
本文会通过四个方面介绍Hive性能调优，主要包括： √性能调优工具 √设计优化策略 √数据存储优化 √作业优化技巧 ## 1.合并中间表 一个日志文件中，每一行记录，会有很多很多字段，四五十个字段很正常。实际分析中，常常使用少数几个字段将原始的表中数据，依据业务需求提取出要分析的字段，数据放入到对应 ......
hadoop 简介
[TOC] ## hadoop 的三大组件和关系 ### 1. HDFS：分布式文件系统 > #### hdfs 的特点和不适用使用场景 >> 1.1 HDFS文件系统可存储超大文件（不适用有大量小文件场景和小量场景，默认块大小是MB,资源浪费） >> 1.2 一次写入，多次读取（不适用多用户更新， ......
当kafka集群其中一台宕机后，集群不能正常工作（已解决）
https://blog.csdn.net/DreamsArchitects/article/details/108573887?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefaul ......
8.7-8.13学习总结博客五：Hive进阶与复杂查询
博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......
假期总结之Hive基础架构
Apache Hive其2大主要组件就是：SQL解析器以及元数据存储， 如下图。 元数据存储 通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 -- Hive提供了 Metastore 服务进 ......
redis 集群
Redis集群集群解决的问题代理主机和无中心化集群Redis集群的特点Redis集群环境搭建slots（插槽）在集群中录入值查询集群中的值故障恢复Redis集群的优缺点集群解决的问题服务器的容量不足或者进行并发写操作的用户过多等情况下可以使用多台Redis集群的方式缓解压力。 注：（高并发的写操作， ......
Hadoop----hdfs dfs常用命令的使用
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ......
hive处理字符串化数组
大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE ......