集群hadoop hive
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
为什么创建 Redis 集群时会自动错开主从节点？
哈喽大家好，我是咸鱼 在《[一台服务器上部署 Redis 伪集群》](https://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247486439&idx=1&sn=0b10317397ef3259dd98d493915dd706&chksm=c2 ......
Hive SQL如何获取(YYYYMM)格式年月的前1个月
如果当前年月为202301，前一个月就是202212，使用如下SQL可以将年月字段（YYYYMM格式）向前平移1个月： date_format(add_months(from_unixtime(unix_timestamp(concat(年月字段,'01'),'yyyyMMdd'),'yyyy-MM ......
hive客户端启动
1.sart-all.sh 2. 3.实现在其他虚拟机访问客户端 scp -r /export/server/apache-hive-3.1.2-bin root@node3:/export/server/ 4.在node3上面输入： /export/server/apache-hive-3.1.2 ......
Apache Doris集群部署
一、Doris部署环境及系统依赖 环境要求参考:https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment 1.部署环境 2.系统依赖 1.Java环境 tar xf jdk-8u201-linux-x64.tar.gz - ......
Tomcat : 集群搭建
[TOC] # Tomcat 集群搭建 ## 参考资料 - 官方文档：https://tomcat.apache.org/tomcat-8.5-doc/cluster-howto.html - 《 [Tomcat 单机多实例使用记录 ](https://www.cnblogs.com/lihw-st ......
集群部署专题之一：详解集群间SSH无密码登录配置步骤
#### 一、SSH简介 SSH（Secure Shell）是一种网络安全协议，通过加密和认证机制实现安全访问和文件传输等业务。传统远程登录和文件传输方式有Telnet或FTP，这两种方式都使用明文传输数据，存在很多安全隐患。SSH采用加密传输数据、提升认证强度等手段，克服了Telnet和FTP应用 ......
Zookeeper集群搭建
>zookeeper 3.8.2 ### 使用docker安装zookeeper集群 [zookeeper下载地址](https://zookeeper.apache.org/releases.html) 下载最新的稳定版本即可，当前稳定版本为3.8.2。 第一步，修改logback.xml 解压后 ......
hive-metastore服务启动方式
1.前台启动hive命令： /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore 2.后台启动hive命令： ......
三台N1上离线安装k3s集群
## 前期准备 三台N1 ``` uname -a Linux armbian 6.1.40-ophub #1 SMP Sun Jul 23 21:46:15 EDT 2023 aarch64 aarch64 aarch64 GNU/Linux ``` 分别是 | | hostname | IP | ......
Hive处理json数组
思路：使用正则替换json数组内部json串之间的逗号。"},{" > "}|{"，再使用炸裂函数lateral view explod(split(col,"|"))将列转行，最后使用get_json_object()单独处理每个展开行的数据。 SELECT explode(split( rege ......
Redis7.X Centos集群搭建
## 下载 https://download.redis.io/redis-stable.tar.gz ## 部署 1. 上传解压 ``` tar -zxvf redis-stable.tar.gz ``` 2. 编译安装 ```sh cd redis-stable make && make ins ......
如何通过集群扩展 Node.js 应用程序
# 如何通过集群扩展 Node.js 应用程序 - [原文链接](https://www.digitalocean.com/community/tutorials/how-to-scale-node-js-applications-with-clustering#prerequisites) - [ ......
ceph集群状态 pgs not scrubbed in time
检查集群状态 ``` # ceph -s cluster: id: 83738b81-56e4-4d34-bdc2-3a60d789d224 health: HEALTH_WARN 75 pgs not scrubbed in time services: mon: 3 daemons, quoru ......
hive-explode 和 lateral view
### explode&lateral view explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，在业务系统中是存贮 ......
pve搭建ceph集群
文章参考 https://zhuanlan.zhihu.com/p/617024637 http://www.taodudu.cc/news/show-4270751.html?action=onClick pve 版本 8.0.2 > 配置建议：机器最好是8C16G以上的配置 > > 硬盘最好有三 ......
将Go开发的代码部署到k8s集群
一、在服务器上编译go程序 1.1 编译go语言程序 # 安装go yum install go -y mkdir /root/test && cd /root/test # 设置代理 go env -w GOPROXY=https://goproxy.cn,direct # 创建源码文件 [roo ......
HIVE-最大连续登陆天数
### 一、背景 在网站平台类业务需求中用户的「最大登陆天数」，需求比较普遍。原始数据： ```plsql u0001 2019-10-10 u0001 2019-10-11 u0001 2019-10-12 u0001 2019-10-14 u0001 2019-10-15 u0001 2019- ......
hive-拉链表
**工作中的拉链表是使用spark程序开发的，因为一些业务需求单纯使用sql解决不了，以下是使用纯sql写的拉链表**拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。**记录一个事物从开始，一直到当前状态的所有变化的信息。**下面就是一张拉链表，存储的是用户的最 ......
Linux部署Consul单机和集群
Linux部署Consul单机和集群 一、Consul简介 Consul是由HashiCorp基于Go语言开发的支持多数据中心的分布式高可用服务发布和注册软件, 采用Raft算法保持服务的一致性, 且支持健康检查，Consul和Eureka的侵入式服务中心不同的是, Consul是以独立的软件形式运 ......
Flink-读Kafka写Hive表
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ......
HDFS的shell命令（Hadoop fs [参数]）
hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录，没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令： h ......
Hive LAG函数分析
含义：LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） https://blog.csdn.net/weixin_43291055/arti ......
Kafka - 线上集群部署方案怎么做？
既然是集群，那必然就要有多个 Kafka 节点机器，因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。 操作系统 -- 选择L ......
hive-四种排序
 #### 数据准备 ```plsql 2008 32.0 2008 21.0 2008 31.5 2008 17. ......
oceanbase集群版安装(离线部署)
环境:OS:Centos 7oceanbase:4.2192.168.1.105 中控机192.168.1.106192.168.1.107 1.下载离线包(中控机执行)https://www.oceanbase.com/product/opensource下载的介质为:oceanbase-all- ......
redis集群-Cluser
[toc] # 一 Redis Cluser介绍背景 https://www.cnblogs.com/liuqingzheng/articles/17324393.html ## 1.1问题 ```python # 存在问题 1 并发量：单机redis qps为10w/s,但是我们可能需要百万级别的 ......
一台服务器上部署 Redis 伪集群
哈喽大家好，我是咸鱼 今天这篇文章介绍如何在一台服务器（以 CentOS 7.9 为例）上通过 `redis-trib.rb` 工具搭建 Redis cluster （三主三从） `redis-trib.rb` 是一个基于 Ruby 编写的脚本，其功能涵盖了创建、管理以及维护 Redis 集群的各个 ......