集群hadoop hive
ZooKeeper集群版本升级
ZooKeeper集群版本升级 环境描述： 3节点的集群，当前版本为3.8.1，计划将所有节点版本升级到3.8.3。 由于过半机制，即存活的节点数量>（非>=）所有节点数量的一半，则整个集群可以正常对外提供服务。 举个例子，3个节点，最少存活2>(3/2=1.5)个节点，即允许有一个节点宕机下依旧能 ......
HBase-通过外部表将Hive数据写入到HBase
a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
kubeadm 加入work 节点集群时报 http://localhost:10248/healthz处理方法
现象: [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tc ......
Base虚拟机克隆集群节点,并固定IP与免密互通
克隆Base虚拟机 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname nod ......
Etcd集群换机导致etcd集群不可用
背景： 因为工作中有nj地域需要下线，需要我所有地域的机器包括vip全部换成其他临近地域 问题： 集群中的etcd正常替换，当时保持的是平移，由于历史原因，之前的同学上线都是手动变更，没有发起上线，导致使用的之前的版本，导致etcd只能读，不能写入，而且etcd监控查询是不健康的状态 排查： 检查了 ......
关于Hive的常用HiveQL操作
创建hive数据仓库： create table docs(line string); 从hdfs上传文件到数据库： load data inpath 'file:///usr/local/hadoop/input' overwrite into table docs; 根据词汇查询词汇数量： cr ......
使用go语言开发hive导出工具
前言 新版 hive 提供了 beeline 工具，可以执行SQL并导出数据，不过操作还是有点复杂的，团队里有些同学不会Linux的基本操作，所以我花了亿点点时间写了个交互式的命令行工具方便使用。 效果 命令行工具，就是这么朴实无华。 探索过程 一开始是打算用 bash 脚本，结果发现根本不会写，b ......
hive词频统计
1.首先在hadoop目录下创建一个input文件夹,并在文件夹里建立两个txt文件并写入信息 第三行的echo命令会讲引号里的内容写入后边的文件,文件不存在的话会自动创建一个. 2.启动hive,创建一个名为docs的表,只含一列,列名为line,类型为string 3.将第一步input文件夹中 ......
搭建redis分片集群
搭建redis分片集群第一章：测试环境搭建1.1、版本信息：操作系统：CentOS-7-x86_64-Minimal-2009.isoredis：6.0.81.2、地址规划与结构图ip地址端口描述192.168.118.20020300master1192.168.118.20020301slave ......
mongo集群和es集群添加密码
1、查看/etc/mongod27017.conf 配置, 添加 security: keyFile: /etc/mongo.keyfile authorization: enabled 2、 security.authorization不配置 and keyfile配置 security.auth ......
redis集群的简单应用
1、创建集群 # 创建redis示例docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled ......
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对 问题描述和初步判断 k8s中部署的数据中台调用指云（open.imzhiyun.com）的sdk接口，调用了23次，成功了3次,其余20次都失败。我这边通过在宿主机上进行tcpdump抓包 抓包命令： 1. 查出调用sdk的 ......
hadoop集群 大数据项目实战_电信用户行为分析_day02
集群配置好后，运行一个小例子，统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis ......
轻松掌握组件启动之Redis集群扩展秘籍：轻松扩容与缩容，释放高性能潜能
在这篇文章中，我们将揭示Redis集群的扩容和缩容操作，让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点，并将它们无缝添加到集群中，您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时，我们还将探讨如何进行缩容操作，即删除节点，以优化集群资源的利用。无论您是初学者还是经验丰... ......
终于知道如何利用hive的日期转换函数进行日期格式的清洗啦~（之前用的外部数据清洗）
1、创建合适格式的表result10 create table result10( ip String, time1 String, day String, traffic String, type String, id String) row format delimited fields ter ......
Kubernetes集群管理面板的安装及使用
Kubernetes集群管理面板的安装及使用 1、前言 若海的腾讯云Lighthouse组建跨地域Kubernetes集群，让我成功体验到了Kubernetes集群诸多优点，但是非技术出生的我，长时间使用黑洞洞的命令行终究不是我能接受的，在海哥的帮助下，我成功安装了Kubernetes集群管理面板。 ......
ORACLE:集群oracle查看session的语句
1.查看session可以把status改为ACTIVE和INACTIVE v$session 和gv$session 只在RAC中区别明显，有g是全局的，rac的两个数据库中的内容，没有是但实例的数据库的，内容不全 rac么？ gv$开头视图是rac全局的，v$开头是本节点的 gv$session ......
Hadoop-3.3.5 自动安装
Hadoop-3.3.5 自动安装脚本 为了方便数据科学与大数据技术的 hadoop-3.3.5 安装与配置 目前适用于新安装的纯净虚拟机，未配置冲突检测.. 所以安装的话请使用全新创建的机器以避免错误... 如何使用 ssh localhost 输入你目前用户的密码 exit 退出当前ssh终端（ ......
hadoop集群 大数据项目实战_电信用户行为分析_day01
上图是相关配置的要求，主要创建了四个虚拟系统，有三台虚拟机搭建hadoop集群，一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数，设置静态网络 ......
轻松掌握组件启动之Redis单机、主从、哨兵、集群配置
这篇文章介绍了Redis的单机配置启动和主从架构、哨兵、集群搭建方法。无论你是初学者还是有一定经验的开发者，这篇文章都能为你提供实用的指导，让你轻松掌握Redis的配置和架构搭建。 ......
基于Docker搭建Hadoop+Hive
基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224，但是这篇文章有一些细节配置没有讲清楚，这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15 ......
hive清洗数据sql语句报错
在本次的测试中sql语句清洗数据时下面,同时观察第一个语句中Date为啥要加这个单引号，原因是Date是sql语句里的可以说是一个关键字的存在，所以必须要单独引用起来以示区别 insert overwrite table article select ip as ip ,`Date` as `Dat ......
hive大数据测试（时间数据清洗UDF打包到hive中调用自定义函数，hive表数据导出到本机）
1.数据清洗 pom依赖： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEnco ......
《Hive性能优化实战》读书笔记
写在前面 《Hive性能优化实战》是比较不错的一本hive技术书籍，介绍了hive相关的一些技术，一些基本的理论，看完能对hive优化方面略有了解； 但有俩地方每种不足，一是没有那么多的实际的综合情况分析优化案例，这个有点可惜，要是多几个案例就很不错了；而是执行计划部分大多数 整本书最吸引人的地方在 ......
云行｜乘云而上，“赣”劲十足，天翼云4.0暨赣州算力集群落成！
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”... ......
Hadoop-Operation category READ is not supported in state standby 故障解决
在查询hdfs时或者执行程序向hdfs写入数据时遇到报错：Operation category READ is not supported in state standby 意思是：该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls ......
Hive-服务启动和停止命令
1、启动命令 #！/bin/bash nohup hive --service metastore >> $HIVE_HOME/logs/metasotre.log 2>&1 & nohup hive --service hiveserver2 >> $HIVE_HOME/logs/hiveserv ......
虚拟机如何打开hive数据库
1、启动hodoop 2.、启动 hive的服务: metastore cd /export/server/apache-hive-3.1.2-bin/bin ./hive --service metastore 后台启动 nohup ./hive --service metastore & 3、 ......