集群hadoop hive
JMeter 分布式集群远程压测及搭建常见问题
1、JMeter可以在以下场景下使用分布式远程压测： 性能测试：JMeter可以模拟大量用户并发访问，进行性能测试。当需要模拟成千上万的用户请求时，单台机器可能无法承受如此大的负载，此时可以使用分布式远程压测来将测试负载分发到多台机器上，提高测试的效率和准确性。 稳定性测试：在一段时间内持续发送请求 ......
Redis搭建集群架构
使用docker搭建 6.x 版本以后的镜像 docker 支持部署集群模式，由于 Redis 要求集群至少要有三个主节点，因此本次测试搭建了三主三从的 Redis 集群。 不基于 Host 网络模式 配置docker-compose.yml文件 version: "3" networks: red ......
ceph（四）ceph集群管理、pg常见状态总结
1. ceph常见管理命令总结 1.1 只显示存储池 ceph osd pool ls 示例 $ ceph osd pool ls device_health_metrics mypool myrbd1 rbd-data1 1.2 列出存储池并显示id ceph osd lspools 示例 $ c ......
HIVE增量同步方案2
SELECT student_temp.id ,coalesce(student_temp.age,student.age) as age ,student_temp.name ,coalesce(student_temp.dt,student.dt) as dt FROM student_temp ......
Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
今天发现连接beeline是时候连接不上，不应该啊昨晚还可以的qaq 破案了，我启动了metastore之后忘记去启动hiveserver2 hiveserver2都没启动能连上就怪了 一定一定要记得启动顺序！！！ hadoop+metastore+hiveserver2+beeline ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
rabbitmq集群搭建-镜像模式
rabbitmq简介 RabbitMQ 采用 Erlang 语言开发，Erlang 语言由 Ericson 设计，Erlang 在分布式编程和故障恢复方面表现出色，电信领域被广泛使用。 Broker: 接收和分发消息的应用，RabbitMQ Server 就是Message Broker，一个Bro ......
hive的一些操作（防忘）
create database test_1; 创建数据库 drop database test_1; 删除数据库 show databases; 查看数据库 ......
关于Hadoop和hive启动关闭的一些命令
Hadoop启动/关闭：start-all.sh / stop-all.sh HDFS：start-dfs.sh / stop-dfs.sh YARN：start-yarn.sh / stop-yarn.shhive 启动metastore服务： 前台启动 /export/server/apache ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(四)---连接idea使用echarts可视化界面
说来惭愧，我的javaweb烂得一批，其他步骤我还是很顺利地，这个最简单的，我遇到了一系列问题。只能说，有时候失败也是一种成功吧 这一步其实就是正常的jdbc，没什么可说明的，但是关于使用echarts我还是遇到了一些困难，如果有高手能指正一二，感激不尽 echarts获取前端数据要使用Ajax，我 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里
1、安装sqoop 我的版本 jdk1.8 hadoop3.1.3 sqoop1.4.6 基本上就安装这个版本都没问题，如果是执行连接数据库命令时报错：java.lang.NoClassDefFoundError;报错，在lib下再放一个commons-lang-2.6.jar即可， sqoop安装 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(二)---hive部分的实现
1、利用远程连接器上传csv文件 2、进入hive创建表结构： 创建一个Hive表的SQL语句：这个表名为 "sales"，包含了五个列：day_id、sale_nbr、buy_nbr、cnt 和 round。此表的数据格式为逗号分隔的文本文件，每一行都用逗号分隔字段。 create table s ......
Hive
Hive简介 Hive 是一种大数据处理工具，使用类SQL 的HiveQL 语言实现数据查询，它底层封装了Hadoop ，所有Hive 的数据都存储在Hadoop 兼容的HDFS中。 更官方的描述： Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和 ......
Hive学习3（数据库操作DML、join、hive函数）
1.对数据库操作 数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database、table等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内 ......
Hadoop架构原理 hadoop 架构
Hadoop 1、Hadoop 2.0提供分布式存储（HDFS）和分布式操作系统（Yarn）两大功能软件包 2、Hadoop 1.0项目模块 Hadoop Common：支持其他模块的公用组件 Hadoop Distributed File System（HDFS）：Hadoop的分布式文件系统 H ......
HIVE数据分析-处理结果入库
1、navicat远程连接Hive数据库 1、打开navicat里的mysql连接 2、使用SSH隧道 出现上面这个显示连接就是成功 3、设置常规连接 显示成功后点击确定，navicat远程连接Hive数据库成功 问题 4、处理结果入库： 将上述统计分析的结果数据保存到mySQL数据库中。 1、通过 ......
HIVE数据分析-数据清洗
题目：2、数据清洗： 要求将day_id一列中的数值清洗为真实的日期格式，可用字符串表示。 数据1对应日期2023-09-01，依次类推，15对应日期2023-09-15 二、数据清洗 （2）创建表格存放清洗后的数据： create table sales_y(day_id string,sale_ ......
Hive学习2（hive部署启动，DataGrip连接hiveserver2）
1.Hive部署： hive部署：09-Apache hive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apache hive安装部署--配置文件修改编辑_哔哩哔哩_bilibili 2.Hive启动 hadoop启动后。 node1上： nohup /exp ......
elasticsearch 集群搭建
elasticsearch 集群搭建 elasticsearch.yml cluster.name: bigdata node.name: node-1 path.data: /usr/local/las/data/elasticsearch path.logs: /usr/local/las/lo ......
MySQL 双主集群搭建
MySQL 双主集群搭建 参考文档： 图文结合带你搞懂MySQL日志之relay log（中继日志） - GreatSQL - 博客园 (cnblogs.com) 一个月后，我们又从 MySQL 双主切换成了主 - 从！ (baidu.com) MySQL 简介 MySQL是一个关系型数据库管理系统 ......
redis Cluster（主从集群）
redis Cluster（主从集群） Redis的主从同步机制 得分点 psync,全量复制、部分复制 标准回答 Redis主从同步是指任意数量的从节点（slave node）都可以从主节点上（master node）同步数据。而除了多个 slave 可以连接到同一个 master 之外,slav ......
Docker 部署 redis 网络集群
Docker 部署 redis 网络集群 ## 1. 创建网卡 docker network create redis --subnet 172.38.0.0/16 # 2. 通过脚本创建六个redis配置 for port in $(seq 1 6); \ do \ mkdir -p /mydat ......
navicat链接虚拟机上hive环境下的MySQL
一：启动虚拟机 二，finallshell上进入hive，（具体进入参照上一个博客） 三，进入成功后，打开Navicat 点击左上角链接选择MySQL 按照上面的步骤： 1.起一个名字，能分辨就行 2.这里非常重要，必须要填IP地址，IP地址不知道的同学打开虚拟机中hive的服务端（就是你final ......
Hive学习1（数据仓库及Hive基础学习）
1.数据仓库 1.1什么是数据仓库 数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 同时数据仓库自身也不“消费”任何的数据，其结果开放给各个外部应用使用； 数据仓库是为了分析数据的。 ......
rockerMQ双主双从集群搭建
总体架构 集群工作流程 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。 Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存 ......
ceph（一）基于ceph-deploy部署ceph集群
1.梳理ceph的组件关系 1.1 ceph介绍 Ceph是一个开源的分布式存储系统，同时支持对象存储、块设备、文件系统。 ceph支持EB(1EB=1,000,000,00OGB)级别的数据存储, ceph把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认4兆)的对象数据，并以其为原 ......
PostgreSQL高可用集群项目实战之Repmgr
一、风哥PG-DBA培训18：PostgreSQL高可用集群项目实战之Repmgr 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Repmgr，学完本课程可以掌握Repmgr运行 ......
PostgreSQL高可用集群项目实战之Patroni
一、风哥PG-DBA培训19：PostgreSQL高可用集群项目实战之Patroni 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Patroni，学完本课程可以掌握Patron ......
PostgreSQL集群解决方案与流复制项目实战
一、风哥PG-DBA培训15：PostgreSQL集群解决方案与流复制项目实战 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL集群解决方案与流复制项目实战，学完本课程可以掌握PostgreSQL集群 ......