集群hadoop hive
Docker Swarm + Harbor + Portainer 打造高可用，高伸缩，集群自动化部署，更新。
Docker Swarm是Docker官方自带的容器编排工具，Swarm，Compose，Machine合称Docker三剑客。Docker Swarm对于中小型应用来说，还是比较方便，灵活，当然K8S对于大型项目在各方面有着明显的优势。技术选型需要针对公司实际情况选择，架构往往是一步一步随着业务变 ......
datagrip链接hive
首先在官网下载datagrip直接点击安装选择30天免费试用 直接进项下一步，进去之后，新建project 起个名字完成即可： 右上角或左边有一个database点击 】 点击加号 选择Apache hive ......
HIVe的启动以及datagrip配置
之前已经被治好所需要的HIVe环境,治理需要启动他，才可以进行下面的链接datagrip操作 首先进到finallshell里面然后启动zookeeper 然后再启动hadoop：start-all.sh 启动完成之后看上一个博客先关闭防火墙； 根据黑马教程中提到的有两种方式启动HIVe: 一，先启 ......
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
HIVE数据分析-导入数据库
首先，启动hadoop以及hive 出现以上进程，显示成功 将改名后的文件上传到虚拟机 在hive里面的defaul数据库创建表格 use default; show tables; load data local inpath '/export/server/apache-hive-3.1.2-b ......
将hive数据库中的数据导入到mysql数据库中时需要注意到的问题
在hive中使用jdbc将hive与mysql连接起来时 一定要注意到每个数据库不同的字段个数，在打算直接复制时，不能只是修改表的名称和字段名称，还要记得修改几个？ 那里，个数要与字段名称保持一致！！！ 不然就会报错（比如我）； ......
启动hive报错：Cannot create directory /tmp/hive. Name node is in safe mod
在使用：start-all.sh 命令启动完hadoop之后再启动metastore服务使用 /export/server/hive/bin/hive --service metastore 启动远程连接服务再输入命令 /export/server/hive/bin/hive 启动hive 但是无法 ......
每日学习之hive
Hive利用HDFS存储数据，利用MapReduce查询数据 Hive能将数据文件映射成为一张表，在hive中能够写sql处理的前提是针对表，而不是针对文件，因此需要将文件和表之间的对应关系描述记录清楚。映射信息专业的叫法称为元数据信息（元数据是指用来描述数据的数据）。元数据存储在关系型数据库中 H ......
关于hive中的com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V报错
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V这个报错是因为Hive 3.1.3 guava 19.jar 和hadoop3.2.4 不兼容导致 解决方法—— 之后h ......
每日总结(hdfs文件导入到hive表)
1 CREATE TABLE employees ( 2 id INT, 3 name STRING, 4 age INT, 5 salary FLOAT 6 ) 7 ROW FORMAT DELIMITED 8 FIELDS TERMINATED BY ',' 9 STORED AS TEXTFI ......
使用 Databend 加速 Hive 查询
作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式 ......
将从hive传到mysql数据库的数据使用Echarts进行可视化
1、使用JDBC连接数据库 //DBUtil.java package org.example; import java.sql.*; public class DBUtils { public static String db_url="jdbc:mysql://node1:3306/transp ......
每日总结|9.21-Hive搭建及报错解决方案
搭建 安装hive 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面 tar -zxvf /opt/software/apache ......
k8s-集群搭建
部署目标 在所有节点上安装Docker和kubeadm，kubelet 部署容器网络插件flannel 安装基础软件 1、配置Master和work节点的域名 2、CPU设置为2核 3、下载阿里云的yum源repo文件 curl -o /etc/yum.repos.d/CentOS-Base.rep ......
windows下安装和配置hadoop
1.安装hadoop 下载hadoop，下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 建议不要下载最高版本，而是下载稳定版本，我下载的是3.2.3版本；将压缩包解压到安装目录，注意安装目录的路径中不要有空格； 我将h ......
ElasticSearch集群的搭建
一、集群有什么用 1.1 群集的含义与产生 群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应 ......
将txt、csv等类型文件导入到hive数据库中
1、将.txt文件（以sample.csv文件为例）放到data文件夹下面 建议直接用上传进行文件的上传（命令的话，我还没搞清楚）； 2、进入到hive数据库中，根据txt文件信息创建表 create table test1 (day_id varchar(30),sale_nbr varchar( ......
如何查看kubeadm搭建出来的集群，admin.conf文件，使用的是哪些用户？
当使用kubeadm工具搭建一个k8s集群之后，会自动的创建一个admin.conf文件。 同时，会建议将这个文件拷贝到$HOME/.kube/config，kubectl会使用这个配置文件来访问k8s集群，也可以说是访问apiserver。 那么，在admin.conf中，到底设置的是哪个用户呢？ ......
数据库集群
一、海量数据存储问题 传统的关系型数据库，因为数据存储量越来越大，已经无法满足快速查询与插入数据的需求。NoSql的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，换取性能的提升。 有的场景要求绝对要有事务与安全指标，这时候NoSql一些折中是无法满足使用场景 ......
hadoop权威指南
Hadoop权威指南 第1部分 Hadoop基础知识 第2章 关于MapReduce MapReduce分为两个阶段，map阶段和reduce阶段。map函数是数据准备阶段，它会准备好一个键值对的数据集合，然后交由reduce函数来处理，比如进行排序、分组、聚合等操作。 MapReduce处理示例， ......
关于hive数据库数据导入mysql数据库问题的解决
1、表结构对比 都是字符类型，在我看来么的问题； 2、导入依赖的包试试 sqoop export --connect 'jdbc:mysql://192.168.88.151:3306/transport?useUnicode=true&characterEncoding=utf-8' \ > -- ......
hive导出到mysql以及mysql导入到hive
hive导出到mysql： /export/server/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop export --connect jdbc:mysql://10.99.118.207:3306/db_msg --username root --passwor ......
关于hive中使用group by报错的问题的解决
问题描述+问题解决 在我在hive数据库中使用group by的函数时，如果在我们决定显示出来的字段名中有非聚合的字段（即字段名为原生字段名，并没有加什么SUM等聚合函数）， 那么，我们就必须在group by 后面引用上这个非聚合字段，否则就会报错； 同时，在我们写数据到新的数据表中时，一定要保证 ......
kubesphere快速搭建集群
1，资源准备 mkdir -p /opt/kubesphere cd /opt/kubesphere curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0-alpha.4 sh - chmod +x kk ./kk create config ......
redis cluster三主六从 redis三主三从集群搭建
转自：https://blog.51cto.com/u_16099166/6885197 一、下载安装二、本文架构（三台服务器，每台部署两个节点，主从同步，生产最好是部署六台服务器）： 三、进入redis安装目录，复制redis.conf文件，建立从节点配置文件 1 #进入redis安装目录 2 c ......
redis三主三从哨兵模式 redis三主三从集群
转自：https://blog.51cto.com/u_16213559/7033634 conf 复制/usr/local/src/redis-6.2.6文件夹下redis.conf文件到/usr/local/src/master-slave文件夹中命名为redis6381.conf 1 # 允许 ......
KingbaseES V8R6 集群运维案例 -- 集群备份到nfs共享存储初始化错误
案例说明： 在主备库建立nfs共享存储的文件系统，作为sys_rman备份的repo-path，在备库作为repo-path节点执行备份，出现数据库连接到'5432端口的错误'，数据库实际的服务端口为54321。 适用版本： KingbaseES V8R6 节点信息： [kingbase@node1 ......
KingbaseES V8R6 集群运维系列 -- trusted_server
案例说明： 在KingbaseES V8R3及V8R6早期的版本，对于读写分离的集群如果网关地址无法连通，将会导致整个集群关闭，数据库服务无法访问。在后期版本的改进中，降低了对网关的依赖性，当网关地址不通时，会影响集群的部分高可用功能比如failover切换，但集群可以正常对外提供数据库访问服务。如 ......
KingbaseES V8R6集群运维系列 -- connect_check_type参数
案例说明： 在KingbaseES V8R6C7的版本中，repmgr.conf增加了connect_check_type参数可以指定参数值，默认值是‘mix’，以前版本为隐藏参数，默认值‘ping‘。connect_check_type参数可以配置为： 监控数据库connect_check_typ ......
KingbaseES V8R3 集群运维案例 -- cluster.log无日志输出问题诊断
案例说明： KingbaseES V8R3集群正常运行期间，现场发现cluster.log日志无任何信息输出，针对这一问题做了复现及提出解决方案。后现场检查发现，cluster.log文件曾被删除： 适用版本： KingbaseES V8R3 一、查看集群的服务状态 1、集群节点状态 TEST=# ......