集群hadoop hive
Hive内置运算符（就当是缓缓脑袋吧~）
1、查看所有运算符 show functions; 2、关系运算符--是二元运算符，执行的是比较运算 每个关系运算符返回的都是boolean类型； 3、算术运算符--操作数必须为数字类型，分为一元运算符和二元运算符 4、逻辑运算符 与之前学过的一样，没难度； ......
每日随笔——hive数据分析4
在前面的博客中，我们已经完成了数据的导入，清洗以及将hive数据库中的数据导入到windows系统的mysql数据库 到目前为止，我们已将项目完成了大部分，现在就剩下实现可视化界面，完成柱状图了，这个需要eharts 下面是网址：https://echarts.apache.org/zh/index ......
大数据 | Hive使用示例
数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。Hive对数据的访问延迟较高，决定了Hive不适合在线数据查询。 ......
Hive学习之CLIS和Commands客户端命令
1、Batch Mode批处理模式 在bin/hive后面使用-e或者-f时，就会进入到批处理模式，运行完成这一句命令，就会直接退出hive命令行 例如， bin/hive -e 'show databases' 2、Interactive Shell 交互式模式 该模式运行完成后并不退出hive命 ......
Hive学习之DQL
1、update和delete操作 hive表如果不是事务表，就无法进行update操作 stored as orc TBLPROPERTIES('transactional'='true') 将表定义为事务表，之后进行update操作，就不会报错了。 2、select查询数据 就是跟mysql十分 ......
Hive中创建ETL表进行数据清洗
问题描述 今天看到这么一个问题： 看到清洗这两个字，就觉得可高级可高级了！！！ 所以，就把这个问题的解决方法也看了看，学了学； 问题的具体解决方法 看到了对ETL的分析（抽取-->过滤-->加载）： 首先创建一个在原表的结构基础上，新增我们所需数据的字段的表； 然后执行insert+select操作 ......
Hive学习4（ETL）
etl数据清洗：案例一 需求1：对字段为空的不合法数据进行过滤 Where过滤 需求2：通过时间字段构建天和小时字段 Substr函数 需求3：从GPS的经纬度中提取经度和维度 Split函数 需求4：将ETL以后的结果保存到一张新的Hive表中 Create table …… as select ......
Hive数据仓库的学习——DML学习
1、load加载 load语法： 2、Hive3.X新特性 能够使用load将文件数据存储到分区中，将分区默认作为表格数据的最后一列； 3、insert+select向表插入数据 这个语法就是在上次测试的时候遇到过的问题嘞！ insert+values这个语法执行效率就很慢，而换用insert+se ......
kubernetes集群搭建2023
参考： https://zhuanlan.zhihu.com/p/627310856（比较详细的一篇k8s集群部署文章） https://www.cnblogs.com/libruce/p/17477374.html 或者 https://zhuanlan.zhihu.com/p/590652259 ......
Kafka 集群副本数量调整
Kafka 创建时未指定多个副本或者副本数量过少，都可以在后期手动添加，另外如果副本过多也可以减少，当前调整基于 Kafka 的版本是 2.5.1，但是估计 2.1 ~ 2.5 应该都是兼容的。 下面先来操作一下 Topic 副本减少的过程，首先查看 Kafka Topic 的详情： # 新版本的 ......
Hive数据仓库的学习——DDL之内部表、外部表、分区表、分桶表
1、内部表和外部表 没有指定建表的类型的话，默认为内部表（Internal Table或者是Managed Table） 可以通过这行代码查看表的类型： describe formatted 表名; 内部表和外部表的区别以及适合使用的范围： 2、分区表--避免全表扫描，提高查询效率 需要注意的是，在 ......
Hive数据仓库的学习--DDL部分
1、建表语法 2、数据类型转换函数CAST--也就是强制转换 例如， CAST('100' AS INT) 3、有关于SerDe的描述 序列化和反序列化————用于从文件中读取和数据写入文件的操作（通俗来说，就是分辨分隔符，读取有效数据存储到数据库中）； 4、rowformat 指定具体的分隔符是什 ......
hive考试总结
这次测试的流程主要分为五个步骤。 1、数据导入 2、数据清洗 3、数据分析处理 4、Sqoop导入Hive数据到MySQL 5、通过javaweb+echarts进行数据可视化 一、数据导入： 建表： create table sales_sample_20170310 ( `day_id` str ......
hive string, map, struct类型的建表和导入数据语句
本文转载于 https://blog.51cto.com/u_14405/6419362，https://blog.csdn.net/tototuzuoquan/article/details/115493697 和 https://blog.csdn.net/weixin_43597208/art ......
Hadoop集群搭建(完全分布式)
一，Hadoop集群简介 1.1 Hadoop集群整体概述 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 Hadoop两种集群内容： 逻辑上分离，物理上合并的理解： 逻辑上分离：两个集群互相之间没有依赖、互不影响 物理 ......
Hadoop介绍
一，Hadoop介绍 狭义上Hadoop指的是Apache软件基金会的一款开源软件，用java语言实现。允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 Hadoop HDFS(分布式文件存储系统):解决海量数据存储 Hadoop YARN(集群资源管理和任 ......
视频监控/视频汇聚/安防视频监控平台EasyCVR配置集群后有一台显示离线是什么原因？
开源EasyDarwin视频监控TSINGSEE青犀视频平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，在视频监控播放上，TSINGSEE青犀视频安防监控汇聚平台可支持1、4、9、16个画面窗口播放，可同时播放多路视频流，也能支持视频定时轮播。视频监控汇聚平 ......
hive数据分析
HIVE数据分析实验报告 信2105-3 20213728杨申龙 数据导入 将csv文件导入到虚拟机的hive数据库中，并通过datagrip软件实现对数据库的可视化操作 数据清洗 在datagrip中进行如下操作，将数值清洗为真实日期 insert overwrite table test2 se ......
视频监控/视频汇聚/安防视频监控平台EasyCVR配置集群后有一台显示离线是什么原因？
服务器时间获取的还是utc时区的时间；因为数据库的时间戳获取的就是utc时间，判断与跟现场数据库获取的时间戳有关 ......
hive
hive测试步骤 1.在hive中建表，一个表存放原始数据，一个表存放清洗后的数据 create table sales_initial ( day_id varchar(30), sale_nbr varchar(30), buy_nbr varchar(30), cnt varchar(30), ......
软件工程测试--hive数据分析，步骤
  2 消费者启动并订阅频道(消费者往那个频道注册的就会到那个频道去找， ......
hadoop和hive的兼容问题
本人之前搭建的集群是hadoop3.3.5+hive3.1.3版本，后来发现这两个版本不兼容，虽然官方文档里面说hive3.1.3版本兼容hadoop3.x.y版本，但是当我在使用hive 执行插入语句时发现一直报同一个错误 java.lang.ClassCastException: org.apa ......
Consul 集群安装
1.介绍 Consul 是一款服务网络平台，主要实现服务注册、服务发现、服务网格、服务网关、安全网络以及配置管理等多类服务，非常适合做为微服务架构的底层网络平台。 配置中心其实就是一个 KV 存储，我们如果做配置中心的话其实主要就是用 KV 存储部分，但是为了以后的可扩展性，我们可能会使用各种服务网 ......