hadoop hbase hive
hive函数
运算函数 1、取整函数: round 语法: round(double a) 返回值: BIGINT 说明: 返回double类型的整数值部分 （遵循四舍五入） hive> select round(3.1415926) from iteblog; 3 hive> select round(3.5) ......
技术实践｜Hive数据迁移干货分享
导语 Hive是基于Hadoop构建的一套数据仓库分析系统，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。它的优点是可以通过类SQL语句快速实现简单的MapReduce统计，不用再开发专门的MapReduce应用程序，从而降低学习成本，十分适合对数据仓库进行统计分析。 近几年 ......
Spring Boot集成Mybatis-plus+hive
运行环境 jdk1.8 springboot：2.7.15 1.在pom.xml文件中加入 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version ......
hive SQL案例
上个月用户连续n天登录天数 用户登录记录表user_login，包括用户id（user_id）、日期（login_date） user_id login_date 12333256 2021-01-03 84272916 2021-01-03 94038271 2021-01-02 20193401 ......
使用hadoop进行单词统计
# 1、启动hadoop  启动成功！ # 2、将result.txt文件放到/root/software/hado ......
javaAPI操作hbase对表格的增删改查
package org.example; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.clie ......
Hadoop 和 Spark 简介
# Hadoop 和 Spark 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 过去一直是大数据的经典解决方案，它包含两个部分：Hadoop HDFS 和 Ha ......
Hive 刷题——银行可以支付监测
场景说明 有一个支付流水表，关键字段：用户，交易时间，交易金额，现在规定：两个小时内交易此时大于2且交易总结金大于100000的用户为可疑用户，现在需要使用HiveSQL 进行监测 数据准备 CREATE TABLE transfer_log ( log_id INTEGER, log_ts TIM ......
Hbase安装配置教程
# 1、下载地址：https://www.apache.org/dyn/closer.lua/hbase/2.4.17/hbase-2.4.17-bin.tar.gz 等待下载完成： ![](https://img2023.cnblogs.com/blog/2808014/202308/280801 ......
Hive服务部署相关步骤
# 一、hiveserver2服务部署 # 1、配置hadoop下面的core-site.xml文件 进入到相应的目录下： ``` cd /root/software/hadoop-3.0.0/etc/hadoop ``` 编辑core-site.xml文件，将下面的语句补充到里面： ``` had ......
spingboot集成hive
因为开学要考就是把数据库换成hive那些做个web网站，所有提前做个小demo测试下。 首先呢就是pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns ......
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!问题的解决
# 问题描述 上次还是初始化很快，这次直接出错，我觉得可能是已经初始化一次的原因；  # 问题解决 进入到mysql ......
hive整个服务启动流程
首先是 start-all.sh 然后打开历史服务器： mapred --daemon start historyserver 最后首先启动metastore服务，然后启动hiveserver2服务 nohup bin/hive --service metastore >> logs/metasto ......
Hadoop概念地图
## Hadoop 发展史及生态圈 1，hadoop 的发展史，基于GFS,MAPREDUCE，BIGDATA >Hive 2，hadoop 生态圈。core,hdfs,mapreduce,hive,zookeeper.hbase,kafka，Flume，Sqoop,Mahout,Pig等 3，ha ......
Hadoop概述
# Hadoop 作用 解决分布式存储和分布式计算的可靠的，可扩展的，高容错的开源框架 其下面有四个模块的内容： Hadoop Common：支持其他Hadoop模块的常用工具。 Hadoop分布式文件系统（HDFS™）：提供对应用程序数据的高吞吐量访问的分布式文件系统。 Hadoop YARN：作 ......
Hadoop集群环境安装
### 1,集群环境准备 ``` 准备jdk 环境，本文用的版本是，java version "1.8.0_102" 为机器准备ssh 客户端和服务端，ubuntu 环境下默认安装了客户端，那么，请安装服务端， apt-get install openssh-server 可以的话尽量不要用root ......
Hadoop知识点
### 1，概念 ``` Hadoop是一个开源的、可运行于大规模集群上的分布式并行编程框架，它实现了 Map/Reduce计算模型。 ``` ### 2，核心所在。 ``` 1，Hadoop分布式文件系统（HDFS，Hadoop Distributed File System） datanode ......
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题的解决
# 问题描述 使用**start-dfs.sh**命令开启hdfs服务时，爆出这样的警告信息  # 问题解决 可以先 ......
Hive执行计划详解
## 什么是Hive SQL执行计划 Hive SQL执行计划描绘了SQL实际执行的整体轮廓，即**SQL转化为对应计算引擎的执行逻辑**；毫无疑问，这一块对于Hive SQL的优化是非常重要的。 Hive SQL早期是基于规则的方式生成执行计划，在Hive 0.14及之后，集成了Apache Ca ......
解密Hadoop生态系统的工作原理 - 大规模数据处理与分析
在当今的数字时代，大规模数据处理和分析已经成为了企业和组织中不可或缺的一部分。为了有效地处理和分析海量的数据，Hadoop生态系统应运而生。本文将深入探讨Hadoop生态系统的工作原理，介绍其关键组件以及如何使用它来处理和分析大规模数据。 ## 什么是Hadoop？ Hadoop是一个开源的分布式计 ......
基于Hive数仓实现需求开发
# 1、建库建表与加载数据  上传到HDFS，即加载数据，可以使用命令行进行上传，还可以直接在网页里面进行上传； 在D ......
Hadoop部署HDFS集群 启动后只有node1有进程，node2和node3没有反应
最近有人向我询问说：为什么他的HDEF集群一键启动时只有node1进程有反应，node2和node3没有反应 我看完他的问题之后，想到了自己在部署时也遇到了同样的问题，现在来分享一下自己的解决方案 出现这种情况的主要原因是：workers文件没有配置好 解决方法： 输入：vim /export/se ......
hadoop开发案例
本次基于陌陌数据案例实现可视化数据分析 数据准备:两个tsv文件，总计包含14w条数据，数据字段包括发送人，接收人 账号，性别，GPS坐标等20多个字段，这些字段利用制表符进行分隔开，其中有为null的杂乱数据，需要将这些数据过滤，时间数据格式为年月日时分秒，需要substr()进行截取，GPS坐标 ......
Hive相关学习
# 1、服务启动  >（涨幅） 8 -200.00 9 -100.00 2 -70. ......
8.14-8.20学习总结博客五：Hive进阶与复杂查询
博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......
Hadoop3.3.0--Linux编译安装
### Hadoop3.3.0--Linux编译安装 本实验内容教程来源于“黑马程序员”如有侵权请联系作者删除 基础环境：Centos 7.7 编译环境软件安装目录 ``` mkdir -p /export/server ``` #### 一、Hadoop编译安装（选做） > ==可以直接使用课程提 ......