hadoop hbase hive
HBase_API_（HBaseDML，对数据的api）
对表中数据进行以下操作： 静态属性 1.插入数据 2.读取数据 3.扫描数据 4. 5. HBaseConnection.java(提供connection连接) package com.atguigu; import org.apache.hadoop.conf.Configuration; im ......
HBase_API_（HBaseDDL，对表的api）
对hbase数据表进行以下操作： 1.创建命名空间 2.判断表是否存在 3.创建表格 4.修改表格 5.删除表格 注意：对表格的操作要调用admin，对数据进行操作调用table（这篇博客没有涉及到） package com.atguigu; import org.apache.hadoop.hba ......
apache-paimon初体验 （hive用法待完善）
1.官网 https://paimon.apache.org/docs/master/engines/hive/ 2.安装flink 3.下载依赖包到flink lib目录下 4.运行yarnsession 创建Application-Name，并修改配置文件 ./bin/yarn-session. ......
hive的相关学习1---wordCount实例
1、新建一个名为file1.txt的txt文件存储数据 2、在sss数据库中新创建一个名为docs的表 create table if not exists docs(line string); 3、将file1.txt的数据导入到新创建的docs表中 load data local inpath ......
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient问题的解决
问题描述 今天再次打开虚拟机（之前交完作业之后，就不敢再打开了，害怕看到报错信息），打开hive之后，启用hive命令时，发现了这个问题； 问题解决 经查阅资料发现，原来是因为我再使用hive命令之前，没有开启metastore服务和hiveserver2服务，先开启了这两个服务，再进入hive里面 ......
hbase truncate table后没有释放空间
HBase中的truncate table操作会清空表中的所有数据，但不会立即释放物理存储空间。这是因为HBase使用一种称为“Major Compaction（主要合并）”的过程来清理和释放存储空间。Major Compaction是HBase自动执行的周期性任务，通常在后台进行。 Major C ......
【Flink系列十九】java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf
问题 Flink 提交作业，直接报错: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;Lorg/apache/hadoop/conf/Configu ......
HBase学习9（phoenix两种方式预分区）
P35 1.phoenix预分区 如要分4个分区建表命令如下： create table if not exists ORDER_DTL( "id" varchar primary key, C1."status" varchar, C1."money" float, C1."pay_way" in ......
每日学习之Hbase的高可用
7.1Hbase高可用简介 HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为HMaster。 7.2搭建HBase的高可用 教程连接：018.HBase的HMaster高可用_哔哩哔哩_bilibili hbase配置高可用之后，对原来的Jav ......
hbase 连接类
package pack; import java.sql.Connection; import java.sql.DriverManager; public class Con { public static Connection getConnection() throws Exception ......
HBase学习10（hbase高可用）
17-18 1.搭建hbase高可用 考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。 HBase的高可用配置其实就是HMaster的高可用 ......
HBase学习6（大量数据的导入及操作java）
在HBase中，有一个Import的MapReduce作业，可以专门用来将数据文件导入到HBase中。 hbase org.apache.hadoop.hbase.mapreduce.Import 表名 HDFS数据文件路径 1. 导入数据 1.将资料中数据文件上传到Linux中 2.再将文件上传到 ......
关于prepareStatement.excuteUpdate();方法返回值=1，但是表中数据不发生改变的问题（hbase数据库）
问题描述 我在执行增删改查时，查询完美，但是另外三个就比较让人无语了， 这里的m值=1（为后台控制台输出看到），界面也能够正常跳转，但是数据不发生任何改变； 问题解决 经过查阅资料发现，原来在hbase数据库里面，我们还需要在对数据表进行改变的同时，还需要加上这么一条语句，放在： int m=psm ......
IDEA使用连接JDBC连接带有phoenix加持的hbase数据库
1、首先要保证自己的phoenix已经下载，且能够正常运行 所谓正常运行，即能够正常地使用增删改查的相关操作，而不产生错误，比如不允许啥啥的情况； 2、注意phoenix的命令格式(需要保证表中必须有primary key) 增加/修改（在phoenix里面，这两种情况被合并了，若是primary ......
Hive的分区
在下面的代码中，我们创建了名为emp的分区表，使用关键字partitioned by： create table emp( name string, age int ) partitioned by (provice string,city string); 在这里，用partitioned by指 ......
hbase数据库实现增删改查
hbase数据库实现增删改查 今天使用hbase数据库实现了增删改查，同时使用了新的技术springboot, springboot简化了javaweb的书写实现了前后端分离，更加简洁，非常好用。 ......
hbase测试
石家庄铁道大学2023年秋季 2021 级课堂测试试卷—HBASE数据库应用 课程名称：大型数据库应用技术 任课教师：王建民 考试时间：实现为止分钟 一、 测试题目 1、完成《河北省重大技术需求征集》基本信息填报功能，样表如下所示： *机构全称 归口管理部门 *通讯地址 *所在地域 网 址 *电子信 ......
HBase学习8（phoenix创建删除表、数据增删改查、数据分页查询）
1.建表 在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如： CREATE TABLE IF NOT EXISTS 表名 ( ROWKEY名称 数据类型 PRIMARY KEY 列族名.列名1 数据类型 NOT NULL, 列族名.列名2 数据类型 NOT NULL, ......
HBase学习7（phoenix安装）
1.下载 Phoenix Downloads | Apache Phoenix 2.根据hbase的版本下载对应的phoenix 3.上传到linux虚拟机 /export/software/目录下 建议把所有hbase、hadoop、zookeeper都关闭 4.解压到/export/server ......
Hive的ConfigurationProperties
Version Information Hive 0.14.0 adds new parameters to the default white list (see HIVE-8534). Hive 1.1.0 removes some parameters (see HIVE-9331). Hiv ......
2023秋-自用Zookeeper到HBase安装与基本命令总结
# 基于【2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽】https://www.bilibili.com/video/BV1WY4y197g7# 参考http://t.csdn.cn/DycaL https://blog.csdn.n ......
HBase|idea使用hbase进行简单的DDL增删改查
老师要测试什么的，所以我想练习一下，顺便记录在博客里，如有错误，敬请指正，谢谢！！！ idea连接hbase 首先确保你可以打开Hbase http://192.168.40.100:16010 查看所有表 //导入所需的类和包，包括HBase的相关类 import org.apache.hadoo ......
借助Phoenix连接hbase
1、下载hbase对应版本的安装包 之后将其上传到/export/server的目录下面； 2、使用解压命令对其进行解压 tar -zxvf phoenix-hbase-2.4-5.1.3-bin.tar.gz 3、将解压后的文件里面的所有的jar包复制到node1，node2，node3的lib目 ......
HBase学习5（HBase java编程:创建项目，创建删除表，数据增删改查）
1.准备工作 1.1 创建IDEA Maven项目 其中名字为hbase_op，groupid为cn.itcast 然后导入pom依赖 <repositories><!-- 代码库 --> <repository> <id>aliyun</id> <url>http://maven.aliyun.c ......
本机hadoop version命令报错--JAVA_HOME is not set问题的解决
问题描述 输入hadoop version命令显示JAVA_HOME没有配置，但是本机的jdk配置正常！ 问题解决 编辑hadoop/etc/hadoop目录下的hadoop-env.cmd文件： 将JAVA_HOME的值换成本机的绝对路径； 保存退出，再次尝试： ......
Hbase基础知识
数据库：被称为namespace 表：创建表的时候仅需要声明列族Column family即可 行：row，每行数据由一个rowkey和多个column组成，按字典顺序存储。查询只能根据rowkey进行查询，不可以用sql 列：column由列族columnfamily和列限定符columnqual ......
配置本机的hadoop环境
1、下载对应的hadoop的压缩包和winutils包 并将下载好的包解压到自己对应的目录下面； 2、添加环境变量 在系统变量那里新增hadoop的本机路径： 在系统变量的Path里面新增： (C:\Program Files\NVIDIA Corporation\Nsight Compute 20 ......
Hadoop入门
第一章 Hadoop概述 1.1 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 1.2 Hadoop优势 高可靠性：Hadoop底层维护多 ......
(Windows Hadoop环境配置)IDEA：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path 出错原因：还没有在windows上配置hadoop环境变量。 解决：在windows上配置hadoop环境变量 参考：windows下缺少 ......