HBase
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
HBase-通过外部表将Hive数据写入到HBase
a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 ......
HBase-hbase shell操作
hbase shell操作 一、DDL操作 1．开启hbase shell hbase shell 2．查看hbase状态 Status 3．查看hbase版本 Version 4．创建命名空间 create_namespace '命名空间名' 5．显示所有命名空间 list_namespace 6 ......
Hbase-预分区
Hbase 预分区 HBase表在刚刚被创建时，只有1个分区（region），当一个region过大（达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB）时，表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的 ......
HBase-表的压缩
一、如何选择压缩算法以及Block Encoding Type?（1）如果Key很长，或者有很多Column，那么推荐使用FAST_DIFF。（2）如果数据是冷数据，不经常被访问，那么使用GZIP压缩格式。因为虽然它比Snappy/LZO需要占用更多而CPU，但是它的压缩比率更高，更节省磁盘。（3） ......
HBase-统计表总行数的三种方式
由于Hbase是列式数据库，没有提供类似SQL的数据查询语句，可以通过以下三种方式获取表的总行数。 1. 使用Hbase自带的Count命令 hbase提供了count命令可以在hbase交互界面使用，获取总行数。 hbase> count ‘test′ hbase> count ‘t1′, INT ......
HBase-宽表和高表的对比
HBase表设计通常可以是宽表（wide table）模式，即一行包括很多列。同样的信息也可以用高表（tall table）形式存储，通常高表的性能比宽表要高出 50%以上，所以推荐大家使用高表来完成表设计。表设计时，我们也应该要考虑HBase数据库的一些特性： 1、在HBase表中是通过Rowke ......
HBase入门指南
本文已收录至GitHub，推荐阅读 👉 Java随想录 微信公众号：Java随想录 原创不易，注重版权。转载请注明原作者和原文链接 目录HBase特性Hadoop的限制基本概念NameSpaceTableRowKeyColumnTimeStampCell存储结构HBase 数据访问形式架构体系HB ......
MapReduce和Spark读取HBase快照表
1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma ......
20230922学习总结java连接HBASE
连接条件： 1、所有虚拟机上运行hadoop集群、运行zookeeper进程守护 2、向项目中导入 即hbase安装目录下的conf文件夹中的两个文件 3、添加maven依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId ......
HBase学习12（项目02数据随机生成后写入Hbase里面）
26~29 1.已完成 创建hbase_shell目录用于存放hbase shell 脚本 命名空间：MOMO_CHAT 表名：MSG 预分区6个，压缩方式'GZ' HBase学习11（项目01分析及准备） - 201812 - 博客园 (cnblogs.com) 2.导入pom依赖 <reposi ......
HBase13(项目03phoenix视图JDBC开发）
1.phoenix视图建立 当创建视图后，就可以使用SQL查询视图，和操作Table一样。 1.视图如何映射到HBase的表？ 视图的名字必须是：命名空间.表名 2.视图中的列如何映射到HBase的列族和列？ 列名必须是：列族.列名 3.视图中的类如何映射到HBase的ROWKEY？ 指定某个列为p ......
HBase学习11（项目01分析及准备）
海量数据 1.准备 在idea中创建项目，然后创建脚本包hbase_shell。 添加文件说明readme.md，写入相关项目结构说明。 通过复制hbase_shell文件目录，在VSCode中打开进行对脚本文件的编写。 在VSCode中编写方便。 2.创建名称空间namespace 当表的数量比较 ......
HBASE shell学习
一、基本命令打开 Hbase Shell：# hbase shell1.1 获取帮助# 获取帮助help# 获取命令的详细信息help 'status'1.2 查看服务器状态status1.3 查看版本信息version 关于表的操作2.1 查看所有表list2.2 创建表命令格式： create ......
hbase初识
一、HBase是一个分布式的、面向列的开源数据库。一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基 ......
HBase（扫描HBase表的数据转化为对应的类Java代码）
Msg实体类 package com.xxxx.test01; public class Msg { private String name; private String bumen; private String address; private String diyu; private Str ......
Hbase中ResultScanner获取到查询到的对象Arrays.toString(CellUtil.cloneQualifier(cell))、CellUtil.cloneQualifier(cell)
java编写扫描hbase表操作的时候返回的对象ResultScanner 可以理解为result记录一行数据，cell数据，Resultscanner记录多行数据，result数组 我对这些还都不太理解，不知道是个什么样子的结构。 for (Result result : scanner) { C ......
Hbase--执行hbase shell命令时提示：ERROR: KeeperErrorCode = NoNode for /hbase/master
1、问题描述 执行hbase shell命令时提示： ERROR: KeeperErrorCode = NoNode for /hbase/master 2、问题原因 这是与因为服务器重启后Hadoop的运行和Hbase的运行异常。 3、解决办法 依次去停止和启动Hadoop （1）到hadoop的 ......
HBase-Hbase启动异常java.lang.IllegalArgumentException: object is not an instance of declaring class
1、问题描述 HBase启动时异常如下： java.lang.IllegalArgumentException: object is not an instance of declaring class at sun.reflect.NativeMethodAccessorImpl.invoke0( ......
HBase_API_（HBaseDML，对数据的api）
对表中数据进行以下操作： 静态属性 1.插入数据 2.读取数据 3.扫描数据 4. 5. HBaseConnection.java(提供connection连接) package com.atguigu; import org.apache.hadoop.conf.Configuration; im ......
HBase_API_（HBaseDDL，对表的api）
对hbase数据表进行以下操作： 1.创建命名空间 2.判断表是否存在 3.创建表格 4.修改表格 5.删除表格 注意：对表格的操作要调用admin，对数据进行操作调用table（这篇博客没有涉及到） package com.atguigu; import org.apache.hadoop.hba ......
hbase truncate table后没有释放空间
HBase中的truncate table操作会清空表中的所有数据，但不会立即释放物理存储空间。这是因为HBase使用一种称为“Major Compaction（主要合并）”的过程来清理和释放存储空间。Major Compaction是HBase自动执行的周期性任务，通常在后台进行。 Major C ......
HBase学习9（phoenix两种方式预分区）
P35 1.phoenix预分区 如要分4个分区建表命令如下： create table if not exists ORDER_DTL( "id" varchar primary key, C1."status" varchar, C1."money" float, C1."pay_way" in ......
每日学习之Hbase的高可用
7.1Hbase高可用简介 HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为HMaster。 7.2搭建HBase的高可用 教程连接：018.HBase的HMaster高可用_哔哩哔哩_bilibili hbase配置高可用之后，对原来的Jav ......
hbase 连接类
package pack; import java.sql.Connection; import java.sql.DriverManager; public class Con { public static Connection getConnection() throws Exception ......
HBase学习10（hbase高可用）
17-18 1.搭建hbase高可用 考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。 HBase的高可用配置其实就是HMaster的高可用 ......
HBase学习6（大量数据的导入及操作java）
在HBase中，有一个Import的MapReduce作业，可以专门用来将数据文件导入到HBase中。 hbase org.apache.hadoop.hbase.mapreduce.Import 表名 HDFS数据文件路径 1. 导入数据 1.将资料中数据文件上传到Linux中 2.再将文件上传到 ......
关于prepareStatement.excuteUpdate();方法返回值=1，但是表中数据不发生改变的问题（hbase数据库）
问题描述 我在执行增删改查时，查询完美，但是另外三个就比较让人无语了， 这里的m值=1（为后台控制台输出看到），界面也能够正常跳转，但是数据不发生任何改变； 问题解决 经过查阅资料发现，原来在hbase数据库里面，我们还需要在对数据表进行改变的同时，还需要加上这么一条语句，放在： int m=psm ......