hadoop hbase hive
关于hbase相关操作的学习
1、对于表操作的命令的练习 list--查看数据库中所有的表 create--创建表 创建时，需要指明表名和列族名； 例如： create 'student','info'; exists--查看该表是否存在 exists 'student'; describe--返回表的各项信息 describe ......
HBase学习4（导入数据、计数器、scan扫描、过滤器）
1.导入数据集 先上传文件到指定目录，后执行下面的语句 hbase shell /export/software/ORDER_INFO.txt 2.查看表中有多少条数据（计数器） 语法：count ‘表名’ 缺点：比较慢，当数据量更大的时候可以使用HBase中提供的MapReduce程序来进行计数统 ......
IDEA连接Hbase数据库
先提前创建一个表作为测试表： 1、新建一个Maven类型的Java项目 2、导入相关依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server --> <dependency> <gr ......
Hive数据库中执行更新和删除数据操作
在Hive中，ACID表是支持ACID（原子性、一致性、隔离性和持久性）事务的表。这意味着这些表支持事务处理，如INSERT、UPDATE、DELETE和COMMIT操作。 然而，并非所有的Hive表都是ACID表。例如，如果你正在使用一个不支持ACID事务的Hive版本或配置，那么你可能无法在这些 ......
使用hbase命令行报错问题的解决
问题描述 hbase配置好之后，使用hbase shell尝试一下关于数据库的操作，出现了这样的问题： 问题解决 许多都是什么hadoop的安全模式没有关闭出现的错误，我这个根本没开安全模式！ 发现原来是hbase下面的jar包和hadoop下面的jar包冲突了，我这里选择删掉hbase这里的这个： ......
每日学习之使用RowFilter过滤器来进行过滤以及Hbase计数器
在hbase shell中执行的ruby脚本，其背后还是调用hbase的java API 4.11过滤器 语法：scan '表名' ,{Filter=>"过滤器(比较运算符,'比较器表达式')"} 比较运算符 = 等于 > 大于 < 小于 >= 大于等于 <= 小于等于 != 不等于 比较器 Bin ......
HIVE ASCII码
hive中的分割符使用八进制的ASCII码表示 1 八进制 十六进制 十进制 字符 使用方法 2 00 00 0 nul 3 01 01 1 soh 4 02 02 2 stx 5 03 03 3 etx 6 04 04 4 eot 7 05 05 5 enq 8 06 06 6 ack 9 07 ......
使用Python调用Hadoop Hdfs的API
一、Java调用hdfs的api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.jun ......
HBase学习3（增删改查）
1.启动hbase shell HBase的shell其实就是JRuby的IRB（交互式Ruby），但在其中添加了一些HBase的命令。 输入： hbase shell 2.创建表 语法：create '表名','列蔟名'... 例如：创建订单表，表名为ORDER_INFO，该表有一个列蔟为C1 c ......
Failed to connect to server: hadoop/ip:9000: try once and fail.
hadoop 连接失败，报如下错误！ java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChann ......
sqoop1.4.7完全支持Hadoop3.x, Hive3.x Hbase2.x
已经修改好 保存至云盘 自己下载 花了时间的，记得关注我。。。 链接：https://pan.xunlei.com/s/VNe6P6Tm1A9Q-RG5GByN08rdA1# 提取码：5nke 复制这段内容后打开手机迅雷App，查看更方便 下载解压直接用，里面的内容已经改好 但是需要注意的是conf ......
HBase学习2（简单概念）
1.Apache HBase 是以hdfs未数据存储的，一种分布式，可扩展的NoSQL数据库。 2.HBase数据模型 HBase设计理念依据Google 的BigTable论文，BigTable是一个稀疏的、分布式的、持久的多维排序map。 映射由行键、列键和时间戳索引；映射中的每一个值都是一个未 ......
IDEA连接Hadoop
因为一些学习的需要，用到了idea连接hadoop，并对它进行一些相关的读写操作，总结一下大概的流程。 一、使hadoop集群可以被远程访问，配置一些文件，可以参考一些其它博主的教程，记住配置的URL或者IP地址以及远程访问用到的端口号。 二、在idea中建一个连接，测试一下是否可以连接hadoop ......
hive启动整个流程
首先是start-all.sh然后打开历史服务器：mapred --daemon start historyserver最后首先启动metastore服务，然后启动hiveserver2服务nohup bin/hive --service metastore >> logs/metastore.lo ......
Hadoop3.3.6 Shell命令操作
一、mkdir 创建文件夹通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹 二、moveFromLocal从本地剪切到hdfs中 这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下hadoop fs -moveFromL ......
HBase学习1（安装部署）
前提：zookeeper、Hadoop、jdk都已经安装部署好了。 1.Zookeeper、Hadoop正常部署 教程： 04、ZooKeeper--集群搭建下--配置文件修改&启动_哔哩哔哩_bilibili 08-Centos操作系统的虚拟机导入_哔哩哔哩_bilibili Zookeeper搭 ......
sqoop把hive中的数据导入mysql中文乱码问题解决
sqoop导出数据中文乱码问题我参考的这个博客sqoop把hive数据导入mysql出现中文乱码_mysql的表数据导入到hive表中文乱码_bboy枫亭的博客-CSDN博客 用方法一就行。剩下的就是测试。 测试样例 bin/sqoop export \ --connect "jdbc:mysql: ......
Hadoop3.3.6配置历史服务器和日志
一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> ......
关于IDEA里面连接数据库找不到org.apache.hive.jdbc.Driver的问题
问题描述 昨天就很顺利地连接上了，今天直接找不到我的class了，吓出一身冷汗； 问题解决 后来发现导入的jar包的路径不太对，突然想起来jar包的位置被我移动了，但是IDEA里面并没有改变原来的位置，找不到jar包的问题， 重新将jar包的路径浏览一遍即可解决； ......
大数据hadoop学习总结
一、环境配置: 1、hadoop 2、zookeeper 3、hbase 4、phoenix 二、连接准备 hbase-site.xml 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xs ......
Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)
1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。 在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。 公钥和 ......
20230909学习总结hbase命令大全
bin/hbase 进入hbase Shell命令模式create 'student','Sname','Ssex','Sage','Sdept','course' 创建student表，属性'Sname','Ssex','Sage','Sdept','course'put 'student','9 ......
Hbase结构再探究
Hbase储存再hdfs上，这是hbase的具体文件夹 .hbck：这是 HBase 的 hbase-hbck 工具生成的目录，用于存储修复 HBase 表的信息。hbase-hbck 工具用于检查和修复 HBase 表的一致性和完整性。 .tmp：这是一个临时目录，通常用于临时存储数据或文件，以便 ......
1-centOS7搭建伪分布式Hadoop
前言：虚拟机快照的使用 VMware Workstation 软件可以用快照进行迅速的虚拟机状态的切换 ※. 类似于虚拟机备份， 可以使用备份进行快速恢复。 比如没安装jdk之前拍摄快照来备份 ※. 若jdk没安装好或者jdk环境变量配置的有问题， 可以用安装之前的快照快速恢复虚拟机 1.拍摄快照： ......
使用IDEA连接Hive数据库使用Java代码实现增删改查还需要一个Hive配置类
可以取名为：HiveConfig-- package com.example.config; import com.alibaba.druid.pool.DruidDataSource; import lombok.Data; import org.springframework.beans.fac ......
Hive进行增删改查语句命令之前，需要做的一些配置
1、在我们刚刚将Hive连接到IDEA之后 满怀期待地想要试一试sql语句，发现除了select和insert，其余的都会报错； 2、查阅资料发现，要是想要执行其余的语句 需要在虚拟机的hive-site.xml文件里面，添加上下面的语句： <property> <name>hive.support ......
IDEA远程连接Hive(首先要确保本机和虚拟机在一个公网上面，具有连通性)
1、开启hiveserver2服务 start-all.sh nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & nohup /export/server/apache-hive-3.1.2-bin/bi ......
Ubuntu22系统部署Hadoop3.3.6环境
看boss有招大数据的讲师，好奇看了下，现在大学都讲大数据了，现在是越来越普及。昨天弄了一个云服务器部署了下Hadoop，虽然也是参考网上教程部署，但过程中还是出了不少问题。想着把部署过程完整记录下，所以我就把部署好的实例释放了又实例化了一台新的云服务器重新部署了下，如果是在我本地安装报错了还得重新 ......
hive2.3.1部署
1.安装本人安装hive1.2.1的方式准备mysql和hive 2.不同点为配置hive-site.xml时，需要在文件中额外添加配置 <!--hive2需要初始换元数据 schematool -initSchema -dbType mysql--> <property> <name>datanu ......
FAILED: SemanticException Unable to determine if hdfs://localhost.localdomain:9000/root/software/apache-hive-3.1.2-bin问题的解决
# 问题描述 在hive数据库里面，使用select语句对表的数据进行查找，就出现了这个错误:  # 问题解决 这 ......