hadoop hbase hive
Springboot 系列 (28) - Springboot+HBase 大数据存储（六）| Springboot 项目通过 RestTemplate 访问 HBase REST 服务
Apache HBase 是 Java 语言编写的一款 Apache 开源的 NoSQL 型数据库，不支持 SQL，不支持事务，不支持 Join 操作，没有表关系。Apache HBase 构建在 Apache Hadoop 和 Apache Zookeeper 之上。Apache HBase: h ......
hbase常用操作
原文参考：www.51niux.com 一、Hbase常用操作 1.1 hbase命令行介绍 $ /opt/soft/hbase/bin/hbase --help BASIC Usage: hbase [<options>] <command> [<args>] Options: --config ......
hive 优化
hive 优化 ` -- 合并小文件 set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- set hive.input.format=org.apache.hadoop.hive.ql.io.Hi ......
Hive 和 Spark 分区策略剖析
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。 ......
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多，可能小伙伴只是想快速部署，所以这里出了一个极简的部署教程，如果想了解详细部署过程，可以建议参考我上一篇的文章：通过 docker-compose 快速部署 Hadoop 集群详细教程 1）安装 docker # 安装yum-config-manager配置工具 yum -y i ......
'林子雨大数据' 实验3 HBase操作与接口编程
“林子雨大数据” 实验3 HBase操作与接口编程 环境搭建 VM虚拟机和Ubuntu系统的安装 在Windows中使用VirtualBox安装Ubuntu虚拟机（2020年7月版本）_厦大数据库实验室博客 (xmu.edu.cn) Hadoop安装（伪分布式） Hadoop3.1.3安装教程_单机 ......
Springboot 系列 (27) - Springboot+HBase 大数据存储（五）| HBase REST 服务
REST (Representational State Transfer) 即表述性状态传递，是 Roy Fielding 博士 2000 年在他的博士论文中提出来的一种软件架构风格。它是一种针对网络应用的设计和开发方式，可以降低开发的复杂性，提高系统的可伸缩性。在三种主流的 Web 服务实现方案 ......
Hadoop报错只no such file or drector exist.
场景：在运行bin.hdfs dfs -mkdir XXXXXXXXX的命令的时候报此路径或者文件不存在。 解决办法： hadoop fs -mkdir -p /user/hadoop/ TRANSLATE with x English Arabic Hebrew Polish Bulgarian ......
通过 docker-compose 快速部署 Hadoop 集群详细教程
一、概述 docker-compose 项目是docker官方的开源项目， 负责实现对docker容器集群的快速编排，来轻松高效的管理容器，定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的，所以一般通过docker-c ......
解决hbase错误 Call to localhost/127.0.0.1:16000 failed on connection
问题： hbase伪分布式部署下，使用JAVA API操作，发生错误：Call to localhost/127.0.0.1:16000 failed on connection Caused by: org.apache.hadoop.hbase.MasterNotRunningException ......
关于 HBase 的一些经验
1. 理解 HBase [1] 深入理解 HBase Compaction 机制 [2] HBase 架构详解及读写流程 [3] HBase 问题合集 一个列族对于一个 Store 一个 Store 包含一个 MemStore 每次从 MemStore Flush 都会产生 StoreFlie(底层 ......
Springboot 系列 (26) - Springboot+HBase 大数据存储（四）| Springboot 项目通过 HBase API 方式访问 HBase
Apache HBase 是 Java 语言编写的一款 Apache 开源的 NoSQL 型数据库，不支持 SQL，不支持事务，不支持 Join 操作，没有表关系。Apache HBase 构建在 Apache Hadoop 和 Apache Zookeeper 之上。Apache HBase: h ......
hadoop3.3 安装配置sqoop1.4.7
一：在hadoop3.3中安装配置sqoop1.4.7 前言： sqoop功能已经非常完善了，没有什么可以更新的了，官方停止更新维护了。因此官方集成的hadoop包停留在了2.6.0版本,在hadoop3.3.0版本会提示类版本过低错误，但纯净版sqoop有缺少必须的第三方库,所以将这两个包下载下来 ......
java查询hbase
Mark——java查询hbase，https://blog.csdn.net/weixin_46408961/article/details/124224169 查询Hbase数据分为Get方式查询，Scan方式查询，Scan配合Filter过滤查询 01.Get方式查询 import org.a ......
azure databricks使用external hive metastore跨工作区共享元数据
为什么要使用external hive metastore可以跨workspace的共享元数据，不用每次创建workspace的时候都重复的把元数据重建一次。更好的元数据集中管理，Create once, use everywhere。为灾难恢复(DR)做好为准备，并降低复杂性。（PAAS一样会存在 ......
Hadoop安装部署
目录 解压安装包 删除文档 修改配置文件 HDFS配置 Yarn配置 MapReduce配置 拷贝到其他机器 配置环境变量 初始化元数据目录 启动组件 启动HDFS 启动Yarn 测试MapReduce 注意事项 解压安装包 tar -zxvf hadoop-2.8.5.tar.gz -C /opt ......
hive学习
###什么是hive hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 hive主要是用来做海量数据的分析和计算。 hive是一个Hadoop客户端，用于将HQL（hive SQL）转化成mapreduce程序。 hi ......
hadoop系列---【hadoop集群的搭建---(二)Zookeeper的安装】
#(二)Zookeeper的安装 ##1.准备三台服务器 ##2.下载安装包 下载地址：http://archive.apache.org/dist/zookeeper/ 这里我们以zookeeper-3.4.9.tar.gz版本为例，下载完后，上传到三台服务器的/app目录下。 ##3.在第一台服 ......
hive建表语句详解
hive使用create建表语句格式如下: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PA ......
hive建表语句
hive有三种建表语句 1,create建表 CREATE EXTERNAL TABLE dwd_database.table_name( id BIGINT,user_id STRING,gmt_modified TIMESTAMP,gmt_create TIMESTAMP,pending_rew ......
hive的数据类型
一 hive的数据类型 1.1 基本类型 Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换，例如某表达式 使用 INT 类型，TINYINT 会自动转换为 INT 类型，但是 Hive 不会进行反向转化，例如，某表 达式使用 TINYINT 类型，INT 不会自动转换为 T ......
hadoop系列---【hadoop集群的搭建---(一)环境配置】
#Hadoop集群的搭建 ##一、集群环境配置（准备三台服务器） ###1.设置hostname,/etc/hosts #查看当前host名称 hostname #三台分别设置网络hostname，node01，node02，node03 vi /etc/sysconfig/network NETW ......
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
HBase2.1分布式部署
一、环境 Hadoop版本:hadoop-2.7.5 部署参考：https://www.cnblogs.com/panwenbin-logs/p/8666589.html zookeeper版本:zookeeper-3.4.12 部署参考：https://www.cnblogs.com/panwen ......
Springboot 系列 (25) - Springboot+HBase 大数据存储（三）| HBase Shell，HBase REST 服务 和 Phoenix 组件
在 “Springboot 系列 (24) - Springboot+HBase 大数据存储（二）| 安装配置 Apache HBase 和 Apache Zookeeper” 里我们安装配置了 Apache HBase 和 Apache Zookeeper，本文将介绍 HBase Shell，HB ......
Hadoop 学习
关于Hadoop Hadoop崩溃集群重启 先停掉进程，sbin/stop-yarn.sh sbin/stop-dfs.sh。然后删除每个集群上datanode的信息。默认在/tmp。如果配置了该目录，就去指定目录删除。data目录和log目录，最后执行格式化namenode format，再重启H ......
HIVE库查看版本号
查看hive版本号（web） 1、进入hadoop的CM控制台，找到左边的hive点击进入 2、在hive中，找到状态摘要：Hive Metastore Server 3、在Hive Metastore Server ( Cluster 1 Hive hadoop05 )中，点击‘hadoop05 ......
hadoop 第二期
Hive 启动hive 使用命令`hive` ==输入命令之后要有一个 ; 结尾！！！！！！！== DDL命令 1.创建数据表 create table lxl( num int, name string, gender string ) row formate delimited fields t ......
第六章.Hive组件安装配置
第六章.Hive组件安装配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 Hive 组件安装配置 掌握 Hive 组件格式化和启动 1.2. 实验要求 熟悉 Hive 组件安装配置 了解 Hive 组件格式化和启动 1.3. 实验环境 本实验所需之主要资源环境如表 1-1 所示。 | 服务器 ......
春哥甲（Hadoop雷点记录）
“如果你也被春哥击倒，那么套上这个春哥甲吧！！！” 这篇博客主要记录在学习Hadoop中遇到的各种雷点坑点！ WordCountAndLen 在这一节，我们开始尝试使用自定义的类型：WordCountAndLen去实现我们原有的WordCount问题！ 首先附上WordCountAndLen类的定义 ......