hadoop hbase hive
Apache Hadoop
Apache Hadoop是一个开源的分布式计算框架，用于处理和存储大规模数据集。它提供了分布式存储和计算能力，可以在集群中运行，并具有高容错性和高扩展性。Hadoop的核心组件包括： Hadoop Distributed File System（HDFS）：这是Hadoop的分布式文件系统，用于存 ......
史上最全Hadoop面试题：尼恩大数据面试宝典专题1
文章且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www.cnb ......
02-Hadoop集群搭建
# 1. 集群配置 ## 1.1 集群部署规划 - 资源上有抢夺冲突的，尽量不要部署在一起； - 工作上需要互相配合的，尽量部署在一起。 | \ | Hadoop102 | Hadoop103 | Hadoop104 | | :--: | : : | : : | : : | | HDFS | Nam ......
01-Hadoop概述
# 1. 大数据 ## 1.1 概述 > 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决，海量数据的**采集**、**存储**和**分析计算**问题。 按顺序给出数 ......
Hadoop项目结构
HDFS：分布式存储 YARN：计算资源调度 MapReduce：离线计算（基于磁盘） Tez：构建有向无环图 Spark：基于内存计算 Hive：数据仓库（历史记录） Pig：流数据处理（轻量级的脚本语言） Oozie：作业流调度系统 Zookeeper：分布式协调服务 HBase：列族数据库 F ......
高可用Hive
## 上传hive，mysql安装包 **下载安装包请参考这篇文章里面的网址：https://www.cnblogs.com/skyrainmom/p/17438858.html** ## 解压包设置权限 ``` [root@master ~]# tar xf apache-hive-2.0.0-b ......
高可用HBase
## HBase 分布式部署 ### 安装部署 hadoop ha 分布式环境（前面部署完成，这里直接跳过） 部署HA参考：https://www.cnblogs.com/skyrainmom/p/17438814.html ### 解压安装文件，配置环境变量 ```bash #解压 [root@m ......
Hive扩展之web界面：hwi接口
**HWI是Hive Web Interface的简称，是hive cli的一个web替换方案，以开发的网页形式查看数据** ## 切换用户启动集群 ``` [root@master ~]# su - hadoop Last login: Tue May 2 13:18:34 CST 2023 on ......
WIN10安装配置Hadoop
原文链接：WIN10安装配置Hadoop【作者：余生】 本文记录在WIN10上hadoop单节点的安装，后续再记录多节点分布式的安装。 1、安装JAVA环境 下载JDK8，官网链接：Java SE Development Kit 8 选择64版本：jdk-8u241-windows-x64.exe ......
JDK17与Hbase client的兼容性问题
最近有1个项目升级到JDK17，里面用到了hbase-client（版本：以1.2.0-cdh5.7.1为基础，公司的大数据同学内部做了一些二次开发 ），启动时发现一直连不上集群，直接报错了，上hbase 官网看了下： 别说JDK 17了，连JDK11都支持不完善，难道把JDK版本又降回去？有点不甘 ......
Docker 安装 Hive
一、安装Docker 以及 配置Docker-compose环境 安装Docker: # 1、切换镜像源 [root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yu ......
数据库系统架构：从HBase到InfluxDB的变革
[toc] 数据库系统架构：从 HBase 到 InfluxDB 的变革 数据库作为现代应用程序的核心组件之一，其的重要性不言而喻。随着大数据和云计算的普及，数据库的应用场景也越来越广泛。然而，传统的数据库架构已经无法满足日益复杂和高性能的要求，因此，数据库系统架构的变革已经成为不可避免的趋势。 在 ......
HBase 基础语句
命名空间 1. 查看命名空间 list_namespace 2. 创建命名空间 create_namespace 'namespace_name' 3. 删除命名空间 drop_namespace 'namespace_name' ......
数据库系统架构：从HBase到InfluxDB的变革
[toc] 数据库系统架构：从 HBase 到 InfluxDB 的变革 数据库作为现代应用程序的核心组件之一，其的重要性不言而喻。随着大数据和云计算的普及，数据库的应用场景也越来越广泛。然而，传统的数据库架构已经无法满足日益复杂和高性能的要求，因此，数据库系统架构的变革已经成为不可避免的趋势。 在 ......
hadoop优化部分参数
yarn-site.xml: #表示该节点服务器上yarn可以使用的虚拟CPU个数，默认是8，推荐将值配置与物理核心个数相同 yarn.nodemanager.resource.cpu-vcores: 24 #设置该节点上yarn可使用的内存，默认为8G，如果节点内存资源不足8G，要减少这个值，ya ......
hadoop状态和任务监控
``` # -*- coding: UTF-8 -*- import mysql.connector import sys import datetime import importlib import requests importlib.reload(sys) #修改hadoop地址参数为实际地 ......
Hbase中的region和rowkey
# region Region是HBase数据管理的基本单位,region有一点像关系型数据的分区。 Region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。 ## region的分配 一个表中可以包含一个或多个Region。 每个Regio ......
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
[TOC] ## 一、概述 `Apache Ambari` **是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。** Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、H ......
docker部署hbase
## 1.部署hbase hbase是hadoop生态中的一员，最早搭建hbase，需要先安装hadoop，然后安装zookeeper，再安装hbase。现在通过docker可以直接安装hbase，而且容器中并不需要hadoop。安装很简单。直接拉取镜像，然后运行即可。 ``` docker run ......
Hive执行计划之只有map阶段SQL性能分析和解读
这种只含map的操作，如果文件大小控制在合适的情况下，都将只有本地操作，其执行非常高效，运行效率完全不输于在计算引擎Tez和Spark上运行。 ......
Hbase的JavaAPI和数据存储
# 导入Maven依赖 ```XML org.apache.zookeeper zookeeper 3.4.6 org.apache.hbase hbase-client 2.2.5 org.apache.hadoop hadoop-client 3.2.1 org.apache.hadoop ha ......
docker安装hbase
1.拉去镜像 拉去前可以使用docker search hbase所有你需要的镜像docker pull harisekhon/hbase 2.然后在进行启动 docker run -d -h hbase \-p 2181:2181 -p 8080:8080 -p 8085:8085 \-p 909 ......
一篇文章带你入门HBase
本文已收录至Github，推荐阅读 👉 [Java随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ......
HBase的数据结构原理与使用
一、HBase简介 HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，一般用于存储海量数据。HDFS和HBase的区别在于，HDFS ......
Hbase
# 简介 HBase 是一个**面向列式存储的分布式数据库**，其设计思想来源于 Google 的 BigTable 论文。 HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。 HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机 ......
数据库：Hadoop实验
# Hadoop实验 1. 先单机下载、安装hadoop，启动： ```shell bin/hdfs namenode -format sbin/start-all.sh ``` 2. 腾讯云新建三个机器，分别在两地（香港二区、香港三区），分别命名为master、slave1、slave2。 3. ......
大数据学习笔记hadoop、hive、java
HDFS伪分布式集群搭建 tar -zxvf hadoop-2.7.7.tar.gzecho $JAVA_HOME/root/software/jdk1.8.0_221#查看loaclhostvim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env ......
Hive执行计划之什么是hiveSQL向量化模式及优化详解
Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。 问题1：那么什么是hive向量化模式呢？ 问题2：hive向量化什么情况下可以被使用，或者说它有哪些使用场景呢？ 问题3：如何查看hive向量化使用的相关信息？ ## 1.什么是hive向量化模 ......