hadoop
linux系统下Hadoop集群环境搭建
1、前言 基于redhat7.6系统搭建全分布式Hadoop3.3.5集群环境（模拟三台机，1主角色，2从角色）。 2、安装虚拟机 参考：https://www.cnblogs.com/jpxjx/p/16800831.html 3、虚拟机安装redhat7.6 参考：https://www.cnb ......
Hadoop与Hadoop集群介绍
1、什么是Hadoop 狭义上Hadoop指的是Apache软件基金会的一款开源软件。用java语言实现，开源。允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。 2、Hadoop核心组件 Hadoop HDFS（分布式 ......
大数据面试题集锦-Hadoop面试题(一)
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。 1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服 ......
hadoop学习记录
Hadoop简介安装 狭义上Hadoop指的是Apache软件基金会的一款开源软件用java语言实现，开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 Hadoop HDFS（分布式文件存储系统）：解决海量数据存储 Hadoop YARN（集群资源管理和 ......
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000:
解决方法：配置超级用户代理其他用户 在hadoop配置文件core-site.xml添加 <property> <name>hadoop.proxyuser.super.hosts</name> <value>host1,host2</value> </property> <property> <n ......
Hadoop3常用端口
Namenode默认端口： | 端口 | 介绍 | | | | | 9820 | NameNode默认的内部端口 | | 9870 | NameNode的web访问（http访问）端口 | | 9871 | NameNode的web访问（https访问）端口 | Secondary Namenode ......
Hadoop完全分布式集群搭建
0 准备工作 首先需要准备三台虚拟机，这里准备的是hadoop1，hadoop1，hadoop3，虚拟机机要求如下： 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装：https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
EasyMR 安全架构揭秘：如何管理 Hadoop 数据安全
2017年，美国信用评级机构 Equifax 遭受黑客攻击，导致1.4亿个人的敏感信息泄露； 2020年，发生了 SolarWinds 公司的软件供应链遭受恶意代码攻击事件，涉及多个行业和国家； 2022年，网信办依据《数据安全法》等法律法规，对滴滴公司开出人民币80.26亿元的巨额罚款，对互联网企 ......
MongoDB 和 Hadoop的对比
MongoDB 和 Hadoop 都是当前非常流行的大数据处理技术。虽然它们都可以用于处理大规模数据，但是它们之间有许多区别。本文将对 MongoDB 和 Hadoop 进行比较，并提供一些指导，以帮助您选择最适合您应用程序的技术。 ###数据存储 MongoDB 是一个文档型数据库，使用类似于 J ......
Hadoop搭建（集群）
HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......
Hadoop、Hive和Spark的关系
大数据技术生态中，Hadoop、Hive、Spark是什么关系？| 通俗易懂科普向 Hadoop、Hive和Spark，都是大数据相关的系统和技术。 大数据也是数据管理系统的范畴。数据管理系统涉及两个方面的问题，一个是数据怎么存储？一个是数据怎么计算？ 为了方便理解，我们需要从单机的时代来讲解。 在 ......
A3--Hadoop部署
基础环境：Centos 7.9 一、版本信息 JDK 1.8 Hadoop 3.1.3 二、部署前准备： 1.执行init.sh（环境初始化脚本） 2.执行java.sh（安装java环境） 3.hosts主机名映射 4.ssh免密登录（管理节点对数据节点） 5.集群时间同步 6.部署zookeep ......
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多，可能小伙伴只是想快速部署，所以这里出了一个极简的部署教程，如果想了解详细部署过程，可以建议参考我上一篇的文章：通过 docker-compose 快速部署 Hadoop 集群详细教程 1）安装 docker # 安装yum-config-manager配置工具 yum -y i ......
Hadoop报错只no such file or drector exist.
场景：在运行bin.hdfs dfs -mkdir XXXXXXXXX的命令的时候报此路径或者文件不存在。 解决办法： hadoop fs -mkdir -p /user/hadoop/ TRANSLATE with x English Arabic Hebrew Polish Bulgarian ......
通过 docker-compose 快速部署 Hadoop 集群详细教程
一、概述 docker-compose 项目是docker官方的开源项目， 负责实现对docker容器集群的快速编排，来轻松高效的管理容器，定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的，所以一般通过docker-c ......
hadoop3.3 安装配置sqoop1.4.7
一：在hadoop3.3中安装配置sqoop1.4.7 前言： sqoop功能已经非常完善了，没有什么可以更新的了，官方停止更新维护了。因此官方集成的hadoop包停留在了2.6.0版本,在hadoop3.3.0版本会提示类版本过低错误，但纯净版sqoop有缺少必须的第三方库,所以将这两个包下载下来 ......
Hadoop安装部署
目录 解压安装包 删除文档 修改配置文件 HDFS配置 Yarn配置 MapReduce配置 拷贝到其他机器 配置环境变量 初始化元数据目录 启动组件 启动HDFS 启动Yarn 测试MapReduce 注意事项 解压安装包 tar -zxvf hadoop-2.8.5.tar.gz -C /opt ......
hadoop系列---【hadoop集群的搭建---(二)Zookeeper的安装】
#(二)Zookeeper的安装 ##1.准备三台服务器 ##2.下载安装包 下载地址：http://archive.apache.org/dist/zookeeper/ 这里我们以zookeeper-3.4.9.tar.gz版本为例，下载完后，上传到三台服务器的/app目录下。 ##3.在第一台服 ......
hadoop系列---【hadoop集群的搭建---(一)环境配置】
#Hadoop集群的搭建 ##一、集群环境配置（准备三台服务器） ###1.设置hostname,/etc/hosts #查看当前host名称 hostname #三台分别设置网络hostname，node01，node02，node03 vi /etc/sysconfig/network NETW ......
Hadoop 学习
关于Hadoop Hadoop崩溃集群重启 先停掉进程，sbin/stop-yarn.sh sbin/stop-dfs.sh。然后删除每个集群上datanode的信息。默认在/tmp。如果配置了该目录，就去指定目录删除。data目录和log目录，最后执行格式化namenode format，再重启H ......
hadoop 第二期
Hive 启动hive 使用命令`hive` ==输入命令之后要有一个 ; 结尾！！！！！！！== DDL命令 1.创建数据表 create table lxl( num int, name string, gender string ) row formate delimited fields t ......
春哥甲（Hadoop雷点记录）
“如果你也被春哥击倒，那么套上这个春哥甲吧！！！” 这篇博客主要记录在学习Hadoop中遇到的各种雷点坑点！ WordCountAndLen 在这一节，我们开始尝试使用自定义的类型：WordCountAndLen去实现我们原有的WordCount问题！ 首先附上WordCountAndLen类的定义 ......
Springboot 系列 (23) - Springboot+HBase 大数据存储（一）| 安装配置 Apache Hadoop
Apache HBase 是 Apache Hadoop 项目的子项目，是 Hadoop Database 的简称。HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 不同于一般的关系数据库 ......
hadoop 安装
deban 安装hadoop 文档 1.使用的kvm 创建的虚拟机,创建虚拟机的同时创建 hadoop用户 建议使用最简单的安装方式 2.配置 /etc/network/interfaces文件 3.配置/etc/hosts文件,添加如下内容 192.168.20.101 hadoop-master ......
Hadoop启动后jps没有Datenode的问题
Hadoop启动后jps没有Datenode的问题 问题描述 最近在学习搭建大数据集群的过程中碰到了一个问题，就是web界面起不来，在start-all.sh启动集群后，输入jps，发现缺少DataNode节点，上网查询了一下，可能是由于多次输入hadoop namenode -format格式化节 ......
工良出品：包教会，Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此，本文记录在 Win ......
Hadoop-HA节点介绍
设计思想 hadoop2.x启用了主备节点切换模式（1主1备） 当主节点出现异常的时候，集群直接将备用节点切换成主节点 要求备用节点马上就要工作 主备节点内存几乎同步 有独立的线程对主备节点进行监控健康状态 需要有一定的选举机制，帮助我们确定主从关系 我们需要实时存储日志的中间件 ActiveNam ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......