hadoop
HDFS的shell命令（Hadoop fs [参数]）
hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录，没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令： h ......
使用hadoop进行单词统计
# 1、启动hadoop  启动成功！ # 2、将result.txt文件放到/root/software/hado ......
Hadoop 和 Spark 简介
# Hadoop 和 Spark 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 过去一直是大数据的经典解决方案，它包含两个部分：Hadoop HDFS 和 Ha ......
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!问题的解决
# 问题描述 上次还是初始化很快，这次直接出错，我觉得可能是已经初始化一次的原因；  # 问题解决 进入到mysql ......
Hadoop概念地图
## Hadoop 发展史及生态圈 1，hadoop 的发展史，基于GFS,MAPREDUCE，BIGDATA >Hive 2，hadoop 生态圈。core,hdfs,mapreduce,hive,zookeeper.hbase,kafka，Flume，Sqoop,Mahout,Pig等 3，ha ......
Hadoop概述
# Hadoop 作用 解决分布式存储和分布式计算的可靠的，可扩展的，高容错的开源框架 其下面有四个模块的内容： Hadoop Common：支持其他Hadoop模块的常用工具。 Hadoop分布式文件系统（HDFS™）：提供对应用程序数据的高吞吐量访问的分布式文件系统。 Hadoop YARN：作 ......
Hadoop集群环境安装
### 1,集群环境准备 ``` 准备jdk 环境，本文用的版本是，java version "1.8.0_102" 为机器准备ssh 客户端和服务端，ubuntu 环境下默认安装了客户端，那么，请安装服务端， apt-get install openssh-server 可以的话尽量不要用root ......
Hadoop知识点
### 1，概念 ``` Hadoop是一个开源的、可运行于大规模集群上的分布式并行编程框架，它实现了 Map/Reduce计算模型。 ``` ### 2，核心所在。 ``` 1，Hadoop分布式文件系统（HDFS，Hadoop Distributed File System） datanode ......
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题的解决
# 问题描述 使用**start-dfs.sh**命令开启hdfs服务时，爆出这样的警告信息  # 问题解决 可以先 ......
解密Hadoop生态系统的工作原理 - 大规模数据处理与分析
在当今的数字时代，大规模数据处理和分析已经成为了企业和组织中不可或缺的一部分。为了有效地处理和分析海量的数据，Hadoop生态系统应运而生。本文将深入探讨Hadoop生态系统的工作原理，介绍其关键组件以及如何使用它来处理和分析大规模数据。 ## 什么是Hadoop？ Hadoop是一个开源的分布式计 ......
Hadoop部署HDFS集群 启动后只有node1有进程，node2和node3没有反应
最近有人向我询问说：为什么他的HDEF集群一键启动时只有node1进程有反应，node2和node3没有反应 我看完他的问题之后，想到了自己在部署时也遇到了同样的问题，现在来分享一下自己的解决方案 出现这种情况的主要原因是：workers文件没有配置好 解决方法： 输入：vim /export/se ......
hadoop开发案例
本次基于陌陌数据案例实现可视化数据分析 数据准备:两个tsv文件，总计包含14w条数据，数据字段包括发送人，接收人 账号，性别，GPS坐标等20多个字段，这些字段利用制表符进行分隔开，其中有为null的杂乱数据，需要将这些数据过滤，时间数据格式为年月日时分秒，需要substr()进行截取，GPS坐标 ......
hbase报错 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
hbase报错：hbase shell能打开 网页也能打开 但是一执行命令就开始报错。 原因：hadoop的安全模式打开。 解决方法：关闭安全模式 ，再重新启动HBase就可以了。 具体的命令： 1、查看namenode是否是安全状态 hadoop dfsadmin -safemode get Sa ......
ambari-hadoop集群中timeline和ams-hbase几种服务之间的调用关系
最近经常碰到ambari集群timeline server和ams-hbase 服务的一些问题，梳理了下这些服务之间的调用关系，留作笔记方便后续查阅 #1. 目前笔者用到的hadoop组件版本如下 ![](https://img2023.cnblogs.com/blog/1648386/202308 ......
Hadoop3.3.0--Linux编译安装
### Hadoop3.3.0--Linux编译安装 本实验内容教程来源于“黑马程序员”如有侵权请联系作者删除 基础环境：Centos 7.7 编译环境软件安装目录 ``` mkdir -p /export/server ``` #### 一、Hadoop编译安装（选做） > ==可以直接使用课程提 ......
hadoop 问题集
1.Hadoop "Cannot create directory .Name node is in safe mode."解决方案 hadoop dfsadmin -safemode leave 2.本地eclipse连接外网Hadoop 通过查询发现，外网中的hadoop如果想要被外网访问，需要 ......
Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
# Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 配置完hadoop启动的时候出现如下警告信息： ```shell WARN util.NativeCode ......
[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job fai ......
hadoop 简介
[TOC] ## hadoop 的三大组件和关系 ### 1. HDFS：分布式文件系统 > #### hdfs 的特点和不适用使用场景 >> 1.1 HDFS文件系统可存储超大文件（不适用有大量小文件场景和小量场景，默认块大小是MB,资源浪费） >> 1.2 一次写入，多次读取（不适用多用户更新， ......
Hadoop----hdfs dfs常用命令的使用
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ......
Hadoop初体验
# 1、HDFS初体验  既能够通过后台的终端命令进行文件的管理，也可以通过Web UI界面进行相关的操作； 可以知 ......
Hadoop集群启停命令以及Web UI界面的相关介绍
# 1、Hadoop集群的启停命令（我是将文件都配置好了，直接使用最方便的启停命令就能进行使用） ``` start-all.sh stop-all.sh ``` # 2、HDFS集群的Web UI界面  ......
Linux系统下安装Hadoop环境
# 安装Hadoop的话，是在安装好JDK和MYSQL之后的环境下进行的；还没有安装的话，可以跳转到安装jdk环境（https://www.cnblogs.com/liuzijin/p/17591188.html） # 和安装mysql环境（https://www.cnblogs.com/liuzi ......
Hadoop：哪个数据节点是最近的数据节点来检索数据以及节点如何实现容错性
# Q1 who can decide which Data Node is the closest datanode to retrieve the data? 当客户端要读一个文件的某个数据块时，它就需要向NameNode节点询问这个数据块存储在哪些DataNode节点上，这个过程如下图： # Hadoop集群模式安装 # 安装包获得 ## Hadoop安装包、源码包下载地址： ......
Windows本地IDEA运行mapreduce报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
## 问题原因 在windows运行hadoopJob程序的时候需要模拟下hadoop的运行环境。否则出现会出现标题的问题。 ## 解决方案 1. 下载Hadoop的bin目录 https://github.com/s911415/apache-hadoop-3.1.3-winutils 2. 将步 ......