Hadoop运行模式之本地模式(wordcount)

发布时间 2023-11-26 15:39:55作者: SpringCore

本地模式总结起来大概有以下几点:

  • 单机运行,常用来演示,生产环境不适用
  • 文件存储在操作系统的文件系统中而非Hadoop的HDFS中

1.安装JDK

https://www.cnblogs.com/fanqisoft/p/16949738.html

2.安装Hadoop

https://www.cnblogs.com/fanqisoft/p/17857272.html

3.搭建Hadoop本地模式

1.在Hadoop中创建数据目录
$pwd
/usr/hadoop/hadoop-3.3.6
$mkdir wcinput
2.创建待处理数据
cd wcinput/
vi word.txt
core  core
dotnet  dotnet
java
javascript
go
rust
vue
react
angular
c
3.执行命令分析[输出目录不要存在]
cd ..
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount wcinput/ ./wcoutput