今日总结

发布时间 2023-12-12 09:17:30作者: 北·岛

虚拟机Hadoop和eclipse连接

1.安装eclipse
2.hadoop-eclipse-plugins插件安装
下载插件
百度云:链接: https://pan.baidu.com/s/1bhdNgOOlsixT9OchEhijnw 密码: vvr7
将插件移动到eclipse安装目录的dropins文件夹下
打开eclipse(eclipse文件夹下命令行输入 ./eclipse;若配置了快捷方式直接打开即可)
Windows→show view→other→MapReduce
配置location

create project(新建项目时左边栏才会出现DFS Location)
若DFS出现Call From Master/172.50.40.78 to localhost:9000 failed on connection exception:java.net.connection的错误
https://blog.csdn.net/weixin_42546792/article/details/103829822

可能需要把host:localhost改成host:master

原文链接:https://blog.csdn.net/strawcherry_wj/article/details/119118765

先从虚拟机下载hadoop 需要解压好和文件配置好的版本,方便后文配置伪分布式文件)

 

笔者linux的hadoop目录为:/usr/hadoop

下载到windows的某个目录,自行选择 笔者下载到的windows目录为D:\desktop\fsdownload\hadoop-2.7.3

 

下载eclipse和hadoop连接的插件 hadoop-eclipse-plugin-2.7.3.jar

(笔者hadoop版本为2.7.3,你使用的hadoop版本和插件版本需要对应)

链接:https://pan.baidu.com/s/1m5BCOa1vcNghG0TUklB7CA
提取码:e9mo

(此链接为hadoop-eclipse-plugin-2.7.3.jar)

将下载好的插件hadoop-eclipse-plugin-2.7.3.jar 复制到eclipse的plugins目录下

 

 

将winutils.exe文件复制到hadoop目录下的bin路径下

 

 

wintil.exe链接

链接:https://pan.baidu.com/s/1Ahzo8IyPhoxzvPSuT1nN7Q
提取码:bhip

配置hadoop环境变量

进入 设置--系统--关于--高级系统设置--环境变量

 

编辑path变量,增加内容为:%HADOOP_HOME%\bin

 

增加一个变量HADOOP_HOME

变量值为 hadoop的路径

 

开启Hadoop集群(此处省略。。自行开启)

开启集群和复制插件之后 开启eclipse,可以在eclipse左侧工作区看到DFS Locations

 

在windows菜单下选中perference

 

perence下选中hadoop map/reduce

 

设置hadoop的安装路径 前文有提到 笔者的安装路径为 D:\desktop\fsdownload\hadoop-2.7.3

 

建立与hadoop的连接 在eclipse下方工作区对Map/Reduce Locations 进行设置

 

右击 new hadoop location 进入设置

 

相关设置如图

笔者的core-site.xml(笔者路径为%HADOOP_HOME%/etc/hadoop/core-site.xml)文件中端口号为9000

 

设置完成之后可以在DFS Locations看到hdfs上的文件

 

新建项目hadoop1(项目名随意)

进入eclipse 点击左上角file--new--projects

 

输入项目名称

 

这样就创建好了一个mapreduce项目

执行MapReduce 项目前,需要将hadoop中有修改过的配置文件(如伪分布式需要core-site.xml 和 hdfs-site.xml),以及log4j.properties复制到项目下的 src文件夹中

(请忽略已经建好的包)

 

还需要将windows下的hosts文件修改 让ip和主机名映射

hosts文件路径为C:\Windows\System32\drivers\etc\hosts

而修改hosts文件需要管理员权限

可以先右击hosts文件 点击属性

 

将属性中的“只读”取消 确定并应用

然后通过管理员身份运行命令提示窗口

进入hosts文件目录上一级

输入notepad hosts 即可修改hosts文件

 

在最底下 输入相对应的映射关系即可

笔者为192.168.222.171 master746

原文链接:https://blog.csdn.net/m0_68421000/article/details/129316512