虚拟机Hadoop和eclipse连接
1.安装eclipse
2.hadoop-eclipse-plugins插件安装
下载插件
百度云:链接: https://pan.baidu.com/s/1bhdNgOOlsixT9OchEhijnw 密码: vvr7
将插件移动到eclipse安装目录的dropins文件夹下
打开eclipse(eclipse文件夹下命令行输入 ./eclipse;若配置了快捷方式直接打开即可)
Windows→show view→other→MapReduce
配置location
create project(新建项目时左边栏才会出现DFS Location)
若DFS出现Call From Master/172.50.40.78 to localhost:9000 failed on connection exception:java.net.connection的错误
https://blog.csdn.net/weixin_42546792/article/details/103829822
可能需要把host:localhost改成host:master
原文链接:https://blog.csdn.net/strawcherry_wj/article/details/119118765
先从虚拟机下载hadoop 需要解压好和文件配置好的版本,方便后文配置伪分布式文件)
笔者linux的hadoop目录为:/usr/hadoop
下载到windows的某个目录,自行选择 笔者下载到的windows目录为D:\desktop\fsdownload\hadoop-2.7.3
下载eclipse和hadoop连接的插件 hadoop-eclipse-plugin-2.7.3.jar
(笔者hadoop版本为2.7.3,你使用的hadoop版本和插件版本需要对应)
链接:https://pan.baidu.com/s/1m5BCOa1vcNghG0TUklB7CA
提取码:e9mo
(此链接为hadoop-eclipse-plugin-2.7.3.jar)
将下载好的插件hadoop-eclipse-plugin-2.7.3.jar 复制到eclipse的plugins目录下
将winutils.exe文件复制到hadoop目录下的bin路径下
wintil.exe链接
链接:https://pan.baidu.com/s/1Ahzo8IyPhoxzvPSuT1nN7Q
提取码:bhip
配置hadoop环境变量
进入 设置--系统--关于--高级系统设置--环境变量
编辑path变量,增加内容为:%HADOOP_HOME%\bin
增加一个变量HADOOP_HOME
变量值为 hadoop的路径
开启Hadoop集群(此处省略。。自行开启)
开启集群和复制插件之后 开启eclipse,可以在eclipse左侧工作区看到DFS Locations
在windows菜单下选中perference
perence下选中hadoop map/reduce
设置hadoop的安装路径 前文有提到 笔者的安装路径为 D:\desktop\fsdownload\hadoop-2.7.3
建立与hadoop的连接 在eclipse下方工作区对Map/Reduce Locations 进行设置
右击 new hadoop location 进入设置
相关设置如图
笔者的core-site.xml(笔者路径为%HADOOP_HOME%/etc/hadoop/core-site.xml)文件中端口号为9000
设置完成之后可以在DFS Locations看到hdfs上的文件
新建项目hadoop1(项目名随意)
进入eclipse 点击左上角file--new--projects
输入项目名称
这样就创建好了一个mapreduce项目
执行MapReduce 项目前,需要将hadoop中有修改过的配置文件(如伪分布式需要core-site.xml 和 hdfs-site.xml),以及log4j.properties复制到项目下的 src文件夹中
(请忽略已经建好的包)
还需要将windows下的hosts文件修改 让ip和主机名映射
hosts文件路径为C:\Windows\System32\drivers\etc\hosts
而修改hosts文件需要管理员权限
可以先右击hosts文件 点击属性
将属性中的“只读”取消 确定并应用
然后通过管理员身份运行命令提示窗口
进入hosts文件目录上一级
输入notepad hosts 即可修改hosts文件
在最底下 输入相对应的映射关系即可
笔者为192.168.222.171 master746
原文链接:https://blog.csdn.net/m0_68421000/article/details/129316512