Python使用hdfs上传文件至hadoop报错

发布时间 2023-07-14 18:18:55作者: lytcreate

报错代码:

from hdfs.client import Client

hdfs_client = Client('http://IP:端口')
hdfs_client.makedirs(hdfs_dir)

在与hadoop创建链接后建文件夹时报错

报错信息:

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x00\x00\x00|{\x08ÿÿÿÿ\x0f\x10\x02\x18\t")org.apache.hadoop.ipc.RPC$VersionMismatch*>Server IPC version 9 cannot communicate with client version 470\x0e:\x00@\x01'))

 

解决思路:

检查所请求的端口,在hadoop的配置文件下的 hdfs-site.xml的 dfs.namenode.http-address.mycluster.nn1(NameNode HTTP Server端口) 配置下的端口号 

修改端口号后正常传输数据~