大数据HDFS集群相关概念

发布时间 2023-10-24 11:52:40作者: 黑水滴

一、Zookeeper服务

端口 描述 配置路径
2181 主要使用端口,对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort
2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183
2182 集群内机器通讯使用(Leader监听此端口) conf/zoo.cfg中server.x=2182:2183

二、Hive服务

端口 描述 配置路径
7004 Metastore,连接方式thrift://ip:7004 hive-site.xml 的hive.metastore.port
7001 HiveServer2 hive-site.xml 的hive.server2.thrift.port

三、Yarn服务

服务 端口 描述 配置路径
ResourceManager 5000 RM的applications manager端口 yarn.resourcemanager.address
  5001 scheduler组件的IPC端口 yarn.resourcemanager.scheduler.address
  5002 IPC yarn.resourcemanager.resource-tracker.address
  5003 IPC yarn.resourcemanager.admin.address
  5004 http服务端口 yarn.resourcemanager.webapp.address
NodeManager 8040 localizer IPC yarn.nodemanager.localizer.address
  8042 http服务端口 yarn.nodemanager.webapp.address
  8041 NM中container manager的端口 yarn.nodemanager.address
JobHistory Server 5022 IPC mapreduce.jobhistory.address
  5023 MR jobhistory admin地址,用以接收history admin命令 mapreduce.jobhistory.admin.address
  5024 http服务端口 mapreduce.jobhistory.webapp.address

四、HDFS服务

服务 端口 描述 配置路径
DataNode 50010 datanode服务端口,用于数据传输 dfs.datanode.address
  50075 http服务的端口 dfs.datanode.http.address
  50475 https服务的端口 dfs.datanode.https.address
  50020 ipc服务的端口 dfs.datanode.ipc.address
NameNode 4008 http服务的端口 dfs.namenode.http-address
  4009 https服务的端口 dfs.namenode.https-address
  8020 接收Client连接的RPC端口,用于获取文件系统metadata信息。 fs.defaultFS