Hadoop 常用端口

介绍

在Hadoop生态系统中，各个组件通过网络进行通信。为了实现这些通信，Hadoop使用了特定的端口号。了解这些端口的作用和配置方法，对于调试、优化和安全管理Hadoop集群至关重要。本文将详细介绍Hadoop中常用的端口及其用途。

Hadoop 常用端口列表

以下是Hadoop生态系统中一些常用端口及其用途的列表：

组件	端口号	用途描述
HDFS NameNode	50070	NameNode的HTTP Web UI端口，用于查看HDFS的状态和管理文件系统。
HDFS NameNode	8020	NameNode的RPC端口，用于客户端与NameNode的通信。
HDFS DataNode	50075	DataNode的HTTP Web UI端口，用于查看DataNode的状态和存储信息。
HDFS DataNode	50010	DataNode的RPC端口，用于与NameNode和其他DataNode的通信。
YARN ResourceManager	8088	ResourceManager的HTTP Web UI端口，用于查看YARN集群的状态和任务信息。
YARN NodeManager	8042	NodeManager的HTTP Web UI端口，用于查看NodeManager的状态和任务信息。
MapReduce JobHistory Server	19888	JobHistory Server的HTTP Web UI端口，用于查看MapReduce作业的历史记录。
HBase Master	60000	HBase Master的RPC端口，用于客户端与HBase Master的通信。
HBase RegionServer	60020	HBase RegionServer的RPC端口，用于客户端与RegionServer的通信。
ZooKeeper	2181	ZooKeeper的客户端连接端口，用于客户端与ZooKeeper集群的通信。

端口配置示例

在Hadoop的配置文件中，可以通过修改相应的属性来更改这些端口的默认值。以下是一些常见的配置示例：

HDFS NameNode端口配置

在hdfs-site.xml中，可以通过以下属性配置NameNode的HTTP和RPC端口：

xml
<property>
  <name>dfs.namenode.http-address</name>
  <value>0.0.0.0:50070</value>
</property>
<property>
  <name>dfs.namenode.rpc-address</name>
  <value>0.0.0.0:8020</value>
</property>

YARN ResourceManager端口配置

在yarn-site.xml中，可以通过以下属性配置ResourceManager的HTTP端口：

xml
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

HBase Master端口配置

在hbase-site.xml中，可以通过以下属性配置HBase Master的RPC端口：

xml
<property>
  <name>hbase.master.port</name>
  <value>60000</value>
</property>

实际应用场景

场景1：调试HDFS问题

假设你在使用HDFS时遇到了文件无法写入的问题。你可以通过访问NameNode的HTTP Web UI（默认端口50070）来查看HDFS的状态，检查是否有DataNode下线或存储空间不足的情况。

场景2：监控YARN任务

在运行MapReduce作业时，你可以通过访问ResourceManager的HTTP Web UI（默认端口8088）来查看任务的执行状态和资源使用情况。如果任务失败，你还可以通过JobHistory Server（默认端口19888）查看详细的任务日志。

总结

了解Hadoop常用端口的作用和配置方法，对于管理和调试Hadoop集群非常重要。通过本文的介绍，你应该能够掌握Hadoop生态系统中一些关键组件的端口配置，并能够在实际应用中使用这些知识来解决问题。

附加资源

练习

尝试修改HDFS NameNode的HTTP端口为50080，并验证是否可以通过新的端口访问Web UI。
配置YARN ResourceManager的HTTP端口为8080，并查看YARN集群的状态。
通过ZooKeeper的客户端连接端口（2181）连接到ZooKeeper集群，并查看集群的状态信息。

介绍​