Hadoop框架

Hadoop

Hadoop常用端口号

hadoop3.x

• HDFS NameNode 内部通信端口:8020/9000/9820 NameNode HTTP UI 9870 Yarn MapReduce查看执行任务端口 8088 历史服务器通信端口 19888

hadoop2.x

• HDFS NameNode 内部通信端口:8020/9000 NameNode HTTP UI 50070 Yarn MapReduce查看执行任务端口 8088 历史服务器通信端口 19888

常用配置文件

hadoop3.x配置

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• workers

hadoop2.x配置

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• slaves

时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

一般情况下，可以连接外网，不需要进行集群同步

ntpd服务

不作详细介绍，网络时间协议