内容简介:一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。感谢阅读,希望这篇文章能给你带来帮助!
一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。
这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。
端口 | 配置项 | 说明 |
---|---|---|
Hadoop HDFS | ||
8020 | fs.defaultFS | hdfs:// 连接 |
50090 | dfs.namenode.secondary.http-address | |
50091 | dfs.namenode.secondary.https-address | |
50010 | dfs.datanode.address | |
50075 | dfs.datanode.http.address | WebUI |
50020 | dfs.datanode.ipc.address | |
50070 | dfs.namenode.http-address | |
50475 | dfs.datanode.https.address | |
50470 | dfs.namenode.https-address | |
50100 | dfs.namenode.backup.address | |
50105 | dfs.namenode.backup.http-address | |
8485 | dfs.journalnode.rpc-address | |
8480 | dfs.journalnode.http-address | |
8481 | dfs.journalnode.https-address | |
8019 | dfs.ha.zkfc.port | |
Hadoop YARN | ||
8032 | yarn.resourcemanager.address | |
8030 | yarn.resourcemanager.scheduler.address | |
8088 | yarn.resourcemanager.webapp.address | WebUI |
8090 | yarn.resourcemanager.webapp.https.address | |
8031 | yarn.resourcemanager.resource-tracker.address | |
8033 | yarn.resourcemanager.admin.address | |
8044 | yarn.nodemanager.webapp.https.address | |
8047 | yarn.sharedcache.admin.address | |
8788 | yarn.sharedcache.webapp.address | |
8046 | yarn.sharedcache.uploader.server.address | |
8045 | yarn.sharedcache.client-server.address | |
8049 | yarn.nodemanager.amrmproxy.address | |
8089 | yarn.router.webapp.address | |
8091 | yarn.router.webapp.https.address | |
Hadoop MapReduce | ||
10020 | mapreduce.jobhistory.address | |
19888 | mapreduce.jobhistory.webapp.address | |
19890 | mapreduce.jobhistory.webapp.https.address | |
Hive | ||
9083 | metastore | |
10000 | thrift | |
Zookeeper | ||
2181 | /etc/zookeeper/conf/zoo.cfg clientPort | 客户端连接端口 |
2888 | server.x | follower连接到leader的端口 |
3888 | server.x | leader选举时的端口 |
Spark | ||
8080 | spark.master.ui.port | Master WebUI |
8081 | spark.worker.ui.port | Worker WebUI |
18080 | spark.history.ui.port | History server WebUI |
7077 | SPARK_MASTER_PORT | Master port |
6066 | spark.master.rest.port | Master REST port |
4040 | spark.ui.port | Driver WebUI |
Kafka | ||
9092 | server.properties | 客户端连接 |
感谢阅读,希望这篇文章能给你带来帮助!
以上所述就是小编给大家介绍的《大数据常用组件默认端口号》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- centos 修改ssh默认端口号
- SSH 协议端口号 22 背后的故事
- Nginx、Apache2修改默认端口号
- 如何修改tomcat默认端口号8080的方法
- 10分钟理解TCP、UDP 和端口号
- Ubuntu下Nginx与Apache2修改默认端口号
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
数据库系统概念
(美)Abraham Silberschatz、(美)Henry F.Korth、(美)S.Sudarshan / 杨冬青、李红燕、唐世渭 / 机械工业出版社 / 2012-3 / 99.00元
【编辑推荐】 数据库领域的殿堂级作品 夯实数据库理论基础,增强数据库技术内功的必备之选 对深入理解数据库,深入研究数据库,深入操作数据库都具有极强的指导作用! 【内容简介】 本书是数据库系统方面的经典教材之一,其内容由浅入深,既包含数据库系统基本概念,又反映数据库技术新进展。它被国际上许多著名大学所采用,包括斯坦福大学、耶鲁大学、得克萨斯大学、康奈尔大学、伊利诺伊大学......一起来看看 《数据库系统概念》 这本书的介绍吧!
UNIX 时间戳转换
UNIX 时间戳转换
RGB HSV 转换
RGB HSV 互转工具