MAPREDUCE服务 MRS-组件常用端口列表:Spark常用端口

时间:2024-04-28 14:04:49

Spark常用端口

表中涉及端口的协议类型均为:TCP。

配置参数

开源默认端口

定制默认端口

端口说明

hive.server2.thrift.port

22550

22550

JDBC thrift端口。

该端口用于:

Spark2.1.0 CLI/JDBC与Spark2.1.0 CLI/JDBC服务器进行socket通信。

说明:

如果hive.server2.thrift.port被占用,将抛端口被占用异常。

  • 安装时是否缺省启用:是
  • 安全加固后是否启用:是

spark.ui.port

4040

22950

JDBC的Web UI端口

该端口用于:Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。

说明:

系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。

  • 安装时是否缺省启用:是
  • 安全加固后是否启用:是

spark.history.ui.port

18080

22500

JobHistory Web UI端口

该端口用于:Web请求与Spark2.1.0 History Server间的HTTPS/HTTP通信

说明:

系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。

  • 安装时是否缺省启用:是
  • 安全加固后是否启用:是
support.huaweicloud.com/usermanual-mrs/mrs_01_0504.html