华为云首页用户手册

MapReduce服务 MRS-应用开发简介:Spark开发接口简介

MapReduce服务 MRS-应用开发简介:Spark开发接口简介

时间：2023-11-01 16:19:45

MapReduce服务 MRS

Spark开发接口简介

Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。

按不同的语言分，Spark的API接口如表1所示。

表1 Spark API接口
功能	说明
Scala API	提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Scala。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。
Java API	提供Java语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Java。
Python API	提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Python。

按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见JDBCServer接口介绍。

spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。

上一篇：MapReduce服务 MRS-开发流程:Spark应用程序开发流程

下一篇：MapReduce服务 MRS-开发流程:Spark应用程序开发流程

MapReduce服务 MRS-应用开发简介:Spark开发接口简介

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题