检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的
SparkResource/spark2x.keytab examples/jars/spark-examples_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 6 10 10 3 spark-sql 可用于local模式或者集群模式运行Hive元数据服务以及命令行查询
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类似
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin
图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
如何通过curl命令访问Manager REST API 说明 用户可通过openssl version查看系统的openssl版本，如果版本低于OpenSSL 1.0.1，需要为操作系统安装较高版本的openssl，以支持使用TLSv1.1和TLSv1.2与集群交互。 操作样例及步骤
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
注册UDF 构建Jar包。 构建Jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”，双击
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令，卸载名称为“example”的UDF。 DROP FUNCTION example 父主题： 在IoTDBServer节点调测UDF应用
注册UDF 构建Jar包。 构建Jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”，双击
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令，卸载名称为“example”的UDF。 DROP FUNCTION example 父主题： 在IoTDBServer节点调测UDF应用
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
settings.xml”文件放置目录 参考信息 针对MapReduce提供的几个样例程序，其对应的依赖包如下： MapReduce统计样例程序 没有需要额外导入的jar包 MapReduce访问多组件样例程序 导入样例工程之后，如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java.opts
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
