对象存储服务 OBS-Spark对接OBS:对接步骤
时间：2025-03-26 15:28:27
下载对象存储服务 OBS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
对接步骤
以Spark2.3.3为例。
- 下载spark-2.3.3-bin-without-hadoop.tgz，并解压到/opt/spark-2.3.3。
- 在/etc/profile文件中增加配置内容：
export SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
- 配置spark。
- 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
更多配置内容请参见Apache Hadoop。
- 重命名/opt/spark-2.3.3/conf/log4j.properties.template为log4j.properties。
- 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：
- 执行以下命令，验证是否对接成功。
$SPARK_HOME/bin/run-example org.apache.spark.examples.JavaWordCount obs://obs-bucket/input/test.txt
support.huaweicloud.com/bestpractice-obs/obs_05_1509.html
