MapReduce服务 MRS-Python样例代码:代码样例

时间:2023-11-01 16:19:45

代码样例

由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。

下面代码片段仅为演示,具体代码参见SparkHbasetoHbasePythonExample:

# -*- coding:utf-8 -*-from py4j.java_gateway import java_importfrom pyspark.sql import SparkSession# 创建SparkSession,设置kryo序列化spark = SparkSession\        .builder\        .appName("SparkHbasetoHbase") \        .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \        .config("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") \        .getOrCreate()# 向sc._jvm中导入要运行的类java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHbasetoHbase')# 创建类实例并调用方法spark._jvm.SparkHbasetoHbase().hbasetohbase(spark._jsc)# 停止SparkSessionspark.stop()
support.huaweicloud.com/devg3-mrs/mrs_07_200088.html