MapReduce服务 MRS-开启Kerberos认证的集群如何访问Spark?

时间:2023-11-01 16:20:39

开启Kerberos认证的集群如何访问Spark?

  1. root用户登录集群Master节点。
  2. 配置环境变量。

    source /opt/client/bigdata_env

  3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。

    kinit MRS集群用户

    例如:

    开发用户为“机机”用户时执行:kinit -kt user.keytab sparkuser

    开发用户为“人机”用户时执行:kinit sparkuser

  4. 执行如下命令连接Spark组件客户端。

    spark-beeline

  5. 在spark-beeline中执行命令,例如在obs://mrs-word001/table/目录中创建表test。

    create table test(id int) location 'obs://mrs-word001/table/';

  6. 执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。
    show tables;
    图1 Spark验证返回已创建的表名
  7. 使用“Ctrl + C ”退出spark beeline。
support.huaweicloud.com/mrs_faq/mrs_03_1177.html