云服务器内容精选
-
步骤二:创建存算分离集群 配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。 新创建存算分离集群: 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”页签。 图3 自定义购买集群 在“自定义购买”页签,填写“软件配置”参数。 区域:请根据需要选择。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。 集群版本:请选择集群版本。 集群类型:选择“分析集群”或“混合集群”并勾选所有组件。 元数据:选择“本地元数据”。 单击“下一步”,并配置硬件相关参数。 计费模式:选择“按需计费”。 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 企业项目:默认即可。 CPU架构:默认即可。MRS 3.x之前版本支持该参数。 集群节点:请根据自身需求选择节点规格和数量。 单击“下一步”,并配置相关参数。 Kerberos认证:默认开启,请根据自身需要选择。 用户名:默认为“admin”,用于登录集群管理页面。 密码:设置admin用户密码。 确认密码:再次输入设置的admin用户密码。 登录方式:选择登录ECS节点的登录方式,本例选择密码方式。 用户名:默认为“root”,用于远程登录ECS机器。 密码:设置root用户密码。 确认密码:再次输入设置的root用户密码。 本例以配置委托为例介绍,其他参数暂不配置,如需配置请参考高级配置。 委托:选择步骤一:创建具有访问OBS权限的ECS委托所创建的委托或MRS在IAM服务中预置的委托MRS_ECS_DEFAULT_AGENCY。 图4 配置委托 勾选通信安全授权,详细信息请参见授权安全通信。 单击“立即购买”。等待集群创建成功。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 为已有集群配置存算分离功能: 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 在集群详情页的“概览”页签,单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定,或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。 图5 绑定委托
-
步骤三:在MRS集群详情页面配置OBS权限控制映射关系 在MRS控制台,选择“现有集群”并单击集群名称。 在“概览”页签的基本信息区域,单击“OBS权限控制”右侧的“单击管理”。 单击“添加映射”,并参考表1配置相关参数。 表1 OBS权限控制参数 参数 说明 IAM委托 选择2中创建的委托。 类型 User:在用户级别进行映射 Group:用户组级别进行映射 说明: 用户级别的映射优先级大于用户组级别的映射。若选择Group,建议在“MRS用户(组)”一栏,填写用户的主组名称。 请避免同个用户名(组)出现在多个映射记录上的情况。 MRS 用户(组) MRS中的用户(组)的名称,以英文逗号进行分隔。 说明: 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以MRS_ECS_DEFAULT_AGENCY中的OBS OperateAccess的权限访问OBS。对于组件内置用户不建议绑定在委托中。 如需对组件内置用户在以下场景提交作业时配置委托,要求如下: 如需对spark-beeline的操作进行权限控制,安全集群时配置用户名“spark”,普通集群时配置用户名“omm”。 如需对hbase shell的操作进行权限控制,安全集群时配置用户名“hbase”,普通集群时配置用户名“omm”。 如需对Presto的操作进行权限控制,安全集群时配置用户名“omm”、“hive”和登录客户端的用户名,普通集群时配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。 当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新,表示映射生效(过程大约需要1分钟)。 在关系列表的“操作”列可以对已添加的关系进行编辑和删除。 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以集群配置的委托在“对象存储服务”项目下所拥有的权限访问OBS。 无论用户是否配置OBS权限控制,只要配置AK、SK时,将以AK、SK的权限访问OBS。 映射关系的修改、创建、删除需要用户有Security Administrator权限。 修改映射关系后,若想使之在spark-beeline中生效,需要重启Spark服务,若想使之在hive beeline中生效,需要退出beeline重新进入,若想使之在Presto服务中生效,需要重启Presto服务。
-
在开启OBS权限控制功能时各组件访问OBS的说明 以root用户登录集群任意一个节点,密码为用户创建集群时设置的root密码。 配置环境变量(MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。)。 source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如, kinit admin 如果当前集群未启用Kerberos认证,执行如下命令登录执行操作的用户,该用户需要属于supergroup组,创建用户可参考创建用户,将XXXX替换成用户名。 mkdir /home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS。无需再配置AK、SK和endpoint。OBS路径格式:obs://buck_name/XXX。 例如:hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jar" 如需使用hadoop fs删除OBS上文件,请使用hadoop fs -rm -skipTrash来删除文件。 spark-sql、spark-beeline在创建表时,若不涉及数据导入,则不会访问OBS。即若在一个无权限的OBS目录下创建表,CREATE TABLE仍会成功,但插入数据会报403 AccessDeniedException。
-
步骤一:给集群配置有OBS访问权限的委托 请参考配置存算分离集群(委托方式)配置OBS访问权限的委托。 配置的委托对该集群上所有用户(包括内置用户)及用户组生效,如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时,如果配置了写权限,需要同步配置对应的回收站路径。 默认回收站路径为 /user/${current.user}/.Trash/,${current.user}代表当前使用的用户。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格