roViewDF.createOrReplaceTempView("hudi_ro_table") spark.sql("select * from hudi_ro_table").show() 图1 查看表数据 执行以下命令退出spark-shell命令行: :q 父主题: MRS集群服务对接
SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户根据安全接入键和请求头域生成鉴权信息。安全接入键和接入键标识一一对应。
搜索文件或文件夹 OBS Browser+支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser+。 单击目标文件或文件夹所在的桶。 在对象管理页面右上角的搜索框中输入需要查找的文件或文件夹的前缀。 单击,如图1所示。
“用户ID”可通过单击OBS管理控制台页面右上角用户名,选择“我的凭证”,进入“我的凭证”页面查询。 桶策略各字段含义描述请参考OBS权限控制要素。 父主题: 桶策略
OBS对象名约束 图引擎服务支持的OBS对象名支持以下字符: 字母数字字符 0-9 a-z A-Z 特殊字符 !
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
父主题: MRS集群服务对接OBS示例
样例代码 https://github.com/huaweicloud/terraform-provider-huaweicloud/tree/master/examples/obs/website 父主题: 对象存储服务 OBS
(可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。
对象存储服务 OBS 对象存储服务 OBS 提供安全稳定、性能领先、无限弹性扩展的存储能力,降低使用成本,驱动千行百业数据价值变现 提供安全稳定、性能领先、无限弹性扩展的存储能力 购买 控制台 文档 稳定可靠 数据持久性高达99.9999999999%(12个9) 超高性能 千万级
检测逻辑 OBS桶策略授予的访问权限受您提供的访问身份和网络限制约束,视为“合规”。 OBS桶策略授予的访问权限不受您提供的访问身份和网络限制约束,视为“不合规”。 规则参数中的格式,与OBS桶策略的相关字段格式一致。 父主题: 对象存储服务 OBS
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。
配置桶ACL权限 OBS Browser+可以配置拥有者、匿名用户、特定用户对应的ACL权限。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“桶ACLs”。 根据需求设置目标桶的ACL权限,单击“确认”,如图1所示。
建议您使用OBS SDK来列举特殊字符对象。 使用SDK列举特殊字符对象,具体请参见OBS对应SDK文档中的“列举对象”章节。 父主题: 常见问题
obsutil工具本身不支持重定向操作。
查看桶的基本信息 可以通过OBS Browser+查看桶的基本信息,如桶类型、账户ID、区域和存储用量等。 操作步骤 登录OBS Browser+。 选中待查看的桶,右键单击选中“基本信息”。 在弹出的“基本信息”界面中查看桶的基本信息,如图1所示。
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
---建立不包含分区列的OBS外表,表关联的外部服务器为obs_server,表对应的OBS服务上的文件格式为‘orc’,OBS上的数据存储路径为'/mybucket/data/'。