检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS下载文件 从OBS下载文件。 接口调用 hilens.download_from_obs(url, download_to) 参数说明 表1 参数说明 参数名 是否必选 参数类型 描述 url 是 字符串 OBS资源的链接。
在Windows ECS上使用OBS Browser+通过内网访问OBS OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Windows ECS通过内网直接访问OBS,下面将介绍具体其操作流程和操作步骤。
crr 附加参数,可选 复制时使用客户端跨区域复制模式,从通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。 说明: 如果设置了该参数,必须确保更新了配置文件中客户端跨区域复制的相关配置信息,具体可参考更新配置文件。
支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。
obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。 约束与限制 obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。 本地挂载目录可以不为空,但是挂载后此目录下原有的内容将不可用,取消挂载后即可恢复。建议使用空目录作为挂载目录。
o 附加参数,可选 指定结果清单文件所在的文件夹,不指定时默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 父主题: 辅助命令
图1 为Hudi用户组赋予OBS路径读和写权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 更新对象存储卷访问密钥(AK/SK)后自动生效 跨区域使用OBS桶 加密对象存储卷 父主题: 存储
配置Spark通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
MY_JOBS MY_JOBS视图显示当前用户拥有的定时任务的详细信息。该视图同时存在于PG_CATALOG和SYS Schema下。 表1 MY_JOBS字段 名称 类型 描述 job bigint 作业ID。 log_user name 创建者的UserName。
图1 为Flink用户组新增OBS路径读和写的权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
OBS存储资源包使用超量后是否会限制对桶的写入 不会限制。 OBS桶具有“无限容量”,超出存储资源包部分会自动转为按需计费,或者您可以继续叠加购买资源包。叠加购买资源包的方法,请参考资源包叠加购买。 父主题: 计费相关
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。
obs://bucket-test/task3.txt uploadid4 obs://bucket-test/src1/ obs://bucket-test/src1/task4.txt uploadid5 obs://bucket-test/src2/ obs://bucket-test
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
哪些类型的网站适合使用OBS进行静态网站托管? 静态网站通常仅包含静态网页,以及可能包含部分可在客户端运行的脚本,如JavaScript、Flash等。 OBS支持静态网站托管。