检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务公告 全部公告 > 升级公告 > OBS默认引流变更 OBS默认引流变更 2024-11-04 尊敬的华为云客户: 为了进一步提高OBS服务的稳定性和可靠性,华为云计划于2024年11月8日07:00-13:00 (北京时间)对爱尔兰中心OBS服务进行升级,详情如下: 变更内容
服务公告 全部公告 > 升级公告 > OBS默认引流变更_obs OBS默认引流变更_obs 2024-11-08 尊敬的华为云客户: 为了进一步提高OBS服务的稳定性和可靠性,华为云计划于2024年11月12 日与13 日, 07:00-13:00 (北京时间)对爱尔兰中心OBS
HDFS协议:Hadoop中定义了HDFS协议(通过FileSystem抽象类),其他各类存储系统均可以实现HDFS协议,例如Hadoop中内置的HDFS服务,华为云的对象存储服务OBS。
生命周期:通过为桶配置生命周期规则,可以实现定时转换对象存储类别或定时删除对象。 桶ACL权限:Java SDK提供桶ACL访问权限方式,桶的所有者可以通过编写桶ACL,实现对桶更精细化的权限控制。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak", "fs.obs.secret.key
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。 对接步骤 配置Druid。
注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Param] 表2 OBS URL中的参数 参数 描述 是否必选 Protocol 请求使用的协议类型,如HTTP、HTTPS。HTTPS表示通过安全的HTTPS访问该资源,对象存储服务支持HTTP,HTTPS两种传输协议。
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。
OBS资源 资源是服务中存在的对象。在OBS中,资源包括桶和对象。您可以在创建自定义策略时,通过指定资源路径来选择特定资源。
OBS通过IAM预置了一组条件键,例如,您可以先使用obs:SourceIp条件键检查请求者的IP地址,然后再允许执行操作。 OBS支持的条件键和运算符与桶策略的Condition一致,在IAM配置时需要在前面加上“obs:”。
根据该指导文档您可以持续评估OBS资源的安全状态,更好的组合使用OBS提供的多种安全能力,提高对OBS资源的整体安全防御能力,保护存储在OBS桶内的数据不泄露、不被篡改,以及数据传输过程中不泄露、不被篡改。
obsfs简介 obsfs是对象存储服务 (Object Storage Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。
obsutil目前暂不支持高级的桶管理和对象管理操作,相关功能会在后续版本中开发,如需配置,建议使用对象存储服务控制台。相关文档请参考《对象存储服务用户指南》。
翻新obs 功能介绍 翻新obs fg触发器,创建为EG订阅 URI POST /v1/{project_id}/subscriptions/obsbuckets/{bucket_name}/refurbishobs 表1 路径参数 参数 是否必选 参数类型 描述 bucket_name
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。