检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS协议:Hadoop中定义了HDFS协议(通过FileSystem抽象类),其他各类存储系统均可以实现HDFS协议,例如Hadoop中内置的HDFS服务,华为云的对象存储服务OBS。
数据直传OBS Web端通过PostObject接口直传OBS 移动应用直传 小程序直传OBS
服务端加密:通过服务端加密功能,对上传至OBS桶中的数据进行加密保护。 跨域资源共享(CORS):通过配置CORS规则,可以实现跨域名访问OBS。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。 父主题: 在ECS上通过内网访问OBS
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
配置Deep storage在OBS中的存储路径。 配置OBSA-HDFS插件。 在官方Github下载OBSA-HDFS插件:下载地址,然后拷贝到extensions/druid-hdfs-storage/ 目录。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS
Param] 表2 OBS URL中的参数 参数 描述 是否必选 Protocol 请求使用的协议类型,如HTTP、HTTPS。HTTPS表示通过安全的HTTPS访问该资源,对象存储服务支持HTTP,HTTPS两种传输协议。
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。
OBS资源 资源是服务中存在的对象。在OBS中,资源包括桶和对象。您可以在创建自定义策略时,通过指定资源路径来选择特定资源。
全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服务缩写,如obs:)仅适用于对应服务的操作。运算符与条件键一起使用,构成完整的条件判断语句。
使用云监控服务对安全事件进行实时监控、告警 您在使用OBS的过程中会也可能会遇到服务端返回的错误响应,为使您更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。
obsfs简介 obsfs是对象存储服务 (Object Storage Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。
obsutil简介 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
更多操作 如果您需要在华为云的弹性云服务器(ECS)上使用obsutil,您可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。