导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。 失败的任务会自动重试三次。 父主题: 任务管理
对象存储服务(Object storage service,简称OBS)是一种基于对象的存储服务,为客户提供海量、安全、可靠、低成本的数据存储能力。OBS可以存储任何类型的文件,适合普通用户、网站、企业和开发者。
hive.demo01.demo_table WITH (format = 'ORC') AS SELECT * FROM tpch.sf1.customer; 图2 开启Kerberos认证的集群Presto建表返回结果 执行以下命令退出客户端: exit 父主题: MRS集群服务对接
从OBS导入CSV、TXT数据 创建访问密钥(AK和SK) 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 父主题: 从OBS并行导入数据
对象操作 在OBS中,用户操作的基本数据单元是对象。本章介绍对象的一系列管理操作。 右键单击对象列表的空白处,通过快捷菜单中的创建文件夹,上传文件,上传文件夹选项管理对象。
图1 接口场景使用流程 注册账号并开通服务 在使用图片处理前,您需要拥有一个云服务账号并且成功开通OBS。开通OBS服务成功后图片处理也随之成功开通,使用OBS服务之前必须先充值,充值完成后即可进行访问和使用。如果您已经开通OBS且完成充值,请跳过此章节。
为确认失败任务的具体错误原因,可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。
在OBS管理控制台左侧导航栏选择“对象存储”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏,单击“概览”,进入“概览”页面。 在概览页的“基础配置”区域下,单击“服务端加密”卡片,系统弹出“服务端加密”对话框。
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹,通过该方式生成的分享链接中都包含链接的有效时间,超过有效期后即无法通过该链接继续访问。
/obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。 .
是否可以同时装两个不同站点的OBS Browser+工具? OBS Browser+与OBS Browser的不同之处? OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? 为什么我运行了百万级别的任务后,感觉任务执行较慢?
自定义OBS私有桶策略配置 如果您采用了自定义OBS私有桶作为CDN的源站,即:跨账号添加OBS私有桶作为源站,您需要前往OBS控制台为您的私有桶配置策略。 配置步骤 登录华为云控制台,在控制台首页中选择“存储 > 对象存储服务 OBS”“,进入OBS控制台。
快速入门 准备环境 初始化配置 快速使用
桶相关命令 创建桶 列举桶 查询桶属性 设置桶属性 删除桶 设置桶策略 获取桶策略 删除桶策略
对象相关命令 创建文件夹 上传对象 查询对象属性 设置对象属性 列举对象 复制对象 移动对象 下载对象 生成对象的下载链接 删除对象 增量同步上传对象 增量同步复制对象 增量同步下载对象 恢复归档存储对象 恢复失败的上传任务 恢复失败的复制任务 恢复失败的下载任务 列举分段上传任务
常见问题 是否支持同步删除文件 列举接口是否支持保存结果到本地文件 列举桶内对象返回的大小与控制台桶内对象大小不一致 批量任务执行失败如何确认错误信息 i/o timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Windows
异常场景1 可能原因: OBS路径没有设置为具体的文件路径,设置成了文件夹。 OBS中的文件设置了加密。请前往OBS控制台查看,确保该文件未加密。 OBS桶和Notebook不在同一个区域。请确保读取的OBS桶和Notebook处于同一站点区域,不支持跨站点访问OBS桶。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务,当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。