b522-9b524500fa23-0-0] 父主题: 对象存储OBS
单击“服务状态”页签,选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功,则表示MapReduce对接OBS成功。
图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。
图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。
转储地址 设置存储Topic数据的OBS桶的名称。 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为什么我运行了百万级别的任务后,感觉任务执行较慢?。
当超过5GB后,由于达到了OBS单次导入文件大小的上限,导致无法继续写入。
生成带授权信息的URL obsClient.CreateSignedUrl 通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,以对OBS服务进行特定操作。
XML格式的错误响应 返回HTML文档 重定向支持 不适用 同时支持对象级和桶级重定向 支持的请求 支持所有桶和对象操作 仅支持对象上的GET和HEAD请求 对桶根级的GET和HEAD请求的响应 返回桶中对象key的列表 返回配置中指定的索引文档 注意事项 基于安全合规要求,华为云对象存储服务
前提条件 已创建OBS的桶。具体OBS操作可以参考《对象存储服务用户指南》。本指导中的OBS桶名都为“dli-test-021”。 已创建DLI的SQL队列。创建队列详细介绍请参考创建队列。 注意:创建队列时,队列类型必须要选择为:SQL队列。
500 服务内部错误。 错误码 请参见错误码。 父主题: 证书吊销处理
检测逻辑 OBS桶策略未授予的本华为云账号以外的身份指定操作权限,视为“合规”。 OBS桶策略授予的本华为云账号以外的身份指定操作权限,视为“不合规”。 父主题: 对象存储服务 OBS
父主题: OBS操作相关故障
请确保读取的OBS桶和Notebook处于同一站点区域,不支持跨站点访问OBS桶。具体操作请参见如何查看OBS桶与ModelArts是否在同一区域。 没有该OBS桶的访问权限。请确认操作Notebook的账号有权限读取OBS桶中的数据。
取值范围: 无 默认取值: 无 useCname bool 可选 参数解释: 是否通过自定义域名访问OBS服务。 约束限制: 无 取值范围: true:通过自定义域名访问OBS服务。 false:不通过自定义域名访问OBS服务。
步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图2所示。 名称:用户自定义连接名称,例如“obslink”。
KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 toJobConfig.kmsID 否 String 上传时加密使用的密钥。需先在密钥管理服务中创建密钥。
创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。
发布区域:全部 并行文件系统特性指南 OBS 3.0支持 图片处理 图片处理特性(Image Processing)是OBS为用户提供的稳定、安全、高效、易用、低成本的图片处理服务。您可以在任何时间和地点对存储在对象存储中的图片进行处理,并且可以快速获取到处理后的图片。
在网络情况不理想的场景下,针对上传/下载/复制等场景,可以考虑适当减小defaultParallels(-p)和defaultJobs(-j)参数来降低整体的并发任务数量,减少问题出现的概率。 父主题: 常见问题