fs.obs.secret.key,fs.obs.endpoint和fs.obs.impl。
步骤二:购买连接OBS的终端节点 操作场景 为了实现用户本地数据中心节点通过终端节点访问OBS服务,需要购买连接OBS服务的终端节点。 前提条件 终端节点要连接的终端节点服务已经存在。 操作步骤 进入终端节点列表页。 在“终端节点”列表页,单击“购买终端节点”。
文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
配置项 在HDFS集群配置中选择“高级”,在core-site.xml的群集范围高级配置代码段(安全阀)增加OBS的ak、sk、endpoint和impl配置,对应名称为fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint、fs.obs.impl
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中,导出操作将在OBS服务新建文件夹,或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件,且文本格式仅支持UTF-8。
父主题: OBS Browser+和obsutil等工具相关
OBS客户端(ObsClient)是访问OBS服务的C客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。
OBS客户端(ObsClient)是访问OBS服务的C客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。
OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。
如何判断是否内网访问OBS? 假设某用户拥有一台中国-香港区域的ECS,同时拥有一个中国-香港区域的OBS桶(桶名为example-bucket)。
在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。 约束与限制 obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。 本地挂载目录可以不为空,但是挂载后此目录下原有的内容将不可用,取消挂载后即可恢复。建议使用空目录作为挂载目录。
在Windows ECS上使用OBS Browser+通过内网访问OBS OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Windows ECS通过内网直接访问OBS,下面将介绍具体其操作流程和操作步骤。
*credentialProvider = [[OBSStaticCredentialProvider alloc] initWithAccessKey:AK secretKey:SK]; // 初始化服务配置 OBSServiceConfiguration *conf = [
OBS Manager 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1和表2配置OBS Manager节点的参数。
配置上传日志委托 创建用于上传日志的委托 在“日志记录”对话框,单击“查看委托”,进入“统一身份认证服务”管理控制台“委托”页面。 单击“创建委托”,进行委托创建。 输入“委托名称”。 “委托类型”选择“云服务”。 “云服务”选择“对象存储服务 OBS”。 选择“持续时间”。
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。 路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。
迁移示例 阿里云OSS迁移至华为云OBS 本方案介绍了如何将阿里云对象存储(Object Storage Service,简称OSS)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。
≥ 0 ms 不涉及 桶 1分钟 upload_server_request_latency 总上传服务端时延 该指标用于统计上传对象时OBS服务端的平均耗时。
示例代码如下: // 引入依赖库 require 'vendor/autoload.php'; // 使用源码安装时引入SDK代码库 // require 'obs-autoloader.php'; // 声明命名空间 use Obs\ObsClient; // 创建ObsClient