该解决方案有何用途?

大语言模型文件一般是GB到TB级别,从IDC或其它数据中心上传至对象存储服务 OBS桶花费时间长,操作繁琐,中转机器磁盘容量要求高。该解决方案通过使用一台轻量级的弹性云服务器 ECS作为中转,利用内网带宽将模型权重文件从源端桶流式复制到客户同区域下的目标桶,加快模型权重文件的传输速度,减轻将模型权重文件下载到对象存储时间慢的痛点。

方案架构

云服务器作为中转服务器,将源端桶模型权重文件流式复制到用户同区域下的目标桶,加快模型权重文件的传输速度。

OBS极速同步模型权重文件

版本:1.0.0

上次更新日期:2025年4月

来源:由华为云构建

部署:预计5分钟

卸载:预计5分钟

支持区域:

架构描述

架构描述

  • 创建一个弹性公网IP EIP,用于ECS访问由华为云解决方案团队维护的中央服务器

  • 创建一台Linux弹性云服务器 ECS实例作为中转机,并绑定公网IP,安装obsutil工具,用于OBS桶之间的数据复制,并且流量穿透过该机器

  • 使用对象存储服务OBS桶,用于存储大模型权重文件

展开内容
收起内容