检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架,kubernetes容器引擎、算法开发场景通过文件语义访问共享数据,无需适配开发。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
因此,我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能,当前流行的两种大模型训练框架Megatron进行简单适配便可使用。
公测 备份 2018年11月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo商用 SFS Turbo还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景,例如企业OA、高性能网站和软件开发等场景。
SDK SFS Turbo提供多种开发语言的SDK,帮助您轻松实现二次开发。主要支持:Java、Python、Go。 支持区域: 全部 SFS Turbo SDK参考文档 文件系统管理 文件系统是SFS Turbo中存储文件的容器。
此外,高性能弹性文件服务还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景,例如企业OA、高性能网站和软件开发等场景。 父主题: SFS Turbo概念类问题
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
{query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。
API方式 如果用户需要将云服务平台上的高性能弹性文件服务集成到第三方系统,用于二次开发,请使用API方式访问高性能弹性文件服务,具体操作请参见《高性能弹性文件服务API参考》。 管理控制台方式 非API方式,请使用管理控制台方式访问高性能弹性文件服务。
例如您的员工中有负责软件开发的人员,您希望他们拥有SFS Turbo的使用权限,但是不希望他们拥有删除文件系统等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用SFS Turbo,但是不允许删除文件系统的权限策略,控制他们对SFS Turbo资源的使用范围。
配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。