云服务器内容精选

华为云首页用户手册

数据的上传和下载

AI开发平台ModelArts-上传大文件至Notebook中:步骤1：上传文件至OBS

步骤1：上传文件至OBS 针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具，对于熟悉命令行程序的用户，obsutil是执行批量处理、自动化任务的好的选择。OBS上传文件指导，请参见《OBS工具指南》。您可以通过以下多种方式将文件上传至桶，OBS最终将这些文件以对象的形式存储在桶中。表1 不同访问方式上传对象的方法访问方式上传对象方法控制台通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象，具体参考各语言开发指南的上传对象章节 API PUT上传、POST上传

AI开发平台ModelArts 数据的上传和下载
AI开发平台ModelArts-上传大文件至Notebook中:步骤2：从OBS中将文件下载至Notebook

步骤2：从OBS中将文件下载至Notebook 由于Notebook实例可以挂载OBS或EVS作为存储位置，针对不同的实例，请操作方式不同。对于挂载EVS的Notebook实例下载文件使用Moxing操作OBS文件将OBS中的文件同步到Notebook后进行操作。读取一个OBS文件。例如读取“obs://bucket_name/obs_file.txt”文件内容，返回string（字符串类型）。 1 file_str = mox.file.read('obs://bucket_name/obs_file.txt') 也可以使用打开文件对象并读取的方式来实现，两者是等价的。 12 with mox.file.File('obs://bucket_name/obs_file.txt', 'r') as f: file_str = f.read() 使用ModelArts SDK的从OBS下载数据接口将OBS中的文件下载到Notebook后进行操作。当单个文件大小超过5GB时，无法使用此方式上传。推荐使用MoXing接口上传大文件。示例代码： 123 from modelarts.session import Sessionsession = Session()session.download_data(bucket_path="/bucket-name/dir1/sdk.txt", path="/home/user/sdk/obs.txt") 对于带OBS存储的Notebook实例下载文件将文件上传至创建Notebook实例时指定的OBS路径，然后使用Sync OBS功能将OBS中的文件同步到Notebook即可。

AI开发平台ModelArts 数据的上传和下载