AI开发平台ModelArts-下载Notebook内的大文件到本地:挂载EVS的Notebook实例

时间:2023-11-01 16:16:40

挂载EVS的Notebook实例

对于挂载EVS的Notebook实例,您可以执行以下操作将大文件下载到本地:

  1. 在Notebook中,新建一个“ipynb”文件,使用MoXing先将大文件从Notebook上传到OBS中,示例代码如下:
    12
    import moxing as moxmox.file.copy('/home/ma-user/work/obs_file.txt', 'obs://bucket_name/obs_file.txt')

    其中“/home/ma-user/work/obs_file.txt”为文件在Notebook中的存储路径,“obs://bucket_name/obs_file.txt”为该文件上传到OBS的存储路径。

  2. 使用OBS或ModelArts SDK将OBS中的文件下载到本地。
    • 方式一:使用OBS进行下载

      使用OBS下载文件的操作指导:下载文件,可以将样例中的“obs_file.txt”下载到本地。如果您的数据较多,推荐OBS Browser+下载数据或文件夹。

    • 方式二:使用ModelArts SDK进行下载
      1. 在您的本地环境下载并安装ModelArts SDK
      2. 完成ModelArts SDK的Session鉴权
      3. 将OBS中的文件下载到本地,详请参见从OBS下载数据。示例代码如下:
        123
        from modelarts.session import Sessionsession=Session(access_key='***',secret_key='***',project_id='***',region_name='***')session.download_data(bucket_path="/bucket_name/obs_file.txt",path="/home/user/obs_file.txt")
support.huaweicloud.com/engineers-modelarts/modelarts_23_0190.html