AI开发平台MODELARTS-更新训练作业参数:示例代码

时间:2023-11-17 18:34:54

示例代码

在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权

  • 示例一:使用OBS存储位置更新训练作业参数
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    from modelarts.session import Session
    from modelarts.estimator import Estimator
    session = Session()
    estimator = Estimator(
                          modelarts_session=session,
                          framework_type='PyTorch',                                     # AI引擎名称
                          framework_version='PyTorch-1.0.0-python3.6',                  # AI引擎版本
                          code_dir='/bucket/src/',                                      # 训练脚本目录
                          boot_file='/bucket/src/pytorch_sentiment.py',                 # 训练启动脚本目录 
                          log_url='/bucket/log/',                                       # 训练日志目录
                          hyperparameters=[
                                           {"label":"classes",
                                            "value": "10"},    
                                           {"label":"lr",
                                            "value": "0.001"}
                                           ],
                          output_path='/bucket/output/',                                 # 训练输出目录
                          train_instance_type='modelarts.vm.gpu.p100',                   # 训练环境规格
                          train_instance_count=1)                                        # 训练节点个数
    update_info = estimator.update_job_configs(config_name='my_job_config', inputs='/bucket/dataset/', config_desc='update')
    
  • 示例二:使用数据集更新训练作业参数
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    from modelarts.session import Session
    from modelarts.estimator import Estimator
    session = Session()
    estimator = Estimator(
                          modelarts_session=session,
                          framework_type='PyTorch',                                     # AI引擎名称
                          framework_version='PyTorch-1.0.0-python3.6',                  # AI引擎版本
                          code_dir='/bucket/src/',                                      # 训练脚本目录
                          boot_file='/bucket/src/pytorch_sentiment.py',                 # 训练启动脚本目录 
                          log_url='/bucket/log/',                                       # 训练日志目录
                          hyperparameters=[
                                           {"label":"classes",
                                            "value": "10"},    
                                           {"label":"lr",
                                            "value": "0.001"}
                                           ],
                          output_path='/bucket/output/',                                 # 训练输出目录
                          train_instance_type='modelarts.vm.gpu.p100',                   # 训练环境规格
                          train_instance_count=1)                                        # 训练节点个数
    update_info = estimator.update_job_configs(config_name='my_job_config', dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', config_desc='update')
    
support.huaweicloud.com/sdkreference-modelarts/modelarts_04_0178.html