华为云用户手册

  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • URI GET /cloudartifact/v5/{tenant_id}/{project_id}/{repo_name}/file-tree 表1 路径参数 参数 是否必选 参数类型 描述 tenant_id 是 String 租户id project_id 是 String 项目id repo_name 是 String 仓库名称 表2 Query参数 参数 是否必选 参数类型 描述 path 是 String 仓库中路径 instance_id 否 String 实例id is_recycle_bin 否 Boolean 是否是回收站文件
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 [数组元素] 是 Array of IDETrashArtifactModel objects 参数 表2 IDETrashArtifactModel 参数 是否必选 参数类型 描述 id 否 String 仓库id format 否 String 类型 status 否 String 当前仓库状态 uri 否 String 待还原的文件路径
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 请求示例 更新非maven仓库请求体示例 /v5/artifact/ { "repo_name" : "string", "format" : "string", "description" : "string", "repository_ids" : [ "string" ], "includes_pattern" : "string", "deployment_policy" : "string", "auto_clean_snapshot" : true, "snapshot_alive_days" : "string", "max_unique_snapshots" : "string", "allow_anonymous" : true }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 repo_name 是 String 仓库名称 format 是 String 仓库格式 description 否 String 仓库描述 repository_ids 是 Array of strings 仓库id列表 includes_pattern 否 String 路径白名单 deployment_policy 否 String 仓库属性-覆盖策略 auto_clean_snapshot 否 Boolean 自动清理快照 snapshot_alive_days 否 String 快照保存时间长度 max_unique_snapshots 否 String 最大不同快照个数 allow_anonymous 否 Boolean 是否允许匿名
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • URI GET /cloudartifact/v5/{tenant_id}/{project_id}/{repo_name}/file-detail 表1 路径参数 参数 是否必选 参数类型 描述 tenant_id 是 String 租户id project_id 是 String 项目id repo_name 是 String 仓库名称 表2 Query参数 参数 是否必选 参数类型 描述 path 是 String 仓库中路径 format 是 String 仓库格式 instance_id 否 String 实例id
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表4 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • URI GET /cloudartifact/v5/{tenant_id}/{project_id}/repositories 表1 路径参数 参数 是否必选 参数类型 描述 tenant_id 是 String 租户id project_id 是 String 项目id 表2 Query参数 参数 是否必选 参数类型 描述 group_id 否 String 组id page_no 否 Integer 页码 page_size 否 Integer 每页大小 sort 否 String 排序类型 qname 否 String 查询内容 type 否 String 仓库类型 format 否 String 仓库格式 format_list 否 String 仓库格式列表 is_recycle_bin 否 Boolean 是否是回收站文件 is_need_paging 否 Boolean 是否需要分页 in_project 否 Boolean 是否在项目中
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id result String 请求返回结果,接口不同,返回不同 状态码: 401 表3 响应Body参数 参数 参数类型 描述 status String 结果状态 trace_id String 请求id error_code String 错误代码 error_msg String 错误信息
  • 背景知识 导出镜像的流程如下,适用于将云上的服务器系统及软件环境复制到线下集群或私有云环境使用。 图1 导出镜像流程 导出镜像所需时间取决于私有镜像大小和当前导出任务的并发数,需要您耐心等待。 支持导出zvhd2、qcow2、vmdk、vhd和zvhd格式的镜像。创建的私有镜像默认格式为zvhd2,导出过程中,不同的格式会导致导出的镜像大小不同。 对于大于128GB的镜像,您可以使用快速导出功能(即导出时需要勾选“使用快速导出”)将镜像导出到OBS桶中,但是无法指定导出格式,可以在镜像导出后,转换为需要的格式。 加密镜像无法使用快速导出功能。若要将此镜像导出,可以解密后再导出。
  • 约束与限制 用户已启用 数据加密 服务。 如果加密镜像需要共享给其他用户,镜像所使用的密钥必须为自定义密钥,不能使用默认密钥“ims/default”。 加密镜像不能发布到应用超市。 对于加密镜像创建的云服务器,其系统盘只能为加密状态,且磁盘密钥与镜像密钥一致。 如果云服务器的系统盘已加密,那么使用该云服务器创建的私有镜像也是加密的。 不能修改加密镜像使用的密钥。 加密镜像使用的密钥为禁用状态或者被删除时,该镜像无法使用。
  • 处理方法 需要在代码配置永久AK/SK访问OBS,代码参考如下: # 首先删除环境变量。 import os os.environ.pop('CREDENTIAL_PROFILES_FILE', None) os.environ.pop('AWS_SHARED_CREDENTIALS_FILE', None) // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ak = os.environ["HUAWEICLOUD_SDK_AK"] sk = os.environ["HUAWEICLOUD_SDK_SK"] # 然后配置aksk等信息。 import moxing as mox mox.file.set_auth(ak=ak, sk=sk, server='xxx') 其中: aksk使用用户的永久AK/SK。 server的查询地址地区和终端节点。(server前面需要加上https://)
  • 原因分析 出现该问题的可能原因如下: 本地数据、文件保存将"/cache"目录空间用完。 数据处理过程中对数据进行解压,导致数据大小膨胀,将"/cache"目录空间用完。 数据未保存至/cache目录或者/home/ma-user/目录(/cache会软连接成/home/ma-user/),导致数据占满系统目录。系统目录仅支持系统功能基本运行,无法支持大数据存储。 部分训练任务会在训练过程中生成checkpoint文件,并进行更新。如更新过程中,未删除历史的checkpoint文件,会导致/cache目录逐步被用完。 实际存储空间足够,却依旧报错“No Space left on device”。可能触发操作系统的文件索引缓存问题,导致操作系统无法创建文件,造成用户磁盘占满。 触发条件和下面的因素有关: 文件名越长,文件数量的上限越小 blocksize越小,文件数量的上限越小。( blocksize,系统默认 4096B。总共有三种大小:1024B、2048B、4096B) 创建文件越快,越容易触发(机制大概是:有一个缓存,这块大小和上面的1和2有关,目录下文件数量比较大时会启动,使用方式是边用边释放) 程序运行过程中,产生了core文件,core文件占满了"/"根目录空间。
  • 处理方法 排查数据集大小、数据集解压后的大小,checkpoint保存文件大小,是否占满了磁盘空间。具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小 如数据大小已超过/cache目录大小,则可以考虑通过SFS来额外挂载数据盘进行扩容。 将数据和checkpoint保存在/cache目录或者/home/ma-user/目录 检查checkpoint相关逻辑,保证历史checkpoint不会不断积压,导致/cache目录用完 如文件大小小于/cache目录大小并且文件数量超过50w,则考虑为触发操作系统的文件索引相关问题。需要: 分目录处理,减少单个目录文件量。 减慢创建文件的速度。如数据解压过程中,sleep 5s后再进行下一个数据的解压。 如果是有core文件生成,可以在启动脚本最前面加上如下代码,来关闭core文件产生。并推荐先在开发环境中进行代码调试。 import os os.system("ulimit -c 0")
  • 什么是训练作业卡死检测 训练作业在运行中可能会因为某些未知原因导致作业卡死,如果不能及时发现,就会导致无法及时释放资源,从而造成极大的资源浪费。为了节省训练资源成本,提高使用体验,ModelArts提供了卡死检测功能,能自动识别作业是否卡死,并在日志详情界面上展示,同时能配置通知及时提醒用户作业卡死。 由于检测规则的局限性,当前卡死检测存在一定的误检率。如果是作业代码本身逻辑(如长时间sleep)导致的卡死,请忽略。 如果对于误检有疑问或者卡死问题无法自行解决,您可以前往ModelArts开发者论坛进行提问或者搜索问题。
  • 检测规则 卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。 进程状态:只要训练作业中存在进程IO有变化,进入下一个检测周期。如果在多个检测周期内,作业所有进程IO都没有变化,则进入资源利用率检测阶段。 资源利用率:在作业进程IO没有变化的情况下,采集一定时间段内的GPU利用率,并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化,则判定作业卡死。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Workflow-Run-Id 是 String workflow run id X-Workflow-State-Id 是 String workflow state id 表3 请求Body参数 参数 是否必选 参数类型 描述 result 是 String 执行结果 最小长度:1 最大长度:64 枚举值: success fail error 否 String 错误信息 最小长度:1 最大长度:64 output 是 Object 工作流的执行结果,JSON格式,仅在status为success时有值
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 execution_id String 错误码 最小长度:1 最大长度:64 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512
  • 响应示例 状态码: 200 ok { "functions" : [ { "func_urn" : "urn:fss:xxxxxxxxx:7aad83af3e8d42e99ac194e8419e2c9b:function:default:test", "func_name" : "bridge-test", "domain_id" : "cff01_hk", "namespace" : "7aad83af3e8d42e99ac194e8419e2c9b", "project_name" : "xxxxxxxx", "package" : "default", "runtime" : "Node.js6.10", "timeout" : 3, "handler" : "test.handler", "memory_size" : 128, "cpu" : 300, "code_type" : "inline", "code_filename" : "index.js", "code_size" : 272, "digest" : "decbce6939297b0b5ec6d1a23bf9c725870f5e69fc338a89a6a4029264688dc26338f56d08b6535de47f15ad538e22ca66613b9a46f807d50b687bb53fded1c6", "version" : "latest", "xrole" : "cff", "image_name" : "latest-191025153727@zehht", "last_modified" : "2019-10-25 15:37:27", "strategy_config" : { "concurrency" : 0 }, "initializer_handler" : "index.initializer", "initializer_timeout" : 3, "pre_stop_handler" : "index.pre_stop_handler", "pre_stop_timeout" : 3, "fail_count" : 12 } ] }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array of ListFunctionResult objects 函数列表。 表5 ListFunctionResult 参数 参数类型 描述 resource_id String 资源id。 func_urn String 函数的URN(Uniform Resource Name),唯一标识函数。 func_name String 函数名称。 domain_id String 域名id。 namespace String 租户的project id。 project_name String 租户的project name。 package String 函数所属的分组Package,用于用户针对函数的自定义分组。 runtime String FunctionGraph函数的执行环境 Python2.7: Python语言2.7版本。 Python3.6: Pyton语言3.6版本。 Python3.9: Python语言3.9版本。 Go1.8: Go语言1.8版本。 Go1.x: Go语言1.x版本。 Java8: Java语言8版本。 Java11: Java语言11版本。 Node.js6.10: Nodejs语言6.10版本。 Node.js8.10: Nodejs语言8.10版本。 Node.js10.16: Nodejs语言10.16版本。 Node.js12.13: Nodejs语言12.13版本。 Node.js14.18: Nodejs语言14.18版本。 C#(.NET Core 2.0): C#语言2.0版本。 C#(.NET Core 2.1): C#语言2.1版本。 C#(.NET Core 3.1): C#语言3.1版本。 Custom: 自定义运行时。 PHP7.3: Php语言7.3版本。 http: HTTP函数。 枚举值: Java8 Java11 Node.js6.10 Node.js8.10 Node.js10.16 Node.js12.13 Node.js14.18 Python2.7 Python3.6 Go1.8 Go1.x C#(.NET Core 2.0) C#(.NET Core 2.1) C#(.NET Core 3.1) Custom PHP7.3 Python3.9 http timeout Integer 函数执行超时时间,超时函数将被强行停止,范围3~900秒,可以通过白名单配置延长到12小时,具体可以咨询客服进行配置 handler String 函数执行入口 规则:xx.xx,必须包含“. ” 举例:对于node.js函数:myfunction.handler,则表示函数的文件名为myfunction.js,执行的入口函数名为handler。 memory_size Integer 函数消耗的内存。 单位M。 取值范围为:128、256、512、768、1024、1280、1536、1792、2048、2560、3072、3584、4096。 最小值为128,最大值为4096。 gpu_memory Integer 函数消耗的显存,只支持自定义运行时与 自定义镜像 函数配置GPU。 单位MB。 取值范围为:1024、2048、3072、4096、5120、6144、7168、8192、9216、10240、11264、12288、13312、14336、15360、16384。 最小值为1024,最大值为16384。 cpu Integer 函数占用的cpu资源。 单位为millicore(1 core=1000 millicores)。 取值与MemorySize成比例,默认是128M内存占0.1个核(100 millicores)。 code_type String 函数代码类型,取值有4种。 inline: UI在线编辑代码。 zip: 函数代码为zip包。 obs: 函数代码来源于obs存储。 jar: 函数代码为jar包,主要针对Java函数。 枚举值: inline zip obs jar code_url String 当CodeType为obs时,该值为函数代码包在OBS上的地址,CodeType为其他值时,该字段为空。 code_filename String 函数的文件名,当CodeType为jar/zip时必须提供该字段,inline和obs不需要提供。 code_size Long 函数大小,单位:字节。 user_data String 用户自定义的name/value信息。 在函数中使用的参数。 举例:如函数要访问某个主机,可以设置自定义参数:Host={host_ip},最多定义20个,总长度不超过4KB。 encrypted_user_data String 用户自定义的name/value信息,用于需要加密的配置。 digest String 函数代码SHA512 hash值,用于判断函数是否变化。 version String 函数版本号,由系统自动生成,规则:vYYYYMMDD-HHMMSS(v+年月日-时分秒)。 image_name String 函数版本的内部标识。 xrole String 函数使用的权限委托名称,需要 IAM 支持,并在IAM界面创建委托,当函数需要访问其他服务时,必须提供该字段。 app_xrole String 函数app使用的权限委托名称,需要IAM支持,并在IAM界面创建委托,当函数需要访问其他服务时,必须提供该字段。 description String 函数描述。 last_modified String 函数最后一次更新时间。 func_vpc_id String 用户的vpcid。 strategy_config StrategyConfig object 函数策略配置。 extend_config String 函数扩展配置。 initializer_handler String 函数初始化入口,规则:xx.xx,必须包含“. ”。 举例:对于node.js函数:myfunction.initializer,则表示函数的文件名为myfunction.js,初始化的入口函数名为initializer。 initializer_timeout Integer 初始化超时时间,超时函数将被强行停止,范围1~300秒。 pre_stop_handler String 函数预停止函数的入口,规则:xx.xx,必须包含“. ”。 举例:对于node.js函数:myfunction.pre_stop_handler,则表示函数的文件名为myfunction.js,初始化的入口函数名为pre_stop_handler。 pre_stop_timeout Integer 初始化超时时间,超时函数将被强行停止,范围1~90秒。 enterprise_project_id String 企业项目ID,在企业用户创建函数时必填。 long_time Boolean 是否允许进行长时间超时设置。 log_group_id String 自定义日志查询组id log_stream_id String 自定义日志查询流id type String v2表示为公测版本,v1为原来版本。 枚举值: v1 v2 fail_count Integer 函数最近1天内执行失败的次数。 is_bridge_function Boolean 是否为bridge函数 bind_bridge_funcUrns Array of strings 绑定bridge函数的urn列表 表6 StrategyConfig 参数 参数类型 描述 concurrency Integer 单函数最大实例数,v1取值0和-1,v2取值-1到1000 -1代表该函数实例数无限制 0代表该函数被禁用 concurrent_num Integer 单实例最大并发数,v2版本才支持,取值-1到1000 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误信息 状态码: 403 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误信息 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误信息 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误信息
  • URI GET /v2/{project_id}/fgs/functions/{function_urn}/servicebridge/relation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目 ID,获取方式请参见获取项目ID。 function_urn 是 String 函数的URN,详细解释见FunctionGraph函数模型的描述。 表2 Query参数 参数 是否必选 参数类型 描述 type 否 String servicebridge类型
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 v2x_edge_id String 参数说明:Edge ID,用于唯一标识一个Edge。 最小长度:0 最大长度:255 edge_app_id String 参数说明:用户自定义应用唯一ID。 最小长度:1 最大长度:32 app_version String 参数说明:应用版本,比如1.0.0。 最小长度:1 最大长度:64 status String 参数说明:应用部署状态。 取值范围: UNINSTALLED:待部署 INSTALLED:部署中 OFFLINE:离线 ONLINE:在线 UPGRADING:升级中 DELETING:删除中 RUNNING:运行中
共100000条