获取超参敏感度分析结果 - ShowAutoSearchParamsAnalysis - 魔坊(ModelArts)模型训推平台
获取超参敏感度分析结果 - ShowAutoSearchParamsAnalysis 功能介绍 获取超参敏感度分析结果接口用于查询指定超参搜索任务的超参数敏感度分析结果。
人工标注视频数据 - 魔坊(ModelArts)模型训推平台
人工标注视频数据 由于模型训练过程需要大量有标签的视频数据,因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签,快速完成对视频的标注操作,也可以对已标注视频修改或删除标签进行重新标注。 视频标注仅针对视频帧进行标注。
获取某个超参敏感度分析图像的路径 - ShowAutoSearchParamAnalysisResultPath - 魔坊(ModelArts)模型训推平台
获取某个超参敏感度分析图像的路径 - ShowAutoSearchParamAnalysisResultPath 功能介绍 获取某个超参敏感度分析图像的路径接口用于获取超参数敏感度分析结果的图像路径。
分析ModelArts数据集中的数据特征 - 魔坊(ModelArts)模型训推平台
查看分析任务的历史记录。 在数据特征分析后,您可以在“数据特征”页签下,单击右侧“任务历史”,可在弹出对话框中查看历史分析任务及其状态。 支持分析指标及其说明 表1 分析指标列表 名称 说明 分析说明 分辨率 Resolution 图像分辨率。此处使用面积值作为统计值。
使用Msprobe工具分析偏差 - 魔坊(ModelArts)模型训推平台
使用Msprobe工具分析偏差 观察上一章Loss趋势,在首个Step有较小偏差,所以对第一个Step进行比对分析。此处使用Msprobe的整网Dump和比对分析功能。 执行以下命令,安装社区Msprobe工具。
msprobe精度分析工具使用指导 - 魔坊(ModelArts)模型训推平台
之所以要有这个机制,是为了在Debug过程中,让所有的算子计算结果前后完全一致可复现,这是大多数精度问题分析的重要前提。因此,在精度问题定位过程中,确定性计算不是目的,而是手段。很多场景下需要在确定性计算使能的情况下,进行下一步的精度问题分析定位。
训练日志失败分析 - 模型训练高可靠性 - 魔坊(ModelArts)模型训推平台
图1 训练故障识别 ModelArts会对部分常见训练错误给出分析建议,目前还不能识别所有错误,提供的失败可能原因仅供参考。针对分布式作业,只会显示当前节点的一个分析结果,作业的失败需要综合各个节点的失败原因做一个综合判断。
训练日志失败分析 - 模型训练高可靠性 - 魔坊(ModelArts)模型训推平台
图1 训练故障识别 ModelArts会对部分常见训练错误给出分析建议,目前还不能识别所有错误,提供的失败可能原因仅供参考。针对分布式作业,只会显示当前节点的一个分析结果,作业的失败需要综合各个节点的失败原因做一个综合判断。
advisor异常值分析 - 魔坊(ModelArts)模型训推平台
advisor异常值分析 msprobe advisor异常值分析功能可快速定位训练过程中出现的异常值(例如NaN、Infinity等),通过分析msprobe dump的统计量数据,结合通信建模和联立分析,能够自动定位问题发生的初始位置。
预置数据精炼算子 - 魔坊(ModelArts)模型训推平台
只能对视频的观感信息(场景、外观、行为)进行描述,无法理解视频深度内容(如新闻理解、内容解读、知名人物识别等),无法处理音频。 参数配置样例: 无需参数配置。
资产识别与管理 - 魔坊(ModelArts)模型训推平台
资产识别与管理 资产识别 用户在AI Gallery中的资产包括用户发布的AI资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。
使用Advisor工具分析生成调优建议 - 魔坊(ModelArts)模型训推平台
使用Advisor工具分析生成调优建议 关于Advisor使用及安装过程请参见昇腾社区Gitee。最后生成导出的各类场景的建议包含以下两种: Terminal日志信息的概览建议。 包含Detail信息及修改示例的HTML信息。
查询处理任务列表 - 魔坊(ModelArts)模型训推平台
查询处理任务列表 功能介绍 查询处理任务列表,包括“特征分析”任务和“数据处理”两大类任务。可通过指定“task_type”参数来单独查询某类任务的列表。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。
性能可视化 - 魔坊(ModelArts)模型训推平台
性能可视化 对于高阶的调优用户,可以使用可视化工具MindStudio Insight查看profiling数据详情并分析可优化点,其提供了丰富的调优分析手段,可视化呈现真实软硬件运行数据,多维度分析性能瓶颈点,支持百卡、千卡及以上规模的可视化集群性能分析,助力开发者天级完成性能调优
创建处理任务 - 魔坊(ModelArts)模型训推平台
创建处理任务 功能介绍 创建处理任务,支持创建“特征分析”任务和“数据处理”两大类任务。可通过指定请求体中的复合参数“template”的“id”字段来创建某类任务。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。
精度校验 - 魔坊(ModelArts)模型训推平台
它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析(性能),还可以通过指定模型输出进行可对比的误差分析(精度)。
查看诊断报告 - 魔坊(ModelArts)模型训推平台
图18 SyncBatchNorm分析 memory 内存维度当前识别的问题较为简单,通常是NPU HBM占用过大或者存在内存碎片导致自动触发昇腾内存释放/重整算子(Memory Operator Issues),进而影响了训练性能。
ModelArts - 魔坊(ModelArts)模型训推平台
ModelArts ModelArts CodeLab 04:02 ModelArts CodeLab介绍 Jupyterlab 03:32 Jupyterlab简介 VS Code Toolkit 03:32 VS Code Toolkit功能介绍 AI开发流程 02:33 AI开发流程科普视频
wget不识别no_proxy通配符,怎么办? - 魔坊(ModelArts)模型训推平台
wget不识别no_proxy通配符,怎么办? 问题现象 在wget 1.20以下版本中,no_proxy环境变量配置的通配符(如*.obs.com)不生效,导致下载请求仍然通过代理服务器。 no_proxy:环境变量,用于指定无需通过代理服务器访问的域名列表。
报错“Permissions for 'x:/xxx.pem' are too open”如何解决? - 魔坊(ModelArts)模型训推平台
问题现象 原因分析 原因分析一:密钥文件未放在指定路径,详情请参考安全限制或VS Code文档。请参考解决方法一处理。 原因分析二:当操作系统为macOS/Linux时,可能是密钥文件或放置密钥的文件夹权限问题,请参考解决方法二处理。

