解决方案工作台-数据实施质量检查:DataArts Studio作业监控

时间:2025-06-13 19:20:01

DataArts Studio 作业监控

作业运行时长的影响因素包含计算资源的影响和处理数据的影响,因此,当作业运行时间波动很大时,表明计算资源或者表数据有问题。例如,临时表没有清理,表数据发散等等,到最后都会造成重大问题。本功能模块的作可以在这些bug产生较小的影响情况下发现并及时修改。

一般先查看作业的运行时间,如果时间有异常,再查看作业的哪些节点是否有异常。

  1. 作业监控规则配置,点击监控规则的【编辑】按钮进行编辑。
    图23
    • 作业运行时间波动范围:某个作业相对于历史平均运行时间的上下波动范围值。
    • 节点运行时间波动范围:作业的每个节点的相对于历史平均运行时间的上下波动范围值。
  2. 创建监控对象:选择对应的Region、 IAM 项目、DataArts studio实例、DataArts studio空间
    图24 创建监控对象
  3. 添加作业监控,点击对应监控对象的【添加作业监控】按钮,在弹窗中自定义作业监控名,选择job作业。
    图25 添加作业监控
  4. 查看检查结果,展开监控对象,找到要查看的作业对象,点击【查看】
    图26 查看检查结果
    • 平均运行时间:该作业历史30天内执行的平均时间(中间的虚线)。
    • 最大波动执行时间:根据波动范围所求的,相对与平均值最大波动时间(最上方的虚线)。
    • 最小波动执行时间: 根据波动范围所求的,相对与平均值最小波动时间(最下方的虚线)。

    在最大和最小波动时间内的作业,属于根据项目实际情况可接受的波动范围。超过波动则认为该作业有异常,需要通知相关人员进行定位。

    图27 DataArts Studio作业监控
support.huaweicloud.com/usermanual-haydncsf/haydncsf_04_0066.html