数据管理与分析-数据发布CI/CD、任务运维:任务运维

时间:2024-04-24 11:34:42

任务运维

  1. 运维看板

    支持总览离线任务、实时任务的运行状态、运行时长,及调度引擎的运行情况,帮助数据开发工程师及时发现问题,解决问题,同时达到充分利用资源,快速优化任务的目的。

    图5 运维看板
  2. 离线任务运维

    离线运维支持运维工程师对生产环境上的流程进行运行管理,支持重跑、错误重试、停止、置成功、置失败、补数据、配置质量规则、查看日志等操作。流程发布到生产环境后,运维工程师可以在流程管理中运行流程,并支持版本回滚。

    图6 离线任务运维1

    每次启动流程,都会生成相应的流程运行实例。每个实例都可以查看到其对应流程版本的 DAG 及对应任务节点版本的代码、资源。

    图7 离线任务运维2

    生产环境与开发环境实行严格的权限隔离及资源隔离,不同环境的任务运行所依赖的计算资源、数据资源、源码资源均相互独立,不受另一方影响。

  3. 实时任务运维

    支持实时任务启动、停止、告警、查看日志等运维操作。支持通过保存点、检查点、业务时间等方式,来指定要读取的业务数据。

    图8 实时任务运维
support.huaweicloud.com/deepexidip-dma/deepexidip_41.html