数据管理与分析-数据发布CI/CD、任务运维:任务运维
任务运维
- 运维看板
支持总览离线任务、实时任务的运行状态、运行时长,及调度引擎的运行情况,帮助数据开发工程师及时发现问题,解决问题,同时达到充分利用资源,快速优化任务的目的。
图5 运维看板
- 离线任务运维
离线运维支持运维工程师对生产环境上的流程进行运行管理,支持重跑、错误重试、停止、置成功、置失败、补数据、配置质量规则、查看日志等操作。流程发布到生产环境后,运维工程师可以在流程管理中运行流程,并支持版本回滚。
图6 离线任务运维1
每次启动流程,都会生成相应的流程运行实例。每个实例都可以查看到其对应流程版本的 DAG 及对应任务节点版本的代码、资源。
图7 离线任务运维2
生产环境与开发环境实行严格的权限隔离及资源隔离,不同环境的任务运行所依赖的计算资源、数据资源、源码资源均相互独立,不受另一方影响。
- 实时任务运维
支持实时任务启动、停止、告警、查看日志等运维操作。支持通过保存点、检查点、业务时间等方式,来指定要读取的业务数据。
图8 实时任务运维