数据调度服务 DPS

数据调度服务(Data Pipeline Service)对公有云上数据流转和处理进行编排调度,轻松实现工作流自动化

包月计费,每月只需 85元 了解详情

可视化编排

支持可视化托拉拽方式免编程定义数据管道;支持导入导出模板;支持多种数据源和数据处理活动

灵活调度

支持时间周期调度,事件驱动调度,手工调度等多种调度方式;支持前置条件,后置Action,超时,重试等执行策略;自动运行数据管道

低成本

使用价格低;动态创建和释放计算和存储资源,节省客户总体费用

高可靠性

提供统一监控界面,实时获取数据状态;自动重试和恢复正常运行状态;发生异常自动告警并短信通知用户

应用场景

  • 构建复杂数据流

  • 灵活调度数据流

构建复杂数据流

构建复杂处理分析挖掘数据流

数据流包含多个步骤,需要拉通多个存储和计算分析云服务,例如数据迁移,批量处理,机器学习等

优势

  • 多种数据源支持

    支持OBS,MRS(HDFS和HBase),RDS等数据源;支持Discp,ExecuteHive等数据处理活动

  • 简单易用

    可视化托拉拽数据流编排

灵活调度数据流

多种方式灵活调度数据流

数据流周期性定时执行,例如每小时执行,每天执行,每周执行等

优势

  • 多种调度方式

    支持定时、时间触发、手工等多种调度方式

  • 多种执行策略

    支持前置条件、后置Action、超时、重试等多种执行策略

功能描述

数据流编排

可视化编排,支持多种数据源和处理活动,满足复杂数据处理场景

  • 支持多种数据源:OBS,MRS(HDFS和HBase),RDS,DWS等数据源

  • 支持多种数据处理活动:Discp,ExecuteHive,ExecuteMR,ExecuteQuery,ExecuteSpark,ExecuteSparkSQL,InvokeSqoop,LoadHBase,ExecuteScript等数据处理活动

  • 支持可视化托拉拽方式编辑数据流

  • 支持使用模板和配置文件创建数据流

数据流调度

支持多种调度方式和执行策略,灵活调度

  • 支持时间周期调度,事件驱动调度和手工调度方式

  • 支持前置条件,后置Action,超时,重试等执行策略

  • 系统基于配置的调度方式和执行策略自动执行数据流

资源管理

动态资源管理,提高资源使用率,降低使用成本

  • 支持OBS和MRS资源管理

  • 支持定时创建和释放资源

  • 支持根据Pipeline对资源的引用情况,自动创建和释放资源

系统运维

全托管运维,实时掌握数据流状态,保证高可靠

  • 支持查看任务的执行状况以及执行过程中每个步骤的统计信息

  • 支持设置告警条件,当满足条件时自动告警

立即注册华为云