数据治理中心服务解决方案

数据治理中心服务解决方案

数据治理中心DataArts Studio提供具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台，包含数据集成、数据开发、数据架构、数据质量、数据资产管理、数据服务、数据安全等功能。

数据治理中心DataArts Studio提供具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台，包含数据集成、数据开发、数据架构、数据质量、数据资产管理、数据服务、数据安全等功能。

帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，加快数据变现，实现数字化转型。

数据治理中心产品功能

使用功能

一站式数据运营平台

贯穿数据全流程的一站式治理运营平台，帮助企业构建完整的数据中台解决方案。

丰富的数据开发类型

支持多人在线协作开发，提供丰富的调度配置策略与海量的作业调度能力。

统一调度和运维

全面托管的调度，支持多种调度周期。

数据管理
支持可视化和DDL方式管理数据库表，支持管理DWS、DLI、MRS Hive等多种数据仓库。
作业开发
支持CDM、MRS、Spark等多种数据处理节点，通过任务间依赖完成复杂数据分析处理。
脚本开发
提供在线脚本编辑器，支持多人协作进行SQL、Python、Shell脚本在线代码开发和调测。支持导入和导出脚本。
资源管理
支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
作业调度
持单次调度、周期调度和事件驱动调度，周期调度支持多种调度周期。 作业调度支持多种云服务的多种类型的任务混合编排。
运维管理
支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。
配置管理
支持作业空间级的配置管理，例如环境变量、调度身份、参数模板等配置。

管理功能

数据集成

多种方式异构数据源高效接入，支持用户稳定高效地对海量数据进行移动。

数据架构

数据建模可视化、自动化、智能化。通过统一指标平台建设实现规范化指标体系。

数据服务

提升访问查询检索效率。为您提供快速将数据表生成数据API的能力。

表/文件/整库迁移
支持批量迁移表或者文件，同构/异构数据库之间整库迁移
文件校验一致性
检查端到端文件的一致性，并输出校验结果。
数据标准
构建统一的数据标准体系，数据标准流程化。用户可基于行业标准，对数据取值进行标准化，从而提升数据质量和易用性。
权限管理
设置不同的访问权限，以达到不同员工之间的权限隔离，进行精细的权限管理。
数据建模
构建统一的数据模型体系，通过规范定义和数据建模，自顶向下构建企业数据分层体系，便于数据的流通、共享，提升数据使用效率。
文件加密
在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。
提升访问查询检索效率
为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。

作业开发流程

开发作业前，您可以通过下图了解数据开发模块作业开发的基本流程。

新建作业

新建一个作业

开发作业

对新建的作业进行开发和配置

调度作业

对已编排好的作业设置调度方式

提交版本

提交当前的作业为最新版本

管理作业

对作业进行修改、删除、导出、配置等

作业开发流程图
快速开发一个作业

  • 开发一个Pipeline作业

    对已新建的Pipeline作业进行开发和配置。Pipeline模式作业包含批处理作业和实时处理作业（包含多种不同类型的节点算子）。

    了解详情

  • 开发一个单任务作业

    对已新建的单任务作业进行开发和配置。单任务作业包含批处理作业（各种SQL脚本和Data Migration）和实时处理作业（DLI Spark、Flink SQL、Flink JAR）。

    了解详情

查看更多
快速开发一个作业

  • 开发一个Pipeline作业

    对已新建的Pipeline作业进行开发和配置。Pipeline模式作业包含批处理作业和实时处理作业（包含多种不同类型的节点算子）。

  • 开发一个单任务作业

    对已新建的单任务作业进行开发和配置。单任务作业包含批处理作业（各种SQL脚本和Data Migration）和实时处理作业（DLI Spark、Flink SQL、Flink JAR）。

数据治理中心数据开发使用指导

  • 作业调度支持每月最后一天*HOT*

    在配置作业配置调度时，可以选择每个月的最后一天执行。

    在配置作业配置调度时，可以选择每个月的最后一天执行。

    文档链接

  • 补数据场景使用介绍*TOP*

    补数据特性帮助用户补充以前时间段内的历史业务数据。

    补数据特性帮助用户补充以前时间段内的历史业务数据。

    文档链接

  • 生成元数据

    通过创建数据表去定义元数据的属性、类型等。通过关联数据表会自动生成元数据。

    通过创建数据表去定义元数据的属性、类型等。通过关联数据表会自动生成元数据。

    文档链接

  • 获取SQL节点的输出结果值*HOT*

    获取SQL节点的输出结果值，并将结果应用于后续作业节点或进行判断。

    获取SQL节点的输出结果值，并将结果应用于后续作业节点或进行判断。

    文档链接

  • IF条件判断教程

    在进行作业编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。

    在进行作业编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。

    文档链接

  • For Each节点使用介绍

    开发作业时，任务的参数有差异但处理逻辑一致，通过For Each节点避免重复开发作业。

    开发作业时，任务的参数有差异但处理逻辑一致，通过For Each节点避免重复开发作业。

    文档链接

  • 获取Rest Client节点返回值教程

    本教程详细介绍如何获取Rest Client的返回值。

    本教程介绍如何获取Rest Client的返回值。

    文档链接

  • 开发一个Python脚本

    本教程介绍如何在数据开发模块上开发并执行Python脚本示例。

    本教程介绍如何在数据开发模块上开发并执行Python脚本示例。

    文档链接

  • 开发一个Hive SQL作业

    本教程介绍如何在数据开发模块上进行Hive SQL开发。

    本教程介绍如何在数据开发模块上进行Hive SQL开发。

    文档链接

  • 开发一个DWS SQL作业

    本教程介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。

    本教程介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。

    文档链接

  • 开发一个DLI Spark作业

    本教程通过一个例子演示如何在数据开发模块中提交一个Spark作业。

    本教程通过一个例子演示如何在数据开发模块中提交一个Spark作业。

    文档链接

  • 开发一个MRS Flink作业

    本教程介绍如何在数据开发模块上进行MRS Flink作业开发。通过MRS Flink作业实现统计单词的个数。

    本教程介绍如何在数据开发模块上进行MRS Flink作业开发。通过MRS Flink作业实现统计单词的个数。

    文档链接

  • 开发一个MRS Spark Python作业

    本教程介绍如何在数据开发模块上进行MRS Spark Python作业开发。

    本教程介绍如何在数据开发模块上进行MRS Spark Python作业开发。

    文档链接

  • Env内嵌对象

    Env内嵌对象提供了获取环境变量值的方法以及应用举例。

    Env内嵌对象提供了获取环境变量值的方法以及应用举例。

    文档链接

  • Job内嵌对象

    提供获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。

    提供获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。

    文档链接

  • StringUtil内嵌对象

    StringUtil内嵌对象提供一系列字符串操作方法，例如从一个字符串中截取一个子字符串。

    StringUtil内嵌对象提供一系列字符串操作方法，例如从一个字符串中截取一个子字符串。

    文档链接

  • DateUtil内嵌对象

    DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。

    DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。

    文档链接

  • JSONUtil内嵌对象

    JSONUtil内嵌对象提供了JSON对象方法和应用举例。

    JSONUtil内嵌对象提供了JSON对象方法和应用举例。

    文档链接

  • Loop内嵌对象

    使用Loop内嵌对象可获取For Each节点数据集中的数据。

    使用Loop内嵌对象可获取For Each节点数据集中的数据。

    文档链接

  • OBSUtil内嵌对象

    OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。

    OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。

    文档链接

  • 常用的EL表达式

    该指导总体介绍数据开发中常用的EL表达式以及应用示例。

    该指导总体介绍数据开发中常用的EL表达式以及应用示例。

    文档链接

  • 简易变量集

    简易变量集提供一系列自定义变量，自定义参数会根据任务调度的业务日期、计划时间等自动替换为具体的值，实现动态替换。

    提供一系列自定义变量，自定义参数会根据任务调度的业务日期、计划时间等自动替换为具体的值，实现动态替换。

    文档链接

  • 表达式使用示例

    在数据开发中EL表达式的灵活应用（如何在脚本中使用变量、作业传递参数给SQL脚本变量、参数中如何使用EL表达式）。

    通过本示例，用户可以了解数据开发模块EL表达式的使用方法。

    文档链接

  • 配置环境变量

    配置作业参数时，当某参数隶属于多个作业，可将此参数提取出来作为环境变量，环境变量支持导入和导出。

    配置作业参数时，当某参数隶属于多个作业，可将此参数提取出来作为环境变量，环境变量支持导入和导出。

    文档链接

  • 配置调度身份

    配置作业调度身份后，作业执行过程中，以配置的调度身份与其他服务交互。调度身份分为委托和IAM账户两大类。

    配置作业调度身份后，作业执行过程中，以配置的调度身份与其他服务交互。调度身份分为委托和IAM账户两大类。

    文档链接

  • 配置节点并发数

    设置一个作业空间同一时间允许正在运行的作业的最大并发数。用户根据实际业务需要配置节点的最大并发数。

    设置一个作业空间同一时间允许正在运行的作业的最大并发数。用户根据实际业务需要配置节点的最大并发数。

    文档链接

  • 配置默认项

    主要介绍默认项的配置。当前只有DAYU Administrator或Tenant Administrator权限的用户才有默认配置项的相关操作权限。

    主要介绍默认项的配置。当前只有DAYU Administrator或Tenant Administrator权限的用户才有默认配置项的相关操作权限。

    文档链接

更多帮助文档

DataArts Studio数据治理方法论

数据治理方法论是数据管理方法论的精华总结

常见问题

数据治理中心的常见问题

更多参考

数据治理中心更多了解

推荐文档