华为云计算 云知识 Data Formula 敏捷型数据中台-产品介绍

Data Formula 敏捷型数据中台-产品介绍

Data Formula 敏捷型数据中台
适用于:Windows/Linux/Unix
商品简介:Data Formula 是一款企业数据中台产品,根据企业特有的业务架构,构建起一套统一的、标签化的、API化的,并可持续更新的数据资产管理平台。
商品亮点:标准化产品,面向单独的业务场景,决策流程短、实施时间短
Data Formula 敏捷型数据中台
商品说明
版本: V2.9 交付方式: License
适用于: Windows/Linux/Unix 上架日期: 2020-09-17 10:32:58.0

Data Formula版本服务及功能:

基础版:任务调度、数据模型、数据集、数据抽取5个、数据源、流程加工、API共享、用户管理、API服务审核;

企业版:资产总览、数据质量、任务调度、数据模型、数据集、数据抽取14个、数据推送、数据源、流程加工、API共享、数据库共享、用户管理、角色管理、团队管理、功能权限管理、资产权限管理、API服务审核、操作日志;

集群版:资产总览、数据质量、任务调度、数据模型、数据集、数据抽取16个、数据推送、数据源、流程加工、API共享、数据库共享、用户管理、角色管理、团队管理、功能权限管理、资产权限管理、API服务审核、操作日志、数据存储计算引擎集群;

高级版:资产总览、数据质量、任务调度、数据图谱、管理元数据标签、数据模型、数据集、算法、数据抽取16个、数据推送、数据源、流程加工、标签管理、API共享、数据库共享、客户分群、用户管理、角色管理、团队管理、功能权限管理、资产权限管理、API服务审核、操作日志、数据存储计算引擎集群。

详见下方文字:

一、数据源支持
Data Formula支持多种数据源类型,包括离线数据文件、各种主流关系型数据库,NoSQL数据库,多维数据库以及第三方系统API接口。具体支持如下:
(1)离线文件:Excel,CSV格式文件;
(2)关系型数据库: My SQL,Oracle,SQL Server,Sybase,Postagre SQL,Greenplum,Vertica等
(3)NoSQL数据库: MongoDB,CouchDB等;
(4)多维数据库及其他: Kylin,SAP BW / HANA,Hive等;
(5)第三方API接口:指各类业务系统实现的用于数据传输的API接口,该数据对接方式支持定制开发。
Data Formula支持对上述数据源类型进行数据抽取,用户可以进行一次性导入操作,也可以通过定时任务的方式进行定时批量数据导入处理,用户可以自定义任务的时间,频率,以及导入的具体条件。

二、数据模型管理
Data Formula从业务数据应用场景出发,采用业务域的方式,对数据模型进行管理,用户可以直观的通过业务模型视角,观察数据集之间的关系。也可以对数据模型进行增删改查操作,或者进行复制,修改等操作。

通过基于数据模型的管理方式,可以确保在数据中台内,数据的业务一致性和完整性,该管理方式是Data Formula数据管理方法论中的核心理念。
数据模型管理功能中也包含了主数据,以及数据标准的具体实践。每一个业务域,都可以定制自己的主数据,以及对应的数据标准。这样也便于业务快速的使用数据,避免了不同业务线对数据不同要求之间的冲突。

三、数据集管理
Data Formula数据资产管理功能中,可以通过数据模型定位到数据集,也可以通过数据目录定位到数据集。针对每一个数据集(归属于模型或离散的),用户都可以查看浏览该数据集的基本信息,血缘关系,以及对应的数据质量。用户也可以针对该数据集进行进一步的后续操作,进行数据转换加工,纳入某一特定业务模型或将此数据集共享至数据服务。
Data Formula中的数据血缘关系,通过数据集与数据集之间的转换关系进行描述,每一个数据变迁过程,都可以追溯到具体的字段以及变化内容。
Data Formula中的数据质量管理,不在作为一个独立的模块,而是作为数据集转换加工的依据,以及数据模型质量的基础。用户可以通过数据加工处理,进行数据质量的优化,以便快速达到业务需求。

四、任务调度管理
作为数据处理的核心体系之一,批量式数据处理是企业中最常见的业务场景。Data Formula中针对这种数据处理方式,提供了统一的任务调度管理功能,在该模块中,可以看到数据中台内部所有批量数据处理的任务,包括这些任务的状态,执行历史等信息。用户也可以对这些任务进行操作,包括修改,执行,暂停或者取消等。

五、流式数据处理
数据处理核心体系的另一个数据处理方式为流式数据处理。Data Formula可以对接以MQTT为代表的IOT数据消息队列,也可以对接Kafka,处理流式业务数据。
所有的流式数据,可以进行实时计算,并将结果汇入Data Formula统一数据引擎,还可以同时存入InfluxDB这类的时序数据库,也可以直接通过Data API,透传至用户侧的数据应用。
通过这种流式数据棱镜式的处理方式,可以将流式数据的管理和传统企业侧数据管理模式统一起来。

六、数据加工处理
Data Formula的数据加工处理功能,完全可以替代传统的数据ETL过程。数据中台理念中,通过数据的先期导入存储,后续根据业务要求,灵活加工,将传统ETL过程转化成了ELT过程,保证了数据业务的灵活性,快速的满足业务需求。
数据Transform的过程中,Data Formula提供了很多数据转换子操作,用户可以灵活的根据业务需要进行组合,从而形成一个功能强大且完整的数据处理流程。在快速满足业务需求的同时,轻松替换传统ETL。

七、数据算法管理
Data Formula针对数据加工处理,还提供了基于算法的增强能力。在某些行业中,可以使用标签算法,进行业务数据标签化,通过标签算法生成的业务标签数据集和业务数据集关联,可以形成基于标签的新业务模型。从而为业务系统进行对应的标签数据支撑。
Data Formula算法(AI)模块还支持用户自定义算法,目前支持的算法脚本语言为Python,用户可以将自定义的Python算法引入Data Formula,对数据进行加工处理,也可以使用Data Formula中的数据对机器学习(AI)算法进行训练优化。

八、 数据服务管理
数据服务能力是数据中台区别于数据仓库的核心区别之一。传统数据仓库通过用户名/密码的方式,对外输出数据,这种方式存在较大的安全隐患和性能隐患。在Data Formula数据中台设计理念中,使用数据服务API的方式,对外提供数据服务。API的方式,可以较为灵活的对数据权限进行控制,也可以对访问的压力进行缓冲,从而缓解性能瓶颈。
Data Formula产品中,用户可以通过配置的方式,快速生成一个数据服务API,无须进行任何代码的编写。数据服务API采用标准的Restful形式,数据使用标准的JSON / XML,方便业务系统进行对接。

九、用户权限管理
Data Formula采用标准的用户角色权限管理模式。所有的功能,数据都可以根据角色/权限进行分配调整。
在大部分实际业务场景中,用户权限角色体系,需要和企业的用户管理,权限管理体系打通,Data Formula在设计的时候就考虑到了这样的实施场景,可以方便的进行对接。
用户角色权限体系即可以深度对接,所有的权限管理,均在第三方系统内完成,也可以只进行用户认证体系对接,权限控制依然在中台体系内。具体的对接方式,可以根据业务场景灵活选择。
具体用户权限体系对接,可以咨询DataHunter售前工程师。

十、日志审计管理
作为数据中台,企业的数据心脏,用户的操作日志记录审计也是必不可少的功能。Data Formula能够将系统内所有的用户操作行为进行记录,包括数据导入,数据转换,数据共享等各个环节。
系统操作审计日志具备防篡改能力,可以随时进行查询浏览,保证了企业数据安全。

十一、数据存储计算引擎

集群,底层服务可进行水平扩展,增强性能。

查看详情

云市场免费试用中心

50+款产品限时免费试用
免费体验
Data Formula 敏捷型数据中台

意见反馈

0/200

提交 取消

反馈提交失败!请稍后重试!
云服务器0元领取 | 免费试用云产品
相关推荐