华为云计算 云知识 数据湖探索与其他云服务的关系

数据湖探索与其他云服务的关系

与对象存储服务的关系

对象存储服务(Object Storage Service,简称OBS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。

数据来源:DLI服务提供API,支持将OBS对应路径的数据导入到DLI。

存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。

备份数据:DLI提供导出API,支持将DLI的数据导出到OBS中备份。

存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。

与统一身份认证服务的关系

统一身份认证服务(Identity and Access Management,简称IAM)为DLI提供了华为云统一入口鉴权功能。

与云审计服务的关系

云审计服务(Cloud Trace Service,简称CTS)为DLI提供对应用户的操作审计。

与云监控服务的关系

云监控(Cloud Eye)为DLI提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。

与消息通知服务的关系

消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。

与云数据迁移服务的关系

云数据迁移服务(Cloud Data Migration,简称CDM)可以将OBS的数据迁移到DLI中。

与数据接入服务的关系

数据接入服务(Data Ingestion Service,简称DIS)通过通道将数据导入到DLI。

与表格存储服务的关系

表格存储服务(CloudTable Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。

与关系型数据库服务的关系

关系型数据库(Relational Database Service,简称RDS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。

与数据仓库服务的关系

数据仓库服务(Data Warehouse Service,简称DWS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DWS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DWS表中。

与云搜索服务的关系

云搜索服务(Cloud Search Service,简称CSS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CSS表中。

与分布式缓存服务的关系

分布式缓存服务(Distributed Cache Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。

与文档数据库服务的关系

文档数据库服务(Document Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。


上一篇:四大企业级直播场景应用 下一篇:云迁移方案设计

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

按需付费,CU单价 ¥0.35/小时

进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           
 

使用前说明||https://support.huaweicloud.com/sdkreference-dli/dli_04_0124.html,表相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0038.html,资源相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0053.html,队列相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0028.html,作业相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0042.html

https://www.huaweicloud.com/product/dli.html