华为云计算 云知识 dli相关问题
dli相关问题

数据湖探索 (Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。

DLI服务适用于海量 日志分析 、异构数据源联邦分析、大数据ETL处理。

DLI支持如下数据格式:

Parquet

CSV

ORC

Json

Carbon

Carbondata(只支持DLI表)

Avro

DLI服务的数据可存储在如下地方:

OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。

DLI:DLI内部使用的是列存的Parquet格式,即数据以Parquet格式存储。存储成本较高。

跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。

不上传数据到OBS,如何使用DLI?当前DLI只支持对云上数据分析,数据还是要传到云上;但是用户可以折中处理:将待分析的数据脱敏后上传到OBS临时存放,分析完之后将结果导出使用,同时将OBS临时存放数据删除;该方法主要适用于定期(如每天)对增量数据一次性分析统计,然后利用分析结果支撑业务的场景;对频繁需要分析的数据,还是建议将数据上传到云上。

如何获取用户支持?为了更好的帮助和服务用户,我们提供多种方式的用户支持,详见联系我们页面。

什么是区域、可用区?

我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。

区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、 对象存储 、VPC网络、 弹性公网IP 镜像 等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。

可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。

dli相关问题


上一篇:标签 下一篇:什么是AI严选馆

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询