数据湖探索 DLI-概述:DLI 作业类型

时间:2024-05-11 08:28:51

DLI 作业类型

DLI 提供了三种作业类型:

  • SQL作业:SQL作业为用户提供标准的SQL,兼容Spark SQL、Presto SQL(基于Presto),通过可视化界面API、JDBC、ODBC、Beeline等多种接入方式对云上异构数据源进行查询分析,兼容CSV、JSON、Parquet、Carbon、ORC等主流数据格式。
  • Flink作业:Flink作业是运行在公有云上的实时流式大数据分析服务作业,全托管的方式用户无需感知计算集群,只需聚焦于Stream SQL业务,即时执行作业,完全兼容Apache Flink API。
  • Spark作业:Spark作业可为用户提供全托管式的Spark计算服务。用户可通过可视化界面和RESTful API提交作业,支持提交Spark Core、DataSet、Streaming、MLlib、GraphX等Spark全栈作业。
support.huaweicloud.com/usermanual-dli/dli_01_0567.html