华为云计算 云知识 dli入门指南

dli入门指南

数据湖探索(Data Lake Insight,简称DLI)是基于Apache Spark生态,完全托管的大数据处理分析服务。企业使用标准SQL或Spark程序就能轻松完成异构数据源的联邦分析,挖掘和探索数据价值。

Step1登录管理控制台

步骤

①登录华为云。根据页面提示,登录系统。

②选择“EI企业智能>数据湖探索”。

③单击“进入控制台”,进入数据湖探索控制台。

说明

注册华为云账号操作请参考:准备工作。

dli入门指南1

Step2选择队列

步骤

①在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。

②在SQL编辑器页面,选择默认的队列“default”。

说明

该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大小或没有可创建队列空间的情况下,可以使用该队列执行作业。如果需要创建队列,可单击“了解详细步骤”了解创建队列相关操作。

dli入门指南2

Step3创建数据库

步骤

①在SQL语句编辑区域中,输入SQL语句创建数据库。

例如,创建名称为DB1的数据库:

CREATE DATABASE DB1

②单击“更多”中的“语义校验”,校验成功后,再单击“执行”。在SQL语句编辑区域的下方,显示执行结果。

dli入门指南3

Step4创建表

步骤

①在“数据库”下拉框中,选择新创建的数据库db1。

②在SQL语句编辑区域中,输入SQL语句创建数据表。例如,创建名称为Table1的数据表,数据文件在OBS上的路径为“obs://dli/dli/data.csv”。

create table table1(id int,name string)using csv options(path'obs://dli/dli/data.csv')

说明:所使用的数据需先上传至OBS中。假设所使用的数据为如下所示:

id name

1 Michael

2 Andy

3 Justin

③语义校验成功后,单击“执行”。在SQL语句编辑区域的下方,显示执行结果。

dli入门指南4

Step5执行SQL查询语句

步骤

①在SQL语句编辑区域中,输入查询语句对数据进行分析。

例如:查询DB1数据库的Table1数据表中的1000条数据。

SELECT*FROM db1.table1 LIMIT 1000

②语义校验成功后,单击“执行”。在SQL语句编辑区域的下方,显示执行结果。

dli入门指南5


上一篇:IAM中的控制台 下一篇:媒体处理应用场景

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

按需付费,CU单价 ¥0.35/小时

进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           
 

使用前说明||https://support.huaweicloud.com/sdkreference-dli/dli_04_0124.html,表相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0038.html,资源相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0053.html,队列相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0028.html,作业相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0042.html

https://www.huaweicloud.com/product/dli.html