数据湖探索 DLI-创建并提交SQL作业:使用SQL编辑器创建并提交SQL作业
使用SQL编辑器创建并提交SQL作业
- 登录 DLI 管理控制台,选择“SQL编辑器”页面。
进入“SQL编辑器”页面后,系统会提示“创建DLI临时数据桶”,用于存储使用DLI服务产生的临时数据。在“设置DLI作业桶”对话框中,单击“去设置”。在现实页面上单击DLI作业桶卡片右上角单击编辑符号。在弹出的“设置DLI作业桶”对话框,输入作业桶路径,并单击“确定”。
- 在SQL作业编辑窗口右上方的依次选择执行SQL作业所需的队列、数据库等信息,详细参数说明请参考表1。
表1 配置SQL作业信息 按键&下拉列
描述
执行引擎
SQL作业支持Spark和HetuEngine两种引擎:
- Spark引擎适用于离线分析。
- HetuEngine引擎适用于交互式分析。
队列
下拉选择需要使用的队列。如果没有可用队列,此处显示“default”队列,default队列为体验使用,建议重新创建队列。具体队列创建可以参考创建弹性资源池并添加队列。
SQL作业只能在队列类型为“SQL队列”下执行。
数据目录
数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。
您可以在DLI中创建并管理多个Catalog,用于不同的元数据隔离。
数据库
下拉选择需要使用的数据库。如果没有可用数据库,此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表。
说明:如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。
设置
包括设置“参数设置”和“标签”。
参数设置:以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《 数据湖探索 SQL语法参考》。
标签:以“key/value”的形式设置SQL作业的标签。
- 创建数据库和表。
您可以参考在DLI控制台创建数据库和表提前创建数据库和表。例如本例创建表,表名为“qw”。
- 在SQL作业编辑窗口输入表“qw”的SQL查询语句:
1
SELECT * FROM qw.qw LIMIT 10;
或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。
DLI还为您提供了丰富的SQL模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板。
- 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。
SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。
- 查看作业执行结果。
在查看结果页签,单击
以图形形式呈现查询结果。再单击
切换回表格形式。
当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。
- 如果执行结果中无数值列,则无法进行图形化。
- 图形类型包括柱状图、折线图、扇形图。
- 柱状图和折线图的X轴可为任意一列,Y轴仅支持数值类型的列,扇形图对应图例和指标。