数据湖探索 DLI-创建并提交SQL作业:使用SQL编辑器创建并提交SQL作业

时间:2025-02-25 19:29:02

使用SQL编辑器创建并提交SQL作业

  1. 登录 DLI 管理控制台,选择“SQL编辑器”页面。

    进入“SQL编辑器”页面后,系统会提示“创建DLI临时数据桶”,用于存储使用DLI服务产生的临时数据。在“设置DLI作业桶”对话框中,单击“去设置”。在现实页面上单击DLI作业桶卡片右上角单击编辑符号。在弹出的“设置DLI作业桶”对话框,输入作业桶路径,并单击“确定”。

  2. 在SQL作业编辑窗口右上方的依次选择执行SQL作业所需的队列、数据库等信息,详细参数说明请参考表1
    表1 配置SQL作业信息

    按键&下拉列

    描述

    执行引擎

    SQL作业支持Spark和HetuEngine两种引擎:

    • Spark引擎适用于离线分析。
    • HetuEngine引擎适用于交互式分析。

    队列

    下拉选择需要使用的队列。如果没有可用队列,此处显示“default”队列,default队列为体验使用,建议重新创建队列。具体队列创建可以参考创建弹性资源池并添加队列

    SQL作业只能在队列类型为“SQL队列”下执行。

    数据目录

    数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。

    您可以在DLI中创建并管理多个Catalog,用于不同的元数据隔离。

    数据库

    下拉选择需要使用的数据库。如果没有可用数据库,此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表

    说明:

    如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。

    设置

    包括设置“参数设置”和“标签”。

    参数设置:以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《 数据湖探索 SQL语法参考》。

    标签:以“key/value”的形式设置SQL作业的标签。

  3. 创建数据库和表。

    您可以参考在DLI控制台创建数据库和表提前创建数据库和表。例如本例创建表,表名为“qw”。

  4. 在SQL作业编辑窗口输入表“qw”的SQL查询语句:
    1
    SELECT * FROM qw.qw LIMIT 10;
    

    或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。

    DLI还为您提供了丰富的SQL模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板

  5. 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。
    1. 如果语法校验失败,请参考 数据湖 探索SQL语法参考》检查SQL语句准确性。
    2. 如果语法校验通过,单击“执行”,阅读并同意隐私协议,单击“确定”后执行SQL语句。

    SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。

  6. 查看作业执行结果。

    在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。

    当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。
    • 如果执行结果中无数值列,则无法进行图形化。
    • 图形类型包括柱状图、折线图、扇形图。
    • 柱状图和折线图的X轴可为任意一列,Y轴仅支持数值类型的列,扇形图对应图例和指标。
support.huaweicloud.com/usermanual-dli/dli_01_0320.html
提示

您即将访问非华为云网站,请注意账号财产安全