检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
val sparkSession = SparkSession.builder().getOrCreate() val sc = sparkSession.sparkContext sc.addFile("krb5.conf的obs地址") sc.addFile
sparkSession.sql("insert into test_dds values('3', 'Ann',23)") 查询数据 1 sparkSession.sql("select * from test_dds").show() 提交Spark作业 将写好的python代码文件上传至OBS
insert into dli_to_rds values (1,'John',24)"); 查询数据 1 sparkSession.sql("select * from dli_to_rd").show(); 插入数据后： 提交Spark作业 将写好的代码生成jar包，上传至OBS
`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： Schema演进语法说明
勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“SMN主题”。
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“SMN主题”。
DLI:*:*:jobs:jobs.flink.1 DLI服务，任意region，任意账号ID下，作业Id为1的flink作业。
时间格式需要为yyyy-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。
根据用户凭据生成相应的truststore.jks文件，并将用户凭据以及truststore.jks文件传入OBS中。
The options are as follows: jar: JAR file Pyfile: User Python file file: User file modelfile: User AI model file paths: OBS path of the resource
You can directly call the API functions offered by DLI SDKs to submit both DLI SQL and DLI Spark jobs.
sparkSession.sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks
注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
mode(SaveMode.Overwrite).save(); 读取redis中数据 1 sqlContext.read().format("redis").options(map).load().show(); 操作结果 提交Spark作业 将写好的java代码文件上传至OBS
database) .option("collection", collection) .option("user", user) .option("password", password) .load() 操作结果 提交Spark作业 将写好的代码生成jar包，上传至OBS
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
Describe Schema ------------------------------------------------------------------------- web obs
表1 支持类别 类别 详情 支持表类型 结果表 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink
