检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置该参数,可以在作业异常情况下,向用户指定邮箱或者手机发送消息通知,方便客户及时感知异常。
果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置该参数,可以在作业异常情况下,向用户指定邮箱或者手机发送消息通知,方便客户及时感知异常。
SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name.]function_name AS class_name [USING resource,...] resource: : JAR file_uri 或 1 2 3 4 5 CREATE
默认值为“basic”。 tags 否 Array of Objects 参数解释: 队列的标签,使用标签标识云资源。包括“标签键”和“标签值”,具体请参考表3。 约束限制: 无 取值范围: 无 默认取值: 无 elastic_resource_pool_name 否 String 参数解释: 新建队列所属的弹性资源池名称。
Append模式:Flink 会将所有记录解释为INSERT消息,如果底层数据库发生主键或唯一约束违规,INSERT操作可能会失败。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table jdbcSink ( attr_name attr_type
主键名数组。对应于Canal记录中的pkNames字段(如果可用)。 ingestion-timestamp TIMESTAMP_LTZ(3) NULL connector处理事件的时间戳。对应Canal记录中的ts字段。 元数据的使用用例参考如下: CREATE TABLE KafkaTable
说明 1 新建Maven工程,配置pom文件 IntelliJ IDEA 参考操作步骤说明,编写UDTF函数代码。 2 编写UDTF函数代码 3 调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数
据工程师B”创建了一个musicTable用于存放音乐版权相关数据。 “数据工程师A”和“数据工程师B”对于队列和数据的使用权限如表3所示。 表3 使用权限说明 用户 数据工程师A(游戏数据分析) 数据工程师B(音乐数据分析) 队列 队列A(队列使用权限) 队列B(队列使用权限)
Boolean 是否缓存空查询结果,默认为true。具体请参考Lookup Cache功能介绍。 lookup.max-retries 否 3 Integer 查询数据库失败的最大重试次数。 sink.buffer-flush.max-rows 否 100 Integer flush前缓存记录的最大值,可以设置为
of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 group_name 否 String 分组名称。 status 否 String 上传分组资源状态。
REAL DOUBLE DECIMAL VARCHAR BOOLEAN \ Y(1) Y Y Y Y Y Y Y(2) TINYINT Y(3) \ Y Y Y Y Y Y Y SMALLINT Y Y(4) \ Y Y Y Y Y Y INTEGER Y Y Y \ Y Y Y Y
UTC 时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区,但 Hive 3.x 使用 UTC 时区。 数据类型映射 目前,Parquet 格式类型映射与 Apache Hive 兼容,但与 Apache Spark
-------+---------------------------------+ | bidtime | TIMESTAMP(3) *ROWTIME* | true | | | `bidtime` - INTERVAL '1' SECOND | |
作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“提交日志”页签,可以查看提交作业的过程信息。 图3 提交日志 查看Flink作业运行日志 用户可以通过查看运行日志排查作业运行异常的故障。 在DLI管理控制台的左侧导航栏中,单击“作业管理”
partitioned by (dt timestamp,country String, year int, bonus decimal(10,3)) STORED AS TEXTFILE; CREATE TABLE IF NOT EXISTS hetu_int_table6 (eid
resource_config 否 Object Flink 作业的资源配置。 具体参数说明请参考表3。 资源配置版本 为 "v2"时,配置生效,资源配置版本 为 "v1"时,配置无效。 表3 resource_config参数说明 参数名称 是否必选 参数类型 说明 max_slot
说明 1 新建Maven工程,配置pom文件 IntelliJ IDEA 参考操作步骤说明,编写UDAF函数代码。 2 编写UDAF函数代码 3 调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包
其中,JDBC的配置项通过url传入,请参考表2配置参数。JDBC配置对象,除了在url中以分号间隔设置配置项外,还可以通过Info对象动态设置属性项,具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId? <key
单击需要查看的作业名称,进入“作业详情”页面。 单击页面右上角的“作业监控”,将跳转至云监控服务(CES)。 图1 作业监控 Flink 作业包含如下监控指标。 表3 Flink作业监控指标 指标名称 说明 Flink作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用。单位:条/秒。
其中,JDBC的配置项通过url传入,请参考表2配置参数。JDBC配置对象,除了在url中以分号间隔设置配置项外,还可以通过Info对象动态设置属性项,具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId? <key