} ] } 按需输入策略描述。 新建策略完成后,单击“下一步”,返回委托授权页面。 选择步骤8新建的自定义策略。 图3 选择自定义策略 单击“下一步”,选择委托的授权范围。 了解更多授权操作说明请参考创建用户组并授权。 所有资源:授权后,IAM用户可以根据权
查看数据库权限 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”,将显示该数据库对应的权限信息。 权限设置有3种场景:为新用户或项目赋予权限、为已有权限的用户或项目修改权限、回收某用户或项目具备的所有权限。 为新用户或项目赋予权限 为新用户或新项目赋
dli:elasticresourcepool:create 包周期弹性资源池规格变更 dli:elasticresourcepool:scale 增强型跨源连接 表3 增强型跨源连接权限集合 操作 权限(service:resource:action) (角色与策略授权) 创建增强型跨源连接 / 查询增强型跨源连接列表
的模式工作,该连接器作为 source 读入时,可以确保具有相同主键值下仅最后一条消息会生效。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaTable( attr_name attr_type
“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSource ( attr_name attr_type
OpenSource SQL作业和Flinkjar作业。 在对应Flink作业操作列的“更多 > 运行时配置”。 在“运行时配置”页面配置以下参数。 图3 运行时配置 表1 作业运行参数说明 参数 参数说明 名称 作业的名称。 作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。
实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表 1所示。 表3 自定义模板列表参数 参数 参数说明 名称 模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。 描述 模板的相关描述,且长度为0~512个字符。
的模式工作,该连接器作为 source 读入时,可以确保具有相同主键值下仅最后一条消息会生效。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaSource( attr_name attr_type
topic。这意味着,Flink可以将具有相同key的重复记录写入Kafka topic。因此,upsert-kafka 连接器可以实现幂等写入。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaSource( attr_name attr_type
link Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号,不能使用双引号。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSource ( attr_name attr_type
配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址 步骤2:配置Beeline连接Kyuubi 您可以用Kyuubi Beeline工具连接Kyuubi
ReadOnlyAccess授权范围是全局服务资源,如果取消勾选该权限后更新委托,则所有区域和项目的IAM ReadOnlyAccess都将失效。 图3 华北-北京四的项目B更新委托权限示意图 单击“更新委托权限”。 权限说明: 由于跨源场景的权限“DLI Datasource Connections
S路径。您可以按需下载对应的日志使用。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 SQL编辑器快捷功能 表3 快捷键说明 快捷键 描述 Ctrl+Enter 执行SQL。通过按下键盘上的Ctrl+R或Ctrl + Enter,您可以执行SQL语句。
的扩缩容策略配置。 图2 队列test_a扩缩容策略配置 单击结果图形化按钮,可以看到队列test_a的优先级和所有时间段的CU设置。 图3 队列test_a扩缩容策略结果图形化 参考创建弹性资源池并添加队列添加队列test_b,在添加队列扩缩容配置步骤里面添加扩缩容策略。 设置
"orders", "_type" : "_doc", "_id" : "au7xpH4B1dV9conjn3er", "_score" : 1.0, "_source" : { "order_id"
队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 新创建的队列需要运行作业后才可进行扩缩容。 作业相关约束限制 表3 作业相关约束限制 限制项 说明 作业类型 DLI支持的作业类型:SQL作业、Spark Jar、Flink OpenSource SQL、Flink
321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 默认表示不使用该配置。 lookup.max-retries 否 3 Integer 维表配置,数据拉取最大重试次数。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。
key-delimiter 否 _ String 复合键的分隔符(默认为"_"),例如,指定为"$"将导致文档 ID 为"KEY1$KEY2$KEY3"。 failure-handler 否 fail String 对 Elasticsearch 请求失败情况下的失败处理策略。有效策略为:
321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 默认表示不使用该配置。 lookup.max-retries 否 3 Integer 维表配置,数据拉取最大重试次数。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。
源池的CU范围的最大值,但是在操作完成后的下一个整点,系统会按照实际CUs的计算公式重新计算实际CUs的大小,从而触发弹性资源池缩容。 图3 降低弹性资源池CU范围的最大值的流程图 示例 初始状态如下: 弹性资源池实际CUs:96CUs 弹性资源池CU范围:64CUs - 128CUs