T-Digest函数 概述 T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)
系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 父主题: DLI资源配额类
如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。
该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。
图4 ODBC新建数据源连接 在创建的新数据源配置界面中,输入Kyuubi服务器的相关信息。 数据库名称:本例输入DLI数据库名称。 服务器地址:输入Kyuubi服务器的弹性公网IP地址。 端口号:Kyuubi服务监听的端口,使用Hive Thirft协议,默认端口10009。
file_format 格式 | AVRO | CSV | JSON | ORC | PARQUET 说明 目前包含以上6种格式。 指定数据格式的方式有两种,一种是USING,可指定以上6种数据格式,另一种是STORED AS,只能指定ORC和PARQUET。 ORC对RCFile
( years, months, days ) with ( 'connector' = 'hudi', //指定写入的是Hudi表 'path' = 'obs
SQL权限: database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交作业 将写好的代码生成jar包,上传至OBS桶中。
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
connection.max-retry-timeout 否 60s Duration 尝试连接数据库服务器最大重试超时时间,不应小于1s。 scan.partition.column 否 无 String 用于对输入进行分区的列名。分区扫描参数,具体请参考分区扫描功能介绍。
权限相关API 数据赋权(用户或项目) 查看赋权对象使用者权限信息
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
是 dli kyuubi.engine.jdbc.driver.class 连接JDBC服务使用的驱动类名。
获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
是 dli kyuubi.engine.jdbc.driver.class 连接JDBC服务使用的驱动类名。