检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据存储的资源账单。 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期。详细介绍请参见用量明细。 图3 查询数据存储的资源账单 查看数据扫描量的资源账单 DLI的default队列采用数据扫描量的计费方式。扫描量计费=单价*扫描量数据(GB)。怎样查看DLI的数据扫描量?
方言:建表语句需要使用EXTERNAL关键字。 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
的排序为每一行分配一个唯一的序列号,从一开始。ROW_NUMBER 和 RANK 相似。ROW_NUMBER 按 顺序对所有行进行编号(例如 1,2,3,4,5)。RANK 为等值 row 提供相同的序列值(例如 1,2,2,4,5)。 LEAD(expression [, offset] [
如果使用Lakeformation元数据,填写具体的数据目录名称。 dli schema 是 提交作业使用的DLI的数据库名称。 tpch 步骤3:测试使用DBT提交作业至DLI 初始化DBT项目 在空目录下执行以下命令以初始化DBT项目: dbt init 配置dbt_project
以参考本章节的内容创建一个新的工作空间。 如需创建新的空间请参考创建并管理工作空间。 图2 进入DataArts Studio实例空间 图3 进入DataArts Studio数据开发页面 步骤1:获取Spark作业代码 获取Spark作业代码JAR包后,将JAR包上传到OBS桶
操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图4 配置DLI数据源连接参数
步骤1:创建弹性资源池并添加队列:创建DLI作业运行的队列。 步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。 步骤3:创建DWS数据库和表:创建DWS数据库和表信息。 步骤4:创建增强型跨源连接:DLI上创建连接Kafka和DWS的跨源连接,打通网络。 步
1.13、Flink 1.15、Flink 1.17 优先推荐使用V2版本的参数设置。 V1版本的具体参数说明请参考表3。 V2版本的具体参数说明请参考表4。 表3 资源规格参数-V1 参数 参数说明 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。
查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 container_xxx_000001归档日志文件夹示例 Spark Jar作业: Spark Jar作业的归档日志文件夹以“batch”开头。
int4 int, varchar1 varchar(10)) partitioned by (int1 int,int2 int,int3 int) 不推荐在建表语句的OPTIONS关键字中使用全局变量。 相关操作: 修改全局变量 在“全局变量”页面,单击变量“操作”列中的“修改”,可修改对应的变量值。
业”。 选择待设置的作业,单击其“操作”列中的“更多”>“权限管理”。“用户权限信息”区域展示了当前具备此作业权限的用户列表。 权限设置有3种场景:为新用户赋予权限,为已有权限的用户修改权限,回收某用户具备的所有权限。 为新用户赋予权限 新用户指之前不具备此作业权限的用户。 单击
为64CUs后。 实际CUs变为64CUs。 结果: 弹性资源池实际CUs:64CUs 弹性资源池CU范围:64CUs-128CUs 示例3:按需计费弹性资源池扩容 场景: 弹性资源池CU范围:64CUs- 128CUs 弹性资源池实际CUs:64CUs 弹性资源池目标:扩容到96CUs
步骤1:创建弹性资源池并添加队列:创建DLI作业运行的队列。 步骤2:创建RDS MySQL数据库和表:创建RDS MySQL的数据库和表。 步骤3:创建DWS数据库和表:创建用于接收数据的DWS数据库和表。 步骤4:创建增强型跨源连接:DLI上创建连接RDS和DWS的跨源连接,打通网络。
段内容被分割。 假设数据内容中原本就存在转义字符,则在这个原有的转义字符前再加一个转义字符,避免原来的那个字符起到转义作用。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求发送是否成功。“true”表示请求发送成功。 message
limit={limit}&offset={offset}&status={status}&name={name} 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message
orderSource ( order_id STRING, order_name STRING, order_time TIMESTAMP(3) ) with ( 'connector' = 'datagen' , 'rows-per-second'='100' ); CREATE
场景一:固定资源造成资源浪费和资源不足的场景 在每天的不同时段,作业任务对资源的请求量也会发生变化,如果采用固定资源规格则会导致资源浪费或者资源不足的问题。例如,如下图图3示例可以看出: 大约在凌晨4点到7点这个数据段,ETL作业任务结束后没有其他作业,因为资源固定一直占用,导致严重的资源浪费。 上午9点到12
runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String 作业类型。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。
不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5 6 7 CREATE FUNCTION udtf_test AS 'com.huaweicompany.udf.TableFunction';
支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。 建议搭配以下服务使用 OBS、DIS、DataArts Studio 图3 运营商大数据分析 地理大数据分析 地理大数据分析 地理大数据具有大数据的相关特征,数据体量巨大,例如,全球卫星遥感影像数据量达到PB级。数