检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Object 系统事件数据。具体参数内容详见表3说明。 表3 data参数说明 参数名称 是否必选 参数类型 说明 event_type 是 String 事件类型。 operation 是 String 事件的操作类型。 timestamp 是 Integer 事件产生的时间戳。 topic
在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0.0/16”,则规则添加为:优先级
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
为什么Spark jar 作业 一直处于“提交中”? Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。
oolQueuePriority 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 关于云审计服务事件结构的关键字段详解,请参见《云审计服务用户指南》中的事件结构和事件样例。
BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的,添加分区时需要指定所有的分区字段,指定字段的顺序可任意。 “partition_specs”中的参数默认带有“( )”。例如:PARTITION
'2021-08-28'); 随后可以在编辑器下方的”执行历史(最近一天)”窗格中检查执行结果,或者点击左侧”作业管理”-> ”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数: DLI不支持直接使用SET语句配置参数 点击”设置”,随后在”参数设置”一栏可以配置键和值,Hud
单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 图2 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉
proc AS PROCTIME() 语句进行定义。 另一方面,由于事件时间列可能需要从现有的字段中获得,因此计算列可用于获得事件时间列。例如,原始字段的类型不是 TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意: 定义在一个数据源表( source table )上的
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
Window定义在GROUP BY里,每个分组只输出一条记录,包括以下几种: 分组函数 在流处理表中的 SQL 查询中,分组窗口函数的 time_attr 参数必须引用一个合法的时间属性,且该属性需要指定行的处理时间或事件时间。 对于批处理的 SQL 查询,分组窗口函数的 time_attr 参数必须是一个
的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9
提交作业并检查Flink UI和日志: 直接点击界面右上角的”提交”,在跳转界面再次确认参数无误后,点击底部”立即启动”。完成提交后自动跳转至Flink作业界面,此处可以筛选刚才提交的Flink作业并检查执行状态。 点击作业的名称,可以跳转至作业界面,此处可以点击”提交日志”或”运行日志”,检
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新
连接器生产changelog流,其中每条数据记录代表一个更新或删除事件。更准确地说,数据记录中的 value 被解释为同一 key 的最后一个 value 的 UPDATE,如果有这个 key(如果不存在相应的 key,则该更新被视为 INSERT)。用表来类比,changelog 流中的数据记录被解释为 UPSERT,也称为
表,上一步中写入配置包含了同步元数据的配置项。 最后点击右上角的”执行”按钮即可提交作业。 执行作业,检查日志:(注意:日志归档耗时较长,在作业执行完成后,日志可能需要等待1-5分钟才能归档。) 点击执行后会跳转到”Spark作业”界面,此处可以看到作业的执行状态。点击对应作业右
则会将该字段中的每个元素进行处理。当是fields时,会将该map或array类型的字段值直接作为一个redis中的一个value。 而当是array或者map时,会将array中的每个值作为redis中的一个value,会将map中该字段的value作为redis中的value
则会将该字段中的每个元素进行处理。当是fields时,会将该map或array类型的字段值直接作为一个redis中的一个value。 而当是array或者map时,会将array中的每个值作为redis中的一个value,会将map中该字段的value作为redis中的value
CONSTRAINT 命令功能 ADD CONSTRAINT 命令添加 CHECK 约束。 在将约束添加到表中之前会验证所有现有行是否满足约束。 注意事项 在将约束添加到表中之前会验证所有现有行是否满足约束,如果有行不满足约束,约束将添加失败,添加前需先清理不满足约束的数据。 命令格式 ALTER
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息