检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Driver。该驱动为默认,创建表时可以不填该驱动参数。 例如,使用gsjdbc4驱动连接、upsert模式写入数据到DWS中。 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSink( car_id STRING,
用区之间内网互通,不同可用区之间物理隔离。 根据实际情况选择1个或者3个及以上可用区。实例创建成功后,不支持修改可用区。 可用区1、可用区2、可用区3 版本 Kafka的版本号,实例创建后,版本号不支持修改。 3.x 部署架构 根据需求选择“单机”或“集群”。 集群 代理规格 请根据业务需求选择相应的代理规格。
文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服务已有的作业同名,是否覆盖服务中已有的作业。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。
说明 limit 是 Integer 分页查询数量。 offset 是 Integer 分页查询偏移量。 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值:true。
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5 6 7 8 9 10 create table dwsSource ( attr_name attr_type
进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaSource( attr_name attr_type
单击“确定”,完成主机信息的修改。 怎样获取MRS主机信息? 方法一:在管理控制台查看MRS主机信息 获取MRS集群主机名与IP地址,以MRS3.x集群为例,步骤如下: 登录MRS管理控制台页面。 单击“集群列表 > 现有集群”,在集群列表中单击指定的集群名称,进入集群信息页面。 选择“组件管理”页签;
用户Jar中checkpoint的储存地址,不同作业路径需要保持不同。 tags 否 Array of Objects Flink jar作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 resource_config_version 否
请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 job_ids 是 Array of Long 作业ID列表。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String
修改资源包拥有者:使用“resource_name”。 修改组下的资源包的拥有者:同时使用“group_name”和“resource_name”。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message
选择待查询的Spark作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“下载”下载Spark日志到本地。 图3 下载Spark作业日志 父主题: 在DLI管理控制台提交Spark作业
查询根据标签进行过滤。 limit 否 Integer 分页查询数量。 offset 否 Integer 分页查询偏移量。 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message
KafkaTable ( origin_ts TIMESTAMP(3) METADATA FROM 'value.ingestion-timestamp' VIRTUAL, event_time TIMESTAMP(3) METADATA FROM 'value.event-timestamp'
PRIMARY KEY NOT ENFORCED, order_name STRING, order_time TIMESTAMP(3), order_date String ) WITH ( 'connector' = 'hudi', 'path' = 'obs://bucket/dir'
ePrivilege √ × 获取项目下所有Catalog信息 GET /v3/{project_id}/catalogs dli:catalog:list √ × 描述Catalog信息 GET /v3/{project_id}/catalogs/{catalog_name} dli:catalog:get
获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的client.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建client.jks对应的程序包。 主要参数的填写说明:
步骤1:开发Jar包并上传数据至OBS 准备Flink Jar作业程序包并上传至OBS。 步骤2:购买弹性资源池并添加队列 创建提交Flink作业所需的计算资源。 步骤3:使用DEW管理访问凭据 跨源分析场景中,使用DEW管理数据源的访问凭证。 步骤4:创建自定义委托允许DLI访问DEW读取凭证 创建允许DLI访问DEW的委托。
返回的数据条数。默认为“10”。 order 否 String 查询结果排序。 asc:升序 desc:降序 默认为“desc”。 请求消息 无请求参数。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String
es/{database_name}?cascade={is_cascade}&async={is_asyn} 请求消息 无 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message
}/preview?page-size={size}&queue-name={queue_name} 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message