检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
" class string\n" + ") USING DELTA\n" + " partitioned by(start_year, class)\n" + " location 'obs
location_path OBS路径,指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。
示例值:databases.dsstest.tables.obs_231。 privileges 否 Array of Strings 用户在指定对象上的权限。示例值:["DESCRIBE_TABLE" ]。 表相关的权限说明请参考权限管理。
在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。 再次启动Flink作业,即从对应的检查点路径恢复作业。 父主题: Flink作业性能调优类
Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后,在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。
"auto.purge"='false'时,仅清除元数据,数据文件会移入OBS回收站。默认值为“false”,且不建议用户修改此属性,避免数据删除后无法恢复。
接口相关信息 URI格式:POST /v1.0/{project_id}/streaming/jobs/run {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见批量运行作业。
注意:由DLI提供元数据服务时,暂不支持创建Hudi内表,即必须配置 LOCATION 指向 OBS 路径。
创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。
作业下载OBS对象、读写OBS外表。
温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎(CloudTable和DWS)中,降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。
External:数据存储位置为OBS的表。 View:视图,视图只能通过SQL语句创建。 跨源表:表类型同样为External。 创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。
如obs://xx/xx table.type 是 COPY_ON_WRITE String Hudi表类型。
主要参数的填写说明: 包类型:JAR OBS路径:Flink Jar所在的OBS路径。 分组名称:自定义分组或选择已有的分组名称。
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
column [, column ...]])] ]① [COMMENT 'table_comment'] [ WITH ( property_name = expression [, ...] ) ]② [[STORED AS file_format]① [LOCATION 'obs_path
DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题: SQL作业开发类
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据
call show_logfile_records(table => 'hudi_mor', log_file_path_pattern => 'obs://bucket/path/hudi_mor/dt=2021-08-28/.*?log.*?'