检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示OBS Bucket没有授权怎么办?
call show_logfile_records(table => 'hudi_mor', log_file_path_pattern => 'obs://bucket/path/hudi_mor/dt=2021-08-28/.*?log.*?'
resource Oracle驱动包的OBS路径。 例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新,需要重启队列,才会生效。
详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。
(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
show_table1 owner admintest location obs
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
部分字段更新 create table h0(id int, comb int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double, orderdate date ) WITH (format = 'ORC', location='obs
OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。
数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
int, mm int, dd int) using hudi --指定hudi 数据源 partitioned by(yy,mm,dd) --指定分区, 支持多级分区 location 'obs
如果ADD PARTITION时未指定分区保存路径,分区目录将从OBS上删除,数据会移到.Trash/Current文件夹。
" class string\n" + ") USING DELTA\n" + " partitioned by(start_year, class)\n" + " location 'obs
在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。 再次启动Flink作业,即从对应的检查点路径恢复作业。 父主题: Flink作业性能调优类
certificate 否 无 String Elasticsearch集群的证书在OBS中的位置。 仅在开启安全模式,且开启https下需要配置该参数。 请先在CSS管理控制台下载证书后将证书上传至OBS,该参数配置的是OBS地址。
into dli_to_dws values(3,'Liu'),(4,'Xie')"); 查询数据 1 sparkSession.sql("select * from dli_to_dws").show(); 插入数据后: 提交Spark作业 将写好的代码文件生成jar包,上传至OBS
接口相关信息 URI格式:POST /v1.0/{project_id}/streaming/jobs/run {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见批量运行作业。
默认false,false表示统计指定目录的信息,true表示统计指定目录的子目录的信息 否 sort 默认true,true表示根据storage_size排序结果,false表示根据文件数量排序结果 否 示例 call show_fs_path_detail(path=>'obs