云服务器内容精选

华为云首页用户手册

Flink SQL作业相关问题

数据湖探索 DLI-Flink SQL作业将OBS表映射为DLI的分区表:操作步骤

操作步骤该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。 1 2 3 4 5 6 7 8 9 10 11 12 13 create sink stream car_infos ( carId string, carOwner string, average_speed double, day string ) partitioned by (day) with ( type = "filesystem", file.path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 数据最终在OBS中的存储目录结构为：obs://obs-sink/car_infos/day=xx/part-x-x。数据生成后，可通过如下SQL语句建立OBS分区表，用于后续批处理：创建OBS分区表。 1 2 3 4 5 6 7 8 create table car_infos ( carId string, carOwner string, average_speed double ) partitioned by (day string) stored as parquet location 'obs://obs-sink/car-infos'; 从关联OBS路径中恢复分区信息。 1 alter table car_infos recover partitions;

数据湖探索 DLI Flink SQL作业相关问题
数据湖探索 DLI-OBS表如何映射为DLI的分区表？

OBS表如何映射为DLI的分区表？该示例将car_info数据，以day字段为分区字段，parquet为编码格式（目前仅支持parquet格式），转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。 1 2 3 4 5 6 7 8 9 10 11 12 13 create sink stream car_infos ( carId string, carOwner string, average_speed double, day string ) partitioned by (day) with ( type = "filesystem", file.path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 数据最终在OBS中的存储目录结构为：obs://obs-sink/car_infos/day=xx/part-x-x。数据生成后，可通过如下SQL语句建立OBS分区表，用于后续批处理：创建OBS分区表。 1 2 3 4 5 6 7 8 create table car_infos ( carId string, carOwner string, average_speed double ) partitioned by (day string) stored as parquet location 'obs://obs-sink/car-infos'; 从关联OBS路径中恢复分区信息。 1 alter table car_infos recover partitions; 父主题： Flink SQL作业相关问题

数据湖探索 DLI Flink SQL作业相关问题
数据湖探索 DLI-Flink SQL作业运行失败，日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误:解决方案

解决方案登录IAM控制台页面，单击“用户”，在搜索框中选择“用户名”，输入运行作业的IAM用户名。单击查询到用户名，查看该用户对应的用户组。单击“用户组”，输入查询到的用户组查询，单击用户组名称，在“授权记录”中查看当前用户的权限。确认当前用户所属用户组下的权限是否包含OBS写入的权限，比如“OBS OperateAccess”。如果没有OBS写入权限，则给对应的用户组进行授权。授权完成后，等待5到10分钟等待权限生效。再次运行失败的Flink SQL作业，查看作业运行状态。

数据湖探索 DLI Flink SQL作业相关问题