500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)flink1.15以及spark331之后功能废弃
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)flink1.15以及spark331之后功能废弃
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)flink1.15以及spark331之后功能废弃
详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。
resource Oracle驱动包的OBS路径。 例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新,需要重启队列,才会生效。
show_table1 owner admintest location obs
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
图10 生成Jar包 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。
参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
部分字段更新 create table h0(id int, comb int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs
注意事项 导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。
目前只支持: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。
DLI数据目录:DLI服务提供的数据目录服务,用于存储和管理数据湖中的元数据。DLI数据目录名称默认为dli。
根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 端口请注意使用KafKa服务配置中设置的ssl.port端口 security.protocol请设置为SSL。
如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照,开启后可基于Checkpoint(一致性检查点)恢复作业。
在DataArts Studio开发DLI Spark作业 华为云数据治理中心DataArts Studio提供了一站式数据治理平台,可以实现与DLI服务的对接,从而提供统一的数据集成、数据开发服务,方便企业对全部数据进行管控。