使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es.nodes时,不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段,其值作为es中Document的id。
CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double, orderdate date ) WITH (format = 'ORC', location='obs
DLI资源 资源是服务中存在的对象。在DLI中,资源如下,您可以在创建自定义策略时,通过指定资源路径来选择特定资源。
使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
Truststore路径 上传SSL Truststore文件的OBS路径。 MRS Kafka请填写Truststore.jks文件的OBS路径。 DMS Kafka请填写client.jks文件的OBS路径。 Truststore密码 truststore密码。
在使用由DLI提供的元数据服务时仅可创建外表,即需要通过LOCATION指定表路径。
dli Queue Name (QUEUENAME) 是 DLI服务的队列名称(当前只支持spark sql引擎队列)。 dli_test Obs EndPoint (OBSENDPOINT) 是 OBS的Endpoint地址。 obs.{REGION}.
使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
该桶用于存储使用DLI服务产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业日志。可以通过配置生命周期规则实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。
保存作业日志 设置是否将作业运行时的日志信息保存到OBS。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。
注意:由DLI提供元数据服务时,暂不支持创建Hudi内表,即必须配置 LOCATION 指向 OBS 路径。
" class string\n" + ") USING DELTA\n" + " partitioned by(start_year, class)\n" + " location 'obs
在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。 再次启动Flink作业,即从对应的检查点路径恢复作业。 父主题: Flink作业性能调优类
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 权限相关API(废弃)
根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 端口请注意使用KafKa服务配置中设置的ssl.port端口 security.protocol请设置为SSL。
"auto.purge"='false'时,仅清除元数据,数据文件会移入OBS回收站。默认值为“false”,且不建议用户修改此属性,避免数据删除后无法恢复。
可在服务授权中进行设置。 使用约束限制 使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务(废弃) 父主题: 历史API