数据湖探索 DLI-Elasticsearch结果表:参数说明

时间：2023-11-01 16:24:58

数据湖探索 DLI

参数说明

表1 参数说明
参数	是否必选	说明
connector.type	是	connector的类型，对于elasticsearch需配置为elasticsearch
connector.version	是	使用的elasticsearch的版本。当前只能使用版本7，即该值只能为7
connector.hosts	是	Elasticsearch所在集群的主机名，多个以’;’间隔，注意请以http开头，如http://x.x.x.x:9200
connector.index	是	Elasticsearch的索引名
connector.document-type	是	Elasticsearch的type名称当版本为7时，由于elasticsearch使用默认的_doc类型，因此该属性无效
update-mode	是	sink的写入类型，支持append和upsert
connector.key-delimiter	否	连接复合主键的拼接符，默认为_
connector.key-null-literal	否	当key中含有null时，使用该字符代替
connector.failure-handler	否	elasticsearch请求失败时的策略，默认为fail fail：当请求失败且作业失败时抛出异常 ignore:忽略 retry-rejected:对于由于es节点的队列满时，会重新请求而不抛出失败。 custom:使用定制策略
connector.failure-handler-class	否	使用失败时的定制策略时所使用的自定义处理方式
connector.flush-on-checkpoint	否	checkpoint时是否会等待所有阻塞请求完成。默认为true，表示会等待阻塞请求完成，如果配置为false，则表示不会等待阻塞请求完成。
connector.bulk-flush.max-actions	否	批量写入时的每次最大写入记录数
connector.bulk-flush.max-size	否	批量写入时的最大数据量，当前只支持MB，请带上单位 mb
connector.bulk-flush.interval	否	批量写入时的刷新的时间间隔，单位为milliseconds，无需带上单位
format.type	是	当前只支持json
connector.username	否	Elasticsearch所在集群的账号。该账号参数需和密码“connector.password”参数同时配置。使用账号密码参数时，创建的云搜索服务集群必须开启安全模式并且关闭https。
connector.password	否	Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。