数据湖探索 DLI-Upsert Kafka结果表:参数说明

时间：2023-11-14 15:34:58

数据湖探索 DLI

参数说明

表1 参数说明
参数	是否必选	默认参数	数据类型	说明
connector	是	(none)	String	connector类型，对于upsert kafka，需配置为'upsert-kafka'。
topic	是	(none)	String	Kafka topic名。
properties.bootstrap.servers	是	(none)	String	Kafka brokers地址，以逗号分隔。
key.format	是	(none)	String	用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下： csv json avro 请参考Format页面以获取更多详细信息和格式参数。
key.fields-prefix	否	(none)	String	为键格式的所有字段定义自定义前缀，以避免与值格式的字段发生名称冲突。默认情况下，前缀为空。如果定义了自定义前缀，则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value.fields-include' 必须设置为'EXCEPT_KEY'。
value.format	是	(none)	String	用于对 Kafka 消息中 value 部分序列化和反序列化的格式。支持的格式： csv json avro 请参考Format页面以获取更多详细信息和格式参数。
value.fields-include	否	‘ALL’	String	控制哪些字段应该出现在value中。可取值： ALL：消息的value 部分将包含schema 的所有字段，包括定义中键的字段。 EXCEPT_KEY：记录的value 部分包含schema 的所有内容，定义为主键的字段除外。
sink.parallelism	否	(none)	Interger	定义upsert-kafka sink 算子的并行度。默认情况下，由框架确定并行度，与上游链接算子的并行度保持一致。
properties.*	否	(none)	String	该选项可以传递任意的 Kafka 参数。选项的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀，并将转换后的键名以及值传入 KafkaClient。例如：你可以通过 'properties.allow.auto.create.topics' = 'false' 来禁止自动创建 topic。但是'key.deserializer' 和 'value.deserializer' 是不允许通过该方式传递参数，因为Flink会重写这些参数的值。
ssl_auth_name	否	无	String	DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。注意：若仅使用SSL类型，则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型，则需要同时配置'properties.security.protocol' = 'SASL_SSL'、'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\" password=\"xxx\";'
krb_auth_name	否	无	String	DLI侧创建的Kerberos类型的跨源认证名称。Kafka配置SASL认证时使用该配置。注意：如果使用SASL_PLAINTEXT类型，且使用Kerberos认证，则需要同时配置'properties.sasl.mechanism' = 'GSSAPI'和'properties.security.protocol' = 'SASL_PLAINTEXT'