MapReduce服务 MRS-同步hive表配置

时间：2023-11-01 16:25:25

MapReduce服务 MRS

同步hive表配置

参数	描述	默认值
hoodie.datasource.hive_sync.enable	是否同步hudi表信息到hive metastore。注意：建议该值设置为true，统一使用hive管理hudi表。	false
hoodie.datasource.hive_sync.database	要同步给hive的数据库名。	default
hoodie.datasource.hive_sync.table	要同步给hive的表名，建议这个值和hoodie.datasource.write.table.name保证一致。	unknown
hoodie.datasource.hive_sync.username	同步hive时，指定的用户名。	hive
hoodie.datasource.hive_sync.password	同步hive时，指定的密码。	hive
hoodie.datasource.hive_sync.jdbcurl	连接hive jdbc指定的连接。	""
hoodie.datasource.hive_sync.use_jdbc	是否使用hive jdbc方式连接hive同步hudi表信息。建议该值设置为false，设置为false后 jdbc连接相关配置无效。	true
hoodie.datasource.hive_sync.partition_fields	用于决定hive分区列。	""
hoodie.datasource.hive_sync.partition_extractor_class	用于提取hudi分区列值，将其转换成hive分区列。	org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
hoodie.datasource.hive_sync.support_timestamp	当hudi表存在timestamp类型字段时，需指定此参数为true，以实现同步timestamp类型到hive元数据中。该值默认为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。	true
hoodie.datasource.hive_sync.fast_sync	Hudi同步Hive分区方式： true：从最近一次hive同步后所修改的分区直接向Hive表中做add partition if not exist操作。 false：会根据修改的分区去hive表查询是否已存在，不存在的进行添加。说明： MRS 3.2.0及之后版本支持才支持该功能。	true
hoodie.datasource.hive_sync.mode	hudi表同步hive表的方式： hms：通过hive meta client同步元数据。 jdbc：通过hive jdbc方式同步元数据。 hiveql：执行hive ql方式同步元数据。说明： MRS 3.2.0及之后版本支持才支持该功能。	hms