MAPREDUCE服务 MRS-Flume配置参数说明:常用Channel配置
下载MAPREDUCE服务 MRS用户手册完整版
常用Channel配置
- Memory Channel
Memory Channel使用内存作为缓存区，Events存放在内存队列中。常用配置如表6所示：
图6 Memory Channel
- File Channel
File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示：
图7 File Channel
表7 File Channel常用配置 参数
默认值
描述
type
-
类型，需配置为“file”。仅可在“properties.properties”文件中配置。
checkpointDir
${BIGDATA_DATA_HOME}/flume/checkpoint
检查点存放路径。
dataDirs
${BIGDATA_DATA_HOME}/flume/data
数据缓存路径，设置多个路径可提升性能，中间用逗号分开。
maxFileSize
2146435071
单个缓存文件的最大值，单位：字节。
minimumRequiredSpace
524288000
缓冲区空闲空间最小值，单位：字节。
capacity
1000000
缓存在Channel中的最大Event数。
transactionCapacity
10000
每次存取的最大Event数。
channelfullcount
10
Channel full次数，达到该次数后发送告警。
- Kafka Channel
Kafka Channel使用kafka集群缓存数据，Kafka提供高可用、多副本，以防Flume或Kafka Broker崩溃，Channel中的数据会立即被Sink消费。常用配置如表 10 Kafka Channel 常用配置所示：图8 Kafka Channel
表8 Kafka Channel常用配置 参数
默认值
描述
type
-
类型，需配置为 “org.apache.flume.channel.kafka.KafkaChannel”.。
仅可在“properties.properties”文件中配置。
kafka.bootstrap.servers
-
kafka broker列表。
kafka.topic
flume-channel
Channel用来缓存数据的topic。
kafka.consumer.group.id
flume
Kafka消费者组ID。
parseAsFlumeEvent
true
是否解析为Flume event。
migrateZookeeperOffsets
true
当Kafka没有存储offset时，是否从ZooKeeper中查找，并提交到Kafka。
kafka.consumer.auto.offset.reset
latest
当没有offset记录时，从指定的位置消费数据。
kafka.producer.security.protocol
SASL_PLAINTEXT
Kafka生产者安全协议。
kafka.consumer.security.protocol
SASL_PLAINTEXT
Kafka消费者安全协议。
