MAPREDUCE服务 MRS-使用简介:补充说明

时间：2024-04-22 14:51:51

MAPREDUCE服务 MRS 使用Flume

补充说明

Flume可靠性保障措施。

Source与Channel、Channel与Sink之间支持事务机制。

Sink Processor支持配置failover、load_balance机制。

例如load_balance示例如下：

server.sinkgroups=g1
server.sinkgroups.g1.sinks=k1 k2
server.sinkgroups.g1.processor.type=load_balance
server.sinkgroups.g1.processor.backoff=true
server.sinkgroups.g1.processor.selector=random

Flume多客户端聚合级联时的注意事项。
- 级联时需要走Avro或者Thrift协议进行级联。
- 聚合端存在多个节点时，连接配置尽量配置均衡，不要聚合到单节点上。

Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。

例如在一个配置中配置两个数据流，示例如下：

server.sources = source1 source2
server.sinks = sink1 sink2
server.channels = channel1 channel2

#dataflow1 
server.sources.source1.channels = channel1
server.sinks.sink1.channel = channel1

#dataflow2
server.sources.source2.channels = channel2
server.sinks.sink2.channel = channel2

上一篇：MAPREDUCE服务 MRS-典型场景：从SFTP服务器导入数据到Hive:前提条件

下一篇：MAPREDUCE服务 MRS-配置NameNode blacklist:配置描述