MapReduce服务 MRS-Flink样例工程介绍

时间：2023-11-01 16:19:45

MapReduce服务 MRS

Flink样例工程介绍

MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。

当前MRS提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”：

表1 Flink相关样例工程
样例工程	描述
FlinkCheckpointJavaExample	异步Checkpoint机制程序的应用开发示例。假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态，相关业务场景介绍请参见异步Checkpoint机制程序。
FlinkCheckpointScalaExample
FlinkKafkaJavaExample	向Kafka生产并消费数据程序的应用开发示例。通过调用flink-connector-kafka模块的接口，生产并消费数据，相关业务场景介绍请参见向Kafka生产并消费数据程序。
FlinkKafkaScalaExample
FlinkPipelineJavaExample	Job Pipeline程序的应用开发示例。相关业务场景介绍请参见Job Pipeline程序。发布者Job自己每秒钟产生10000条数据，然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者，分别订阅一份数据并打印输出。
FlinkPipelineScalaExample
FlinkSqlJavaExample	使用客户端通过jar作业提交SQL作业的应用开发示例。
FlinkStreamJavaExample	DataStream程序的应用开发示例。相关业务场景介绍请参见DataStream程序。假定用户有某个网站周末网民网购停留时间的日志文本，另有一张网民个人信息的csv格式表，可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息，包含对应的个人详细信息的功能。
FlinkStreamScalaExample
FlinkStreamSqlJoinExample	Stream SQL Join程序的应用开发示例。相关业务场景介绍请参见Stream SQL Join程序。假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。