MAPREDUCE服务 MRS-配置并导入样例工程:参考信息

时间:2024-05-11 16:36:27

参考信息

Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动拷贝相关jar包到lib目录中。

针对Flink提供的几个样例工程,其对应的运行依赖包如下:

  • DataStream程序样例工程(Java/Scala)
    • flink-dist_*.jar

      flink-dist_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。

  • 向Kafka生产并消费数据程序样例工程(Java/Scala)
    • kafka-clients-*.jar
    • flink-connector-kafka_*.jar
    • flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。
    • kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。
  • 异步Checkpoint机制程序样例工程(Java/Scala)
    • flink-dist_*.jar
  • pipeline程序样例工程(Java/Scala)
    • flink-connector-netty_*.jar
    • flink-dist_*.jar
    • flink-shaded-curator-*.jar
    • curator-client-2.12.0.jar
    • curator-framework-2.12.0.jar
    • flink-shaded-curator-*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。
    • flink-connector-netty_*.jar、curator-client-2.12.0.jar、curator-framework-2.12.0.jar可在二次开发样例代码编译后产生的lib文件夹下获取。
    • flink-shaded-curator-*.jar仅适用于MRS 3.0.X集群。
    • curator-client-2.12.0.jar、curator-framework-2.12.0.jar仅适用于MRS 3.1.X集群。
  • Stream SQL Join样例工程(Java)
    • kafka-clients-*.jar
    • flink-connector-kafka_2.11*.jar
    • flink-connector-kafka-base_*.jar
    • flink-connector-kafka_*.jar
    • flink-dist_2.11*.jar
    • flink-table_2.11*.jar
    • flink-connector-kafka-base_*.jar、flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的“opt”目录下获取。
    • flink-connector-kafka-base_*.jar、flink-connector-kafka_*.jar仅适用于MRS 3.0.X集群。
    • flink-connector-kafka_2.11*.jar、flink-dist_2.11*.jar和flink-table_2.11*.jar仅适用于MRS 3.1.X集群。
support.huaweicloud.com/devg3-mrs/mrs_07_260008.html