MapReduce服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming不支持的功能

时间:2023-11-01 16:19:48

Structured Streaming不支持的功能

  1. 不支持多个流聚合。
  2. 不支持limit、first、take这些取N条Row的操作。
  3. 不支持Distinct。
  4. 只有当output mode为complete时才支持排序操作。
  5. 有条件地支持流和静态数据集之间的外连接。
  6. 不支持部分DataSet上立即运行查询并返回结果的操作:
    • count():无法从流式Dataset返回单个计数,而是使用ds.groupBy().count()返回一个包含运行计数的streaming Dataset。
    • foreach():使用ds.writeStream.foreach(...)代替。
    • show():使用输出console sink代替。
support.huaweicloud.com/devg3-mrs/mrs_07_410133.html