华为云计算 云知识 实时流计算服务的功能
实时流计算服务

实时流计算服务 CS

实时流计算服务 CS

实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API

实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API

实时流计算CS已与数据湖探索DLI进行了合并,同SPU资源下

数据湖探索DLI 价格下降30%,请前往体验>

实时流计算服务的功能

实时流计算服务 主要具有以下功能:

  • 丰富的StreamSQL在线分析能力

支持Window、Join等聚合函数、地理函数、CEP函数等,用SQL表达业务逻辑,简便快捷实现业务。详细内容请参见《实时流计算服务SQL语法参考》。

  • StreamingML

提供多种流式机器学习方法对数据进行实时分析与预测,用户仅需编写SQL调用相关函数便可实现数据统计,异常检测,实时聚类,时间序列分析等场景。详细内容请参见StreamingML。

  • 地理位置分析

提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景。详细内容请参见地理函数。

  • CEP SQL

提供基于Match Recognize的模式匹配检测,帮助业务人员使用SQL实现基于复杂事件规则的异常检测业务。典型应用场景如欺诈检测、车辆异常行为检测、工业设备异常运行状态检测等。详细内容请参见CEP模式匹配。

提供多种图表类型实时展示作业数据输出,用户还可以通过API网关服务自由访问作业数据,接入自定义工作流中。详细内容请参见数据可视化。

  • 可视化SQL编辑器

实时流计算服务针对不太熟悉SQL的用户,提供了可视化编辑器功能,它将实时流计算服务需要对接的上下游服务(如DIS、CloudTable等)和内部逻辑算子(如filter、window等)封装成可拖拽的组件,用户只需要将其拖入画布中并用连线将各个元素连接,就能轻松的创建出一个作业的拓扑,再通过点击画布中的各个元素设置对应参数,就能轻松完成一个作业的编辑。详细内容请参见可视化编辑器。

  • 支持独享集群及其作业的资源配额

允许租户创建独享集群,独享集群与其他租户和共享集群是完全物理隔离的,不会受其他作业影响。租户可配置独享集群最大可使用SPU配额,并为其子用户分配可用的集群以及可使用的SPU配额。详细内容请参见集群管理。

  • 支持在线测试SQL作业

作业调试功能可以帮助用户校验SQL语句逻辑是否正确,通过用户的样例数据输入(支持手动输入和OBS输入两种方式)结合SQL逻辑快速输出样例结果,确保在作业正式运行时,逻辑处理正确。详细内容请参见调试作业。

  • 支持Flink和Spark自定义作业

允许用户在独享集群上提交Flink和Spark自定义作业。

  • 支持Spark streaming和Structured streaming

允许用户在独享集群上提交Spark streaming自定义作业。

  • 支持与多种 云服务 连通,形成丰富的流生态圈。

实时流计算服务的生态分为云服务生态和 开源 生态:

云服务生态:实时流计算服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、 SMN 、DCS等。

开源生态:通过对等连接建立与其他VPC的网络连接后,用户可以在实时流计算服务的租户独享集群中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。

智能 边缘平台 (IEF)与实时流计算服务的结合,支持流处理云端管理,边缘侧运行,提供实时流处理能力。


上一篇:二进制代码相似度比较研究技术汇总 下一篇:工作负载Job/CronJob概述