MAPREDUCE服务 MRS-Storm基本原理:Storm开源特性

时间:2025-05-19 17:35:58

Storm开源特性

  • 分布式实时计算框架

    开源Storm集群中的每台机器上都可以运行多个工作进程,每个工作进程又可创建多个线程,每个线程可以执行多个任务,任务是并发进行数据处理。

  • 高容错

    如果在消息处理过程中有节点、进程等出现异常,提供重新部署该处理单元的能力。

  • 可靠的消息保证

    支持At-Least Once、At-Most Once、Exactly Once的数据处理模式。

  • 安全机制

    提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。

  • 灵活的拓扑定义及部署

    使用Flux框架定义及部署业务拓扑,在业务DAG发生变化时,只需对YAML DSL(domain-specific language)定义进行修改,无需重新编译及打包业务代码。

  • 与外部组件集成

    支持与多种外部组件集成,包括:Kafka、HDFS、HBase、Redis或JDBC/RDBMS等服务,便于实现涉及多种数据源的业务。

support.huaweicloud.com/productdesc-mrs/mrs_08_001401.html
提示

您即将访问非华为云网站,请注意账号财产安全