i2Stream 英方数据流复制管理软件-产品介绍


版本: V7.1 | 交付方式: License |
适用于: Windows/Linux/其他 | 上架日期: 2020-06-17 12:09:30.0 |
i2Stream 是英方自主研发的数据流复制管理软件,实现数据的提取和复制,并实时将数据传输到 Kafka 等消息队列。在数据复制过程中,i2Stream 充当 Kafka Producer 的角色,从关系型数据库解析生产数据,再实时写入 Kafka 平台,提供适用于大数据环境的高性能、容错、易用和灵活的实时数据流平台,帮助客户将实时数据架构集成到大数据平台而不会影响生产系统的性能。
面向不同的数据库,i2Stream基于预写日志的抽取与转换将数据发送到不同的目标端,消息队列、数据库、大数据平台、文件等。数据的传输过程分为全量和增量两种,全量通过面向数据库的逻辑抽取获得完整数据。增量数据通过日志分析获得。通过全量和增量到从库可以实现数据连续性复制,完成数据库数据的实时保护。全量和增量数据通过同步复制软件到其他的目标端则构成了异构复制。
i2stream源库支持Oracle、mysql、postgres并在此基础上进一步支持更多的数据库如SQL server 等。并计划支持更多的国产数据库如达梦等。支持异构的目标端支持多种数据仓库,消息队列、MPP、nosql等。
主要功能包括:
· 支持结构化、异构数据源全量和实时增量快速加载到各类Hadoop(hdfs、Hive、HBase、Kudu)、Kafka、关系型数据库等目标库;
· 支持无侵入实时增量数据获取功能。功能支持的源端数据库包括Oracle(RAC)、SQLServer、MySQL、MariaDB、PostgreSQL、GaussDB、DB2等;
· 目标库支持关系型数据和Hadoop(hdfs、Hive、HBase、Kudu)、Kafka等多种大数据存储数据库;
· 支持表级、实例级的数据过滤和转换;
· 支持源数据库一对多分发到不同的目标库中,支持源库多对一汇聚到同一个目标库;
· 采用多线程流处理技术,数据转发性能高,秒级延时;
· 支持近实时大数据入仓(Hive),Hive的批量装载速度达到近万条;
· 采用B/S图形界面配置,简单易用。