CDM应用场景

CDM典型应用场景

大数据迁移上云

大数据迁移上云

本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。

这个场景是用户希望利用云上的计算和存储资源,需要先将本地数据迁移上云。该场景下,需要保证本地网络与云上网络是连通的。

    数据批量入湖

    数据批量入湖

    这个场景支持用户本地数据全量和T+1增量入湖。

      CDM产品特点

      • 易使用HOT

        CDM提供Web化的管理控制台。

        可视化界面对数据源和迁移任务进行配置。

        提供了REST API,支持第三方系统调用和集成。

        CDM提供Web化的管理控制台;可视化界面对数据源和迁移任务进行配置;提供了REST API,支持第三方系统调用和集成。

      • 高效率TOP

        CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。

        CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。

      • 实时监控HOT

        您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。

        您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。

      • 免运维

        使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7X24小时人工值守。

        使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7X24小时人工值守。

      • 多种数据源支持

        CDM支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。

        CDM支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。

      • 多种网络环境支持

        CDM帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。

        CDM帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。

      • CDM迁移性能如何?

        单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。

      • CDM有哪些安全防护?

        CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。

        1. 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。
        2. 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
        3. 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。
        4. 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。
      • 是否支持增量迁移?

        CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移:

        1. 文件增量迁移
        2. 关系数据库增量迁移
        3. HBase/CloudTable增量迁移
      • 是否支持字段转换?

        支持,CDM支持以下字段转换器:

        1. 脱敏
        2. 去前后空格
        3. 字符串反转
        4. 字符串替换
        5. 表达式转换
      • 是否支持同步作业到其他集群?

        CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移。