数据源
数据湖探索电商行业
精准营销 电商行业需要获取多个途径的信息做关联分析，以便更好地做精准营销，提高转化率。如：关联【页面广告点击事件数据】和【用户注册数据】，获取不同年龄段喜欢的广告类型，以便对不同年龄段用户投放更精准的广告 优势 跨源分析 数据免搬迁，就可以关联分析存在OBS中的【页面广告点击事件数据】和RDS中的【用户注册数据】 纯SQL操作 DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射 建议搭配使用： 对象存储服务 OBS、 数据接入服务 DIS
数据接入服务数据接入备份
数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能 优势 多种数据源支持 对接kafka、flume等开源系统，易于集成 数据传输高效 通道入口带宽可调整，传输能力有保障 海量小文件传输 小文件搬迁上云，原文件转储到 对象存储 建议搭配使用：对象存储服务 OBS
数据接入服务功能描述
数据采集 RestAPI、SDK、Agent对接多种数据源，线上线下数据实时采集 支持多种数据源：DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集 多种数据接入方式：提供RestAPI、SDK、Agent等多种数据接入方式，用户只需简单配置即可实现实时数据采集与传输 数据传输 实时数据高并发、低延时、高可靠传输 DIS提供百万连接并发，单数据流最高支持每日TB级别的数据量写入，每个分区(partition)支持最高每日百GB级别的写入量 每个数据流的吞吐能力可以通过动态增加partition进行扩展 数据流动 提供多种connector，对接云上数据存储、计算、分析等多种服务，实现用户数据自由流动 DIS与华为云上的OBS（对象存储服务）、MRS（ MapReduce服务 ）、DWS（ 数据仓库 服务）、CloudTable（ 表格存储服务 ）、DLI（ 数据湖探索 ）、CS（ 实时流计算服务 ）、FunctionGraph（ 函数工作流 ）等服务集成，用户通过简单配置即可完成数据转储、计算、分析等功能 数据处理 预置数据抽取、汇聚、格式转换等Connector(处理算子)，对用户输入数据做预处理 DIS预置Connector对接入数据做初步处理，提供CSV/Json到Parquet/CarbonData等格式的转换，提升用户数据质量 数据缓存 实时数据缓存1-3天，保证实时数据消费可靠性
云数据迁移产品特性
支持多种数据源批量入湖 ：支持近20种数据源之间的 数据迁移 支持FTP、SFTP、OBS、HDFS文件类数据源 支持MRS(Hive/HDFS/HBase)、DWS、RDS、CloudTable、DIS、Elasticsearch 云服务 支持MySQL、Oracle、Db2、SQLServer、PostgreSQL 数据库 ，自建或第三方云服务 支持NoSQL数据库：Redis、MongoDB以及DCS、DDS云服务 简单易用 ：全向导式任务管理界面，轻松应对复杂 迁移 场景 提供可视化任务创建向导，帮助用户在几分钟内完成数据迁移任务的创建 提供RESTful接口，方便与第三方系统集成对接 支持对迁移任务监控，帮助用户实时掌握任务执行状态，快速定位异常 不符合预定义规则的脏数据自动归档到OBS，方便用户分析异常数据 支持多种数据入湖方式 ：支持单表迁移、整库迁移、周期性迁移、文件迁移、增量迁移 可根据需要配置单表、文件、目录或整个 数据库迁移 支持文件增量迁移，数据表where条件，时间变量函数等增量手段 支持多种定时策略实现周期性迁移 针对不同数据源进行数据迁移性能优化，尤其是Hive、HBase、MySQL、DWS、OBS
