数据清洗和预处理：DLI对告警数据进行数据清洗和预处理。 发送告警消息：当告警级别超过指定值时向用户发送短信。 数据导出和存储：清洗过的数据进入DIS通道，DIS根据导入时间将告警数据按日期存放到OBS。
数据开发屏蔽了各种数据存储的差异，一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理，是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。
历史数据清洗，使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总，通过Hive SQL将出租车行程订单事实表中的数据进行汇总统计并写入汇总表。
CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。同时，整桶迁移建议使用OMS。 什么是对象存储迁移服务(OMS)？
用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。
与“API流量限制”配合使用，表示单位时间内的单个API请求次数上限。 与“用户流量限制”配合使用，表示单位时间内的单个用户请求次数上限。 与“应用流量限制”配合使用，表示单位时间内的单个APP请求次数上限。 API流量限制 单个API被调用次数上限。
用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
300 30 资源管理 表3 资源管理 API 说明 API流量限制（次/s） 用户流量限制（次/s） 创建资源 创建资源。 100 10 查询资源列表 查询资源列表。 100 10 修改资源 修改资源。 100 10 删除资源 删除资源。
作业开发 表2 作业开发 API 说明 API流量限制（次/s） 用户流量限制（次/s） 创建补数据实例 创建一个补数据实例。 100 10 查询补数据实例 查询补数据实例列表，支持分页查询。 100 10 停止补数据实例 停止指定的补数据实例。
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。
各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。
cdm_common 参考：流控策略详情 表5 数据集成API流控策略 流控策略名称 策略类型 API流量限制（次/min） 用户流量限制（次/min） cdm_a 共享流控（此策略所有接口共享流量限制） 100 5 cdm_b 共享流控（此策略所有接口共享流量限制） 200 20
应用场景 一站式的数据运营治理平台 从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析，一站式数据智能运营平台，帮助企业快速构建数据运营能力。
API管理接口 表2 API管理接口 API 说明 API流量限制（次/10s） 用户流量限制（次/10s） 创建API 创建API。 2400 120 查询API列表 查询API列表。 2400 120 更新API 更新API。
DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 物理模型设计时的考虑事项如下： 物理模型要确保业务需求及业务规则所要求的功能得到满足，性能得到保障。 物理模型要确保数据的一致性及数据的质量。
码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布 手动新建码表，完成新建后可以参考填写数值到码表中添加码表记录。
目录接口 表2 目录接口 API 说明 API流量限制（次/10s） 用户流量限制（次/10s） 获取作业目录 获取作业目录。
21600 240 导入导出接口 表24 导入导出接口 API 说明 API流量限制（次/min） 用户流量限制（次/min） 导入主题 用于导入主题。
