云服务器内容精选
-
创建CDM迁移作业 登录控制台，选择实例，单击“进入控制台”，单击相应工作空间后的“数据集成”。 在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${varName}，本示例参数为${cur_date}，如图2所示。 图2 配置作业 不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。
-
创建数据开发作业 单击工作空间的“数据开发”，进入DataArts Studio数据开发模块。 创建子作业“分表作业”，选择CDM节点，节点属性中作业类型配置为“创建新作业”，并将步骤2中复制的作业JSON粘贴到“CDM作业消息体”中。 图7 配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个，分别为mail001、mail002、mail003，因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”，即源表名是通过参数配置。如下图所示： 图8 编辑JSON 由于数据迁移作业名不能重复，因此修改JSON中作业名称“name”属性值配置为“mail${num}”，目的是创建多个CDM集成作业，避免作业名称重复。如下图所示： 如果需要创建分库的作业，也可将作业JSON中的源连接修改为变量，方便替换。 图9 编辑JSON 添加作业参数num，用于作业JSON中调用。如下图所示： 图10 添加作业参数num 添加完成后单击“保存并提交版本”，以保存子作业。 创建主作业“集成管理”，选择For Each节点，每次循环调用分表作业，分别将参数001、002、003传递给子作业，生成不同的分表抽取任务。 关键配置如下： 子作业：选择“分表作业” 数据集：[['001'],['002'],['003']] 子作业参数：@@#{Loop.current[0]}@@ 此处子作业参数的EL表达式需要添加@@。如果不加@@包围，数据集001会被识别为1，导致源表名不存在的问题。 如下图所示： 图11 配置关键参数 配置完成后点击“保存并提交版本”，以保存主作业。 创建主作业和子作业完成后，通过测试运行主作业“集成管理”，检查数据集成作业创建情况。运行成功后，创建并运行CDM子作业成功。 图12 查看作业创建情况
-
注意事项 由于CDM版本不同，某些属性可能不支持，比如fromJobConfig.BatchJob。当创建任务报错时，需要在请求体中删除该属性。如下图所示： 图13 修改属性 CDM节点配置为创建作业时，节点运行会检测是否有同名CDM作业。 如果CDM作业未运行，则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中，则等待作业运行完成。此时该CDM作业可能被其他任务启动，可能会导致数据抽取不符合预期（如作业配置未更新、运行时间宏未替换正确等），因此请注意不要启动或者创建多个同名作业。
-
适用场景 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。 在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。 本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail02和mail03，且表结构一致，数据内容不同。目的端为MRS Hive服务。
-
步骤9：服务退订（可选） 本开发场景中，DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群或数据服务专享版集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 APIG服务：在使用数据服务共享版发布API到API网关共享版后，如果调用API，则会产生API网关的调用API费用和流量费用，收费标准请参见APIG价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 MRS MRS计费说明 MRS服务支持按需和包周期计费。本例中使用按需计费，完成后删除MRS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除MRS集群。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费，完成后删除DWS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费，本例中使用按需计费，完成后删除EIP即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费，您可以直接删除DEW服务已产生的KMS密钥。 APIG APIG计费说明 如果您使用的是数据服务专享版，则不涉及此项费用。 使用数据服务专享版时，共享版API网关按实际使用量计费，包含API调用量（次数）和流量费用（下行流量）两个维度。退订DataArts Studio服务后不会再产生API调用，您也可以直接删除发布到APIG网关上的API。 父主题： 高级使用者：基于出租车出行的数据治理流程
-
步骤4：服务退订（可选） 本开发场景中，DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费，完成后删除DWS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费，本例中使用按需计费，完成后删除EIP即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费，您可以直接删除DEW服务已产生的KMS密钥。 父主题： 初级使用者：基于电影评分的数据集成与开发流程
-
启动作业调度 元数据采集完成后，系统基于最新的作业调度实例产生相关的数据血缘关系。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后，等待约1分钟左右，数据血缘关系即可生成成功。
-
脚本开发流程 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力，支持多人协同开发场景。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持单击右键，可快速复制脚本名称，同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下，MRS Spark SQL和MRS Hive SQL脚本运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。 企业模式下，开发脚本时，鼠标放置在上，单击“前往发布”跳转到任务发布页面。 支持对“已提交”和“未提交”的脚本进行筛选。未提交的脚本通过红色进行标识。 系统支持脚本参数以弹框的形式进行展示，参数名不能修改，参数值可以修改。你可以单击“测试参数”查看脚本中所引用的参数信息，同时可以查看环境中已配置的环境变量信息，不可修改，SQL语句中的参数可以按照参数名进行排序。 支持SQL编辑器风格配置。鼠标放置在上，单击“风格配置”，可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”，在“编辑器配置”里面可以对SQL查询结果展示进行配置。 企业模式下，支持从脚本开发界面快速前往发布。鼠标放置在上，单击“前往发布”，进入待发布任务界面。 支持Hive SQL、DLI SQL、DWS SQL、RDS SQL和Impala SQL脚本可以查看右侧的数据表，单击表名前面的单选框，可以查看该数据的列名、字段类型和描述。 脚本开发的使用流程如下： 图1 脚本开发流程 新建脚本：新建相应类型的脚本。具体请参见新建脚本。 开发脚本：基于新建的脚本，进行脚本的在线开发、调试和执行。具体请参见开发脚本。 提交版本并解锁：脚本开发完成后，您需要提交版本并解锁，提交版本并解锁后才能正式地被作业调度运行，便于其他开发者修改。具体请参见提交版本。 （可选）管理脚本：脚本开发完成后，您可以根据需要，进行脚本管理。具体请参见（可选）管理脚本。 发布脚本。企业模式下需要发布脚本，具体请参见发布脚本任务。 父主题： 脚本开发
-
什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为作业节点对象，通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到，wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的，wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例
-
DataArts Studio数据血缘实现方案 数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示： 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。
-
作业开发流程 作业开发功能提供如下能力： 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力，支持多人协同开发场景。 支持作业的版本管理能力，支持生成保存版本和提交版本。 保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持复制出较长的作业名。单击进入，通过模糊搜索，查询匹配的脚本内容。单击作业名后面的复制按钮，可以复制较长的作业名。 支持单击右键，可快速复制作业名称，同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下，单任务MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。 企业模式下，开发作业时，单击页面上方的“前往发布”跳转到任务发布页面。 支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同时未提交的作业通过红色进行标识，未调度的作业通过黄色进行标识。 单任务作业支持SQL编辑器风格配置。单击“风格配置”，可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 单任务SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”，在“编辑器配置”里面可以对SQL查询结果展示进行配置。 开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新建的作业，进行作业开发，您可以进行编排、配置节点。具体请参见开发Pipeline作业。 调度作业：配置作业调度任务。具体请参见调度作业。 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务（实时作业）。 提交版本并解锁：作业调度配置完成后，您需要提交版本并解锁，提交版本并解锁后才能用于调度运行，便于其他开发者修改。具体请参见提交版本。 （可选）管理作业：作业开发完成后，您可以根据需要，进行作业管理。具体请参见（可选）管理作业。 发布作业。企业模式下需要发布作业，具体请参见发布作业任务。 父主题： 作业开发
-
什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 如图1所示，表示dlg0417_qys01这张表是由 图1 数据血缘关系示例
-
DataArts Studio数据血缘实现方案 数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示： 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。
-
启动作业调度 元数据采集完成后，系统基于最新的作业调度实例产生相关的数据血缘关系。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后，等待约1分钟左右，数据血缘关系即可生成成功。
-
开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的，我们希望每天更新Top10电影，那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLF批处理作业，作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面，拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Dummy节点）：不执行任何操作，只作为起始点的标识。 movies_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“movies_obs2dws”。 ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_rating_movie中开发完成的DWS SQL脚本“top_rating_movie”。 top_active_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_active_movie中开发完成的DWS SQL脚本“top_active_movie”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 2022/02/09至2022/02/28，每天1点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，Top10电影的结果自动保存到“top_active_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图11所示。 图11 查看作业执行情况
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
