华为云用户手册

数据治理中心 DATAARTS STUDIO-解绑/绑定集群的EIP:操作场景

操作场景 CDM 集群创建完成后，支持解绑或绑定EIP。EIP即弹性公网IP，由虚拟私有云（Virtual Private Cloud，简称VPC）负责其计费。如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet，具体操作请见添加SNAT规则。如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。

数据治理中心 DATAARTS STUDIO 管理集群
数据治理中心 DATAARTS STUDIO-Oracle数据迁移到DWS:创建CDM集群并绑定EIP

创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为 DataArts Studio 服务CDM组件使用，参考创建集群创建CDM集群。关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与DWS集群所在的网络一致。如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后，在集群管理界面选择“绑定弹性IP”，CDM通过EIP访问Oracle数据源。如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-溯源数据水印:创建数据水印溯源任务

创建数据水印溯源任务在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。图1 选择数据安全单击左侧导航树中的“数据水印溯源”，进入数据水印溯源页面，在页面上方单击“新建”。图2 创建数据水印溯源任务在弹出的创建任务页面输入信息，参数配置请参考表1。图3 创建数据水印溯源任务表1 水印溯源任务参数描述参数名参数描述任务名称嵌入水印任务的名称，只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1~64个字符。描述为更好地识别嵌入水印任务，此处加以描述信息。长度不能超过1024个字符。源文件得到泄露的数据文件后，利用其生成 CS V格式文件，注意文件大小不超过20M。字段分隔符根据上传的CSV文件，下拉选择分隔符，支持四种“,”、“Tab”、“|”、“;”。默认选择“,”。单击“运行”，完成创建数据水印溯源任务。

数据治理中心 DATAARTS STUDIO 管理数据水印
数据治理中心 DATAARTS STUDIO-溯源数据水印:相关操作

相关操作查看溯源结果：在数据水印溯源页面，找到需要查看溯源结果的任务，单击对应任务操作栏中的“查看结果”，即可查看溯源结果。注意，只有溯源成功的任务才会显示溯源信息。图4 溯源信息删除任务：在数据水印溯源页面，单击对应任务操作栏中的“删除”，即可删除任务。当需要批量删除时，可以在勾选任务后，在任务列表上方单击“批量删除”。运行状态为正在“执行中”的任务不允许被删除。删除操作无法撤销，请谨慎操作。

数据治理中心 DATAARTS STUDIO 管理数据水印
数据治理中心 DATAARTS STUDIO-OBS数据迁移到云搜索服务:创建CDM集群

创建CDM集群如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-流量控制:操作场景

操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。为了提供持续稳定的服务，您需要通过创建并选择流控策略，针对部分API进行流量控制。流控策略和API本身是相互独立的，只有将流控策略绑定API后，流控策略才对绑定的API生效。同一个环境中一个API只能被一个流控策略绑定，一个流控策略可以绑定多个API。

数据治理中心 DATAARTS STUDIO 开发API
数据治理中心 DATAARTS STUDIO-开发一个MRS Spark Python作业:案例二：通过MRS Spark Python作业实现打印输出"hello python"

案例二：通过 MRS Spark Python作业实现打印输出"hello python" 前提条件：具有OBS相关路径的访问权限。数据准备：准备脚本文件"zt_test_sparkPython1.py"，具体内容如下： from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName("master"). setMaster("yarn") sc = SparkContext(conf=conf) print("hello python") sc.stop() 操作步骤：将脚本文件传入OBS桶中。创建一个数据开发模块空作业。进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。参数设置说明： --master yarn --deploy-mode cluster obs://obs-tongji/python/zt_test_sparkPython1.py 其中：zt_test_sparkPython1.py 为脚本所在路径单击“测试运行”，执行该脚本作业。待测试完成，执行“提交”。在“作业监控”界面，查看作业执行结果。图8 查看作业执行结果日志验证。运行成功后，登录MRS manager后在YARN上查看日志，发现有hello python的输出。图9 查看YARN上日志

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-OBS数据迁移到DLI服务:创建CDM集群

创建CDM集群如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。该场景下，如果CDM集群只是用于迁移OBS数据到 DLI ，不需要迁移其他数据源，则CDM集群所在的VPC、子网、安全组选择任一个即可，没有要求，CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-方案概述:什么是数据血缘

什么是数据血缘大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征：归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。图1 数据血缘关系示例

数据治理中心 DATAARTS STUDIO 节点数据血缘
数据治理中心 DATAARTS STUDIO-方案概述:DataArts Studio数据血缘实现方案

DataArts Studio数据血缘实现方案数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。数据血缘的展示：首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。

数据治理中心 DATAARTS STUDIO 节点数据血缘
数据治理中心 DATAARTS STUDIO-DataArts Studio企业模式概述:注意事项

注意事项不同工作空间模式对于数据湖引擎存在一定的要求，企业模式工作空间需要分别为开发环境和生产环境进行数据湖引擎配置，才可以实现开发生产环境隔离。配置开发生产环境隔离包含以下三种方式：图1 配置开发生产环境隔离配置两套数据湖服务，进行开发与生产环境隔离。对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致，详细操作请参见新建数据连接。创建数据连接时，通过不同的集群来进行开发与生产环境的隔离，如图2所示。图2 创建数据连接时选择不同集群配置DLI环境隔离。配置企业模式环境隔离，包含DLI队列配置和DB配置。对于Serverless服务（例如DLI），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源，建议通过名称后缀进行区分，详细操作请参见配置企业模式环境隔离。配置DB，在同一个数据湖服务下配置两套数据库，进行开发与生产环境隔离。对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，如图3所示，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，如图4所示。详细操作请参见DB配置。图3 创建数据连接时选择同一个集群图4 DB配置企业模式工作空间下，开发环境的数据开发作业默认不进行调度，仅发布至生产环境后可进行调度。

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-DataArts Studio企业模式概述:简单模式与企业模式介绍

简单模式与企业模式介绍简单模式：传统的DataArts Studio工作空间模式。简单模式工作空间下，DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境，只能进行简单的数据开发，无法对数据开发流程和表权限进行强管控。一个数据湖作为DataArts Studio的生产环境。图5 简单模式工作空间企业模式：为解决简单模式存在的风险，DataArts Studio工作空间新增支持企业模式。企业模式下，DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境，有效隔离开发者对生产环境业务的影响。需要两个数据湖中，其中一个数据湖作为DataArts Studio开发环境，另一个作为DataArts Studio生产环境。其中：开发环境只针对开发人员开放，只用于脚本或作业开发，开发完后发布到生产环境中。生产环境内不能做任何修改，只对最终用户开放，任何修改必须回退到开发环境中重新修改发布。图6 企业模式工作空间您可选择创建任意模式工作空间体验DataArts Studio，使用企业模式工作空间实现DataArts Studio开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。若您已在使用简单模式工作空间，并且希望保留当前简单模式工作空间的代码时，可选择工作空间模式升级，详情请参见创建企业模式工作空间。

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-DataArts Studio企业模式概述:企业模式对使用流程的影响

企业模式对使用流程的影响简单模式工作空间下，DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境，只能进行简单的数据开发，无法对数据开发流程和表权限进行强管控。提交脚本或作业后，您无需发布，脚本或作业即可进入调度系统周期性执行，产出结果数据。图7 简单模式流程企业模式下，DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境，有效隔离开发者对生产环境业务的影响。其中：开发环境只针对开发人员开放，只用于脚本或作业开发，开发完后发布到生产环境中。生产环境内不能做任何修改，只对最终用户开放，任何修改必须回退到开发环境中重新修改发布。图8 企业模式流程

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-DataArts Studio企业模式概述:不同模式工作空间的优劣势对比

不同模式工作空间的优劣势对比表3 不同模式工作空间的优劣势对比对比简单模式企业模式优势简单、方便、易用。仅需要授权数据开发人员“开发者”角色即可完成所有数据开发工作。提交脚本或作业后，您无需发布，脚本或作业即可进入调度系统周期性执行，产出结果数据。安全、规范。具备安全、规范的代码发布管控流程（包含代码评审、代码DIFF查看等功能），保障生产环境稳定性，避免不必要的因代码逻辑引起的脏数据蔓延或任务报错等非预期情况。数据访问得到有效管控，数据安全得以保障。所有脚本或作业仅支持在开发环境编辑，开发者无法修改生产环境的脚本或作业。开发环境和生产环境的数据隔离，开发者无法影响生产环境的数据。开发环境下，脚本、作业以当前开发者的身份执行；生产环境下，脚本、作业则使用空间级的公共 IAM 账号或公共委托执行。如果需要对生产环境进行变更，必须在开发环境通过开发者的发布操作才能将变更提交到生产环境，需要管理者或部署者审批通过，才能发布成功。劣势存在不稳定、不安全的风险。无法设置开发环境和生产环境隔离，只能进行简单的数据开发。无法对生产表权限进行控制。说明：开发调测阶段，开发者可直接访问生产数据湖的数据，随意对表进行增加、删除和修改等操作，存在数据安全风险。无法对数据开发流程进行管控。说明：开发者可以不经过任何人审批，随时新增、修改脚本或作业并提交至调度系统，给业务带来不稳定因素。流程相对复杂，一般情况下无法一人完成所有数据开发、生产流程。

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-DataArts Studio企业模式概述:背景信息

背景信息本文内容由以下几部分构成，从不同角度分别为您解决企业模式不同的问题。表1 了解企业模式分类说明简单模式与企业模式介绍不同工作空间模式的介绍。不同模式工作空间对生产任务开发与运维的影响 DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。不同模式工作空间的优劣势对比不同工作空间模式的优劣势对比。企业模式对使用流程的影响介绍企业模式工作空间下的流程管控。不同工作空间模式下，DataArts Studio模块对应操作简单模式仅有生产环境，企业模式有开发环境和生产环境，此部分为您介绍各个环境与DataArts Studio模块的对应关系。

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-数据服务概览:API调用方使用流程

API调用方使用流程您作为API调用者，需要实现一个API的调用，那么您需要完成以下工作：获取API 从服务目录获取需要调用API。仅在API发布后，才支持被调用。（可选）创建应用并获取授权对于使用APP认证的API，需要完成创建应用和将API授权给应用。在API调用过程中，使用所创建应用的密钥对（AppKey、AppSecret），数据服务根据密钥对进行身份核对，完成鉴权。关于使用APP认证的方法，具体请参考数据服务SDK参考。调用API API调用者完成以上步骤后，可以参考数据服务SDK参考进行API调用。

数据治理中心 DATAARTS STUDIO 数据服务组件
数据治理中心 DATAARTS STUDIO-数据服务概览:总览页面说明

总览页面说明在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API开放方和API调用方的视角，统计了API的相关度量数据。图2 API总览表1 API开放方数据统计界面说明发布趋势从每天、每周、每月、每年的维度统计了API开放方发布的API数量。调用趋势从半天、每天、每周、每月的维度统计了API开放方发布的API，被调用的次数。调用比率TOP5 统计API开放方所开放的API，被调用的比率，包含成功率、失败率、合法率和非法率。调用时间TOP5 统计API开放方所开放的API，被调用时长，支持统计的维度包含时长平均总值、成功时长平均总值，失败时长平均总值。调用次数TOP5 统计API开放方所开放的API，被调用次数排名TOP5的，支持统计的维度包含调用总次数、成功次数、失败次数、合法次数和非法次数。已发布统计API开放方已成功发布的API数量。开发中统计API开放方开发中的API数量。申请者统计API开放方已成功发布的API，被申请调用的应用数量。调用成功统计API开放方已成功发布的API，被应用成功调用的次数。调用失败统计API开放方已成功发布的API，被应用调用失败的次数。总调用次数统计API开放方已成功发布的API，被应用调用的总次数。图3 调用总览表2 API调用方数据统计界面说明调用趋势从每天、每周、每月、每年的维度统计了API调用方调用的API数量。调用比率统计调用方最近7天内调用API的成功和失败比例。已申请统计API调用方，在数据服务平台申请调用的API数量。调用成功统计API调用方在数据服务平台成功调用API的次数。总调用次数统计API调用方在数据服务平台调用API的总次数。

数据治理中心 DATAARTS STUDIO 数据服务组件
数据治理中心 DATAARTS STUDIO-数据服务概览:API开放方使用流程

API开放方使用流程您作为API提供者，需要实现一个或一组API的开放，那么您需要先后完成以下工作：准备工作如果您需要使用数据服务专享版，需要先购买专享版集群。另外，在创建API前，您还需要新建审核人。创建API 创建API即生成API和注册API。其中，生成API支持两种方式（向导模式生成API和脚本模式生成API）。调试API API创建后需要验证服务是否正常，管理控制台提供了调试功能。发布API 只有将API发布后，API才支持被调用。（可选）管理API 您可以根据您的需要，对已创建发布的API进行管理。（可选）流量控制为了保护后端服务的稳定的考虑，您可以对API进行流量控制。

数据治理中心 DATAARTS STUDIO 数据服务组件
数据治理中心 DATAARTS STUDIO-补数据场景使用介绍:适用场景

适用场景在某项目搬迁场景下，当您需要补充以前时间段内的历史业务数据，需要查看历史数据的详细信息时，可以使用补数据特性。补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。补数据作业除了支持SQL脚本，其他节点也支持。如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。补数据作业除了支持作业参数，脚本参数或者全局环境变量也支持。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-逆向数据库（维度建模）:逆向数据库导入表到维度模型中

逆向数据库导入表到维度模型中在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。图1 选择数据架构在DataArts Studio数据架构控制台，单击左侧导航栏的“维度建模”进入维度建模页面。打开需要逆向数据库导入的维度或表的页签，然后单击列表上方的“逆向数据库”。图2 选中对象在“逆向数据库”对话框中配置参数。表1 逆向数据库参数名称说明所属主题单击“选择主题”按钮选择所属的主题信息。数据连接类型选择维度建模的逆向数据库。数据连接选择所需要的数据连接。如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见管理数据连接。数据库选择数据库。队列仅限DLI连接类型，需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。更新已有表在导入时，只有创建或更新操作，不会删除已有的表。不更新：如果表已存在，将直接跳过，不更新。更新：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。数据表选择“全部”时，将数据库中的所有的表都导入。选择“部分”时，请选择需要导入的表。单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-管理集群标签:操作步骤

操作步骤登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。单击集群名称后，选择“标签”页签。图2 修改集群配置单击“添加/编辑标签”，通过添加、修改标签为CDM集群设置资源标识。图3 添加标签一个集群最多可添加10个标签。标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。通过以下两种方式筛选出所配置标签的资源。在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。在集群列表中，单击标签搜索，筛选出所配置标签的资源。

数据治理中心 DATAARTS STUDIO 管理集群
数据治理中心 DATAARTS STUDIO-开发一个MRS Flink作业:数据准备

数据准备下载Flink作业资源包"wordcount.jar"，下载地址：https://github.com/huaweicloudDocs/dgc/blob/master/WordCount.jar 下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载JAR包的SHA256值，其中，“D:\wordcount.jar”为JAR包的本地存放路径和JAR包名，请根据实际情况修改。 certutil -hashfile D:\wordcount.jar SHA256 命令执行结果示例，如下所示： SHA256 的 D:\wordcount.jar 哈希: 0859965cb007c51f0d9ddaf7c964604eb27c39e2f1f56e082acb20c8eb05ccc4 CertUtil: -hashfile 命令成功完成。对比所下载JAR包的SHA256值和下面JAR包的SHA256值。如果一致，则表示下载过程不存在篡改和丢包。 SHA256值：0859965cb007c51f0d9ddaf7c964604eb27c39e2f1f56e082acb20c8eb05ccc4 准备数据文件“in.txt”，内容为一段英文单词。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-开发一个MRS Flink作业:操作步骤

操作步骤将作业资源包和数据文件传入OBS桶中。本例中，WordCount.jar文件上传路径为：lkj_test/WordCount.jar；word.txt 文件上传路径为：lkj_test/input/word.txt。创建一个数据开发模块空作业，作业名称为“job_MRS_Flink”。图1 新建作业进入到作业开发页面，拖动“MRS Flink”节点到画布中并单击，配置节点的属性。图2 配置MRS Flink节点属性参数设置说明： --Flink作业名称 wordcount --MRS集群名称选择一个MRS集群 --运行程序参数 -c org.apache.flink.streaming.examples.wordcount.WordCount --Flink作业资源包 wordcount --输入数据路径 obs://dlf-test/lkj_test/input/word.txt --输出数据路径 obs://dlf-test/lkj_test/output.txt 其中： obs://dlf-test/lkj_test/input/word.txt为wordcount.jar的传入参数路径，可以把需要统计的单词写到里面； obs://dlf-test/lkj_test/output.txt为输出参数文件的路径（如已存在output.txt文件，会报错）。单击“测试运行”，执行该MRS Flink作业。待测试完成，执行“提交”。在“作业监控”界面，查看作业执行结果。查看OBS桶中返回的记录（没设置返回可跳过）。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-MySQL数据迁移到OBS:创建CDM集群并绑定EIP

创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。图1 集群列表如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。

数据治理中心 DATAARTS STUDIO 使用教程
数据治理中心 DATAARTS STUDIO-新增字段操作指导:操作场景

操作场景作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。图1 字段映射目前支持以下类型自定义字段：常量常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。变量您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。表达式您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-新增字段操作指导:约束限制

约束限制如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列：有主键可以使用主键作为分布列。多个数据段联合做主键的场景，建议设置所有主键作为分布列。在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。

数据治理中心 DATAARTS STUDIO
数据治理中心 DATAARTS STUDIO-新建时间限定:新建时间限定并发布

新建时间限定并发布在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。图1 选择数据架构（可选）在数据架构控制台，单击左侧导航树中的“配置中心”，在功能配置下选择是否开启“时间限定生成使用动态表达式”功能，默认关闭。图2 功能配置在数据架构控制台，单击左侧导航树中的“技术指标”，选择“时间限定”页签。进入时间限定页面后，单击“新建”按钮。在新建时间限定页面，参考表1配置参数，然后单击“发布”。图3 时间限定表1 新建时间限定参数说明参数名称说明 *限定名称只能包含中文、英文字母、数字和下划线，且必须以中文或英文字母开头。 *限定英文名称只能包含英文字母、数字和下划线。 *时间配置可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”，然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。自定义时，“-”表示从当前时间向前的时间段，“+”表示从当前时间向后的时间段。例如，过去一年到未来三年，可以按年自定义为“-1到+3”或“+3到-1”。描述描述信息。支持的长度0~490字符。在弹出框中单击“确认提交”，提交发布审核。等待审核人员审核。审核通过后，时间限定创建完成。

数据治理中心 DATAARTS STUDIO 技术指标
数据治理中心 DATAARTS STUDIO-企业模式业务流程

企业模式业务流程当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。图1 企业模式架构管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。开发者：开发者需要在数据开发的开发环境，进行脚本、作业开发等操作，开发完成后进行测试运行、提交版本，最终提交发布任务。部署者：部署者需要在数据开发的开发环境，查看待审批任务，并进行发布审批操作。运维者：部署者需要在数据开发的生产环境，基于开发者发布的资源，进行作业监控、通知管理、备份等操作。自定义角色：用户可以对需要的操作权限进行自定义设置，来满足实际业务的需要。访客：具备DataArts Studio只读权限，只允许对DataArts Studio进行数据读取，无法操作、更改工作项及配置，建议将只查看空间内容、不进行操作的用户设置为访客。表1 企业模式内的权限 - 简单空间企业空间管理者拥有生产环境管理中心的所有权限，包含连接配置、数据导入导出等。增加了部署相关的新操作进行管理中心的连接配置、环境隔离配置，数据导入导出等进行数据开发配置，比如环境配置、调度身份配置、配置默认项等开发者拥有生产环境的作业及脚本开发的所有权限。开发环境：所有操作生产环境：只读操作部署：增加了打包、查看发布项、查看发布项列表、查看发布包内容环境信息配置：只读操作部署者无查看发布包查看发布项列表发布包：只有部署者和管理者可以操作撤销发布：只有部署者和管理者可以操作运维者拥有生产环境的作业及脚本实例的运行监控、运维调度等权限。开发环境：只读操作生产环境：所有操作部署：查看发布包内容环境信息配置：只读操作访客仅只读仅只读父主题：企业模式

数据治理中心 DATAARTS STUDIO 企业模式
数据治理中心 DATAARTS STUDIO-时间宏变量使用解析:路径和表名的时间宏变量

路径和表名的时间宏变量如图1所示，如果将：源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP.CDM_20171016”表中数据，迁移到HDFS的“/opt/ttxx/1508115701746”目录中。图1 源表名和写入目录配置为时间宏变量目前也支持一个表名或路径名中有多个宏定义变量，例如“/opt/ttxx/${dateformat(yyyy-MM-dd)}/${timestamp()}”，经过转换后为“/opt/ttxx/2017-10-16/1508115701746”。

数据治理中心 DATAARTS STUDIO 关键操作指导
数据治理中心 DATAARTS STUDIO-时间宏变量使用解析:timestamp

timestamp timestamp支持两种形式的参数： timestamp() 返回当前时间的时间戳，即从1970年到现在的毫秒数，如1508078516286。 timestamp(dateOffset, dateType) 返回经过时间偏移后的时间戳，“dateOffset”和“dateType”表示日期的偏移量以及偏移量的类型。例如当前日期为“2017-10-16 09:00:00”，则“timestamp(-10, MINUTE)”返回当前时间点10分钟前的时间戳，即“1508115000000”。

数据治理中心 DATAARTS STUDIO 关键操作指导

共100000条

undefined

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

华为云用户手册

7*24

备案

专业服务

退订

建议反馈

售前咨询热线