检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 表3 参数说明 参数名 是否必选 参数类型 说明 params 否 Object 脚本参数Map<String,String>。如果脚本中定义了参数,通过params携带参数值。
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 jobs 否 List<Job> 作业信息,参考表4 scripts 否 List<Script>
作空间ID。 X-Auth-Token 是 String IAM Token,Token获取请参见认证鉴权。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 id String 记录ID。 resource_id String 资源导出导入任务ID。 resource_type
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 表3 参数说明 参数名 是否必选 参数类型 说明 jobList 是 列表数据结构 要导出的作业名称列表,一次最多支持导出100个作业。 exportDepend
在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 同一个空间同一个时刻仅允许有一个作业导入任务。 图3 导入作业定义及依赖 单击“下一步”,根据提示导入作业。 导入作业时,如果作业中存在“锁定”状态的标签,则作业导入会失败。 当作业导入失败需
作业源端开启“使用SQL语句”参数时不支持配置转换器。 单击“下一步”配置任务参数,单击“显示高级属性”展开可选参数。 图5 任务参数 各参数说明如表3所示。 表3 任务配置参数 参数 说明 取值样例 作业失败重试 如果作业执行失败,可选择自动重试三次或者不重试。 建议仅对文件类作业或启用了导入阶
上破坏数据的一致性。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则其关系为: 子表:成绩表 子表字段FK:学号 子对父: 父表:学生表 父表字段PK:学号 父对子: 图4 新建关系(可选) 表3 新建关系参数说明 参数名称 说明 名称
关联技术指标 下拉选择与业务指标关联的技术指标。 度量对象 衡量该指标的度量字段。 计量单位 指标的计量单位。 配置管理信息。 图3 管理信息 表3 管理信息参数说明 参数说明 说明 数据来源 描述数据来源,也就是数据的产生者。 *指标管理部门 指标的管理部门。 *指标责任人 指
参数类型 说明 total 是 Integer 总的连接个数 connections 是 List<Connections> 连接列表 表3 connections参数说明 参数名 是否必选 参数类型 说明 name 是 String 连接名称,只能包含四种字符:英文字母、数字、
否有时延。 Migration在配置8CU的情况下可以支撑8000条/秒的同步速率。流量较大的表建议单独配置作业。 图2 查看监控指标 图3 查看指标详情 参考客户建议,根据客户业务需求创建作业。 网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息
查看溯源结果:在数据水印溯源页面,找到需要查看溯源结果的任务,单击对应任务操作栏中的“查看结果”,即可查看溯源结果。注意,只有溯源成功的任务才会显示溯源信息。 图3 溯源信息 删除任务:在数据水印溯源页面,单击对应任务操作栏中的“删除”,即可删除任务。当需要批量删除时,可以在勾选任务后,在任务列表上方单击“批量删除”。
蓝色,下游作业会被标记为黄色。 图2 上下游作业节点标记 在作业节点上右键单击,可进行查看作业、复制作业名称、收起上/下游作业等操作。 图3 作业节点操作 查看目录下作业依赖关系图 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 右键单击作业所在的目录,单击“查看
在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权 单击“下一步”,选择最小授权范围,系统默认“所有资源”。 单击“确定”。 如果权限没有问题,请检查OBS日志文件是否存在。
本链路所使用的Hudi表需带有3个审计字段:cdc_last_update_date、logical_is_deleted、_hoodie_event_time,并会以_hoodie_event_time作为Hudi表的预聚合键。因此,若使用已存在的表,也需要携带这3个审计字段,否则可能导致任务异常。
"name": "fromJobConfig.columnList", "value": "1&2&3" }, { "name": "fromJobConfig
SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表3配置MRS Hive SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业
GES节点到画布中,选中连线图标并拖动,编排图3所示的作业。 其中Dummy节点不执行任何操作,只作为起始点的标识。CDM Job节点用于调用在创建数据集成作业中创建的数据集成作业。Import GES节点用于将图数据导入GES。 图3 编排作业 分别配置作业中的8个CDM Job
单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。
创建Oracle连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。
您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。 图3 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials