检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变量为X,支持对原始数据进行加(+)减(-)乘(*)除(/)、括号(())、取余(%)计算操作。例如表达式为“((X*4+3)%100)/2-1”时,数值3的脱敏结果为6.5。 数值区间变换:支持数值类型区间变换,将指定区间之内的数字变换为指定值。 模糊脱敏:支持数值类型模糊脱敏
Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图3所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图4所示。详细操作请参见DB配置。 图3 创建数据连接时选择同一个集群 图4 DB配置 企业模式工作空间下,开发环境的数据
、CREATE。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML:包括INSERT、UPDATE、DELETE。 不涉及且不支持同步的DDL:同步时需要指定好字段的映射。
DIS服务的实例即通道。此参数表示选择通道,进行采集。 元数据采集参数配置,参考表3。 仅当数据连接类型为DWS、DLI、MRS HBase、MRS Hive、ORACLE、RDS时,支持配置元数据采集参数。 表3 元数据采集参数说明 参数名 说明 数据源元数据已更新 当数据连接中元数据
本链路所使用的Hudi表需带有3个审计字段:cdc_last_update_date、logical_is_deleted、_hoodie_event_time,并会以_hoodie_event_time作为Hudi表的预聚合键。因此,若使用已存在的表,也需要携带这3个审计字段,否则可能导致任务异常。
被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML:包括INSERT、UPDATE、DELETE。 支持同步的DDL:新增列。
权”记录页面,除了以“DataArts Agency”开头的最小权限外,勾选其余所有权限,并单击列表上方的“删除”,去掉所有过大权限。 图3 删除过大权限 其余所有过大权限删除成功后,默认委托最小权限配置完成。
停止集群(待下线) 停止集群接口。 cdm_b 创建集群 创建集群接口。 cdm_a 查询集群列表 查询集群列表接口。 cdm_common 作业管理 表3 作业管理 API 说明 流控策略 查询作业 查询作业接口。 cdm_common 删除作业 删除作业接口。 cdm_job 修改作业 修改作业接口。
结束时间戳。 limit 否 Long 分页条数,取值范围[0,100]。 offset 否 Long 分页偏移量,最小值0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 Integer 总的资源个数。 resources 是 List<Resource>
结束时间戳。 limit 否 Long 分页条数,取值范围[0,100]。 offset 否 Long 分页偏移量,最小值0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
extendCharLength 否 Boolean 扩大字符字段长度,如果设置为“true”,当需要自动创建目的表时,目标表的字符类型字段长度设置为源表相应字段长度的3倍。 toJobConfig.useNullable 否 Boolean 当选择自动创建目的表时,如果选择使用非空约束,则目的表字段的是否非
接的定义。 - - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。
拆分nested类型字段 可选参数,选择是否将nested字段的json内容拆分,例如:将“a:{ b:{ c:1, d:{ e:2, f:3 } } }”拆成三个字段“a.b.c”、“a.b.d.e”、“a.b.d.f”。 否 过滤条件 可选参数,CDM只迁移满足过滤条件的数据。
填写单个IP时,ip应为MRS集群管理面的浮动IP。 填写2个IP时,应填写MRS集群业务面的主节点IP和备节点IP,多个IP之前使用";"分隔。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP,多个IP之间使用";"分隔。 说明: 当前DataArts
您可以查看对应版本API的详细内容,也可以删除或发布对应版本。当勾选两个版本时,您也可以通过“版本对比”,对比两个版本之间的差异情况。 图3 API版本管理 父主题: 管理API
展示敏感发现任务识别出的表的密级分布,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现任务识别出的表敏感字段,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感字段数目。
运行程序参数会自动展示出来。单击“选择模板”进入后,选择已创建的参数模板,系统支持可以引用多个模板。 参数名称及参数值会自动展示出来,如下图所示。 图3 运行程序参数引用参数模板 在Flink SQL单任务作业中引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
”。 图2 创建job_hive_sql作业 然后进入到作业开发页面,拖动MRS Hive SQL节点到画布中并单击,配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明: 节点名称:默认显示为SQL脚本“hive_sql”的名称,支持修改。 SQL脚本:关联开发Hive
说明 1 启动 支持批量启动作业。启动操作请参见实时集成作业监控:启动。 2 停止 支持批量停止作业。停止操作请参见实时集成作业监控:停止。 3 根据“状态”筛选作业 通过对作业运行状态进行筛选,查看不同运行状态下的集成作业。 4 按照作业名称搜索 通过作业名称搜索相关作业,支持模糊搜索。