数据治理中心 DATAARTS STUDIO-管理静态脱敏任务:静态脱敏场景介绍

时间：2024-01-08 19:19:23

静态脱敏场景介绍

隐私保护管理目前支持的静态脱敏场景如表1所示。

表1 静态脱敏场景
源端数据源类型	目的端数据源类型	计算引擎	说明
数据湖探索（ DLI ）	数据湖探索（DLI）	使用DLI Spark通用队列	-
数据湖探索（ DLI ）	数据仓库服务（DWS）	使用DLI Spark通用队列	DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。
数据仓库服务（DWS）	数据仓库服务（DWS）	使用DWS集群使用 MRS 集群使用DLI Spark通用队列	DWS引擎： DWS引擎的同源静态脱敏任务，不支持跨数据库脱敏，即DWS源端和目的端数据表所在的数据库必须相同。 MRS引擎： MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 DLI引擎： DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。
	MapReduce服务（MRS Hive）	使用MRS Hive所在的MRS集群	MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 MRS引擎的静态脱敏任务，当源端或目的端仅一端为DWS时，支持的数据类型如下。如果有其他不支持的数据类型，将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp
	数据湖探索（DLI）	使用DLI Spark通用队列	DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。
MapReduce服务（MRS Hive）	MapReduce服务（MRS Hive）	使用源端MRS Hive所在的MRS集群	MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。
MapReduce服务（MRS Hive）	数据仓库服务（DWS）	使用MRS Hive所在的MRS集群	MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 MRS引擎的静态脱敏任务，当源端或目的端仅一端为DWS时，支持的数据类型如下。如果有其他不支持的数据类型，将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp