数据治理中心 DATAARTS STUDIO-管理脱敏算法:内置脱敏算法介绍

时间:2023-11-21 17:10:44

内置脱敏算法介绍

隐私保护管理脱敏算法模块提供了如下算法类型。

表1 算法类型介绍

算法类型

算法简述

典型应用场景

应用举例

原始数据

脱敏后数据

哈希

使用加盐、密钥等哈希函数对数据进行转换。

结构化、非结构化数据的匿名化均适用。

HMAC-SHA256哈希

460031234567890

A34329AE133C48C

截断

舍弃属性值的后几位信息来保证数据的模糊性。

结构化、非结构化数据的匿名化均适用。

针对标识符、准标识符的匿名化。

截断后4位

18012345678

1801234

掩码

将属性值的部分字符替换为固定的特殊字符。(例如*)

结构化、非结构化数据的匿名化均适用针对标识符、准标识符的匿名化。

掩码后4位

18012345678

1801234****

加密

调用DWS和Hive内置的解密算法对 数据加密

对加密的目标源有严格限制

AES加密

98

2bd806c97f0e00af1a1fc3328fa763a9269723c8db8fac4f93af71db186d6e

隐私保护管理脱敏算法模块提供了如下内置脱敏算法供您选择使用。建议您在选择算法之前,可以使用预先提供的内置算法配置和测试功能,以保证自己选择了合适的算法。

表2 内置算法介绍

算法类型

内置算法名称

算法描述

是否支持配置

哈希

HMAC-SHA256哈希

使用HMAC-SHA256算法进行哈希处理

支持配置盐值和密钥

说明:
  • 算法使用前必须先配置密钥,此算法才能正常使用。

  • 算法盐值由您自行配置,而非系统给出的安全随机数,请关注相应使用风险。

SHA-256哈希

使用SHA-256算法进行哈希处理

支持配置盐值

说明:

算法盐值由您自行配置,而非系统给出的安全随机数,请关注相应使用风险。

截断

数值类型截断

保留小数点前x位,将小数点前第1到x-1位、小数点后的位数全部截断并填补为0。

例如x=3时,1234截断为1200,999.999截断为900,10.7截断为0。

支持配置保留小数点前几位

日期类型截断

截断日期指定位置

支持配置日期格式和掩盖范围

掩码

dws指定列全掩码

dws指定数据列全脱敏

仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。

不支持

dws字符型掩码

从start到end的位置脱敏成指定的字符

仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。

支持配置开始位置、结束位置和掩码标志

dws数值型掩码

从start到end的位置脱敏成指定的数字

仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。

支持配置开始位置、结束位置和掩码标志

身份证号码掩码

掩码身份证号

不支持

银行卡号掩码

掩码银行卡号

不支持

Email掩码

掩码Email信息

不支持

移动设备标识掩码

对设备码进行掩码,支持IMEI、MEDI、ESN

支持配置类型

IPv6掩码

掩码IPv6地址

不支持

IPv4掩码

掩码IPv4地址

不支持

MAC地址掩码

掩码MAC地址

不支持

电话号码掩码

掩码电话号码

不支持

日期类型掩码

对指定日期格式进行掩码,支持ISO、EUR、USA格式

支持配置日期格式和掩盖范围

掩码自x至y

掩码字符串第x至y位字符

支持配置x和y

保留自x至y

保留字符串第x至y位字符

支持配置x和y

掩码前n后m

掩码字符串前n后m位字符

支持配置n和m

保留前n后m

保留字符串前n后m位字符

支持配置n和m

加密

dws列加密

调用 GaussDB (DWS)提供的对称密码算法gs_encrypt_aes128(encryptstr,keystr)实现对DWS数据列的加密,此算法以keystr为密钥对encryptstr字符串进行加密,返回加密后的字符串。

算法注意事项如下:

  • 仅当脱敏任务的目标源为DWS时,此算法才能正确生效。
  • 加密后执行SQL解密时,必须当所有的数据都解密成功时,才能正确返回解密结果,否则解密失败。

支持配置密钥,长度范围为1~16字节。

说明:

算法使用前必须先配置密钥,此算法才能正常使用。

hive列加密

调用 MRS 提供的Hive列加密功能来实现对Hive数据列的加解密,支持AES和 SMS 4两种加密算法。

算法注意事项如下:

  • 仅当脱敏任务的目标源为Hive时,此算法才能正确生效。
  • 列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。
  • Hive列加密不支持视图以及Hive over HBase场景。

支持配置加密类型

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1035.html