云服务器内容精选

  • 创建动态水印策略 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“动态水印”,进入动态水印页面。 图2 进入动态水印页面 单击,开启数据开发动态水印功能。然后单击“新建”,进入新建动态水印策略页面,参数配置参考表1。 图3 新建动态水印策略参数配置 创建动态水印策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *策略名称 动态水印策略的唯一标识,DataArts Studio实例内的名称唯一。 为便于策略管理,建议名称中标明要添加水印的对象和水印内容。 *数据源类型 从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考新建数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据添加动态水印,保护敏感数据不被泄露。 单击“确定”,完成动态水印策略创建。
  • 相关操作 水印提取:获得从数据开发下载的动态水印CSV数据文件后,参考水印提取进行水印溯源。 配置策略:在动态水印页面,单击对应任务操作栏中的“配置”,即可配置动态水印策略。 编辑策略状态:新增的水印策略默认为启用状态。当水印策略为关闭状态时,表示该策略将不生效。 需要修改水印策略状态时,在动态水印页面单击对应水印策略中的或,即可启用或关闭水印策略。 删除策略:在动态水印页面,单击对应任务操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在动态水印页面,找到需要查看的策略,单击策略名即可查看策略详情。 图4 查看策略详情
  • 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能,至少为工作空间管理员角色才可以创建动态水印策略,其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后,需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时,系统才会进行水印嵌入。如果数量小于等于500行,即使嵌入水印后也难以溯源。
  • 前提条件 已配置内置脱敏算法或者已自定义脱敏算法,请参考管理脱敏算法进行配置和定义。 已完成脱敏策略的创建,请参考新建脱敏策略。 待脱敏的数据表已完成敏感数据发现任务,请参考创建敏感数据发现任务。 已通过“敏感数据分布-手工修正”,修正敏感数据字段的数据状态为“有效”,请参考手工修正数据状态。 DLI引擎静态脱敏任务,需要为dlg_agency委托授予如下OBS权限策略,授权方法可参考准备工作1:授权dlg_agency委托章节。 obs:bucket:HeadBucket obs:bucket:CreateBucket obs:object:PutObject obs:object:DeleteObject obs:bucket:ListBucket obs:object:GetObject obs:bucket:GetEncryptionConfiguration obs:bucket:PutEncryptionConfiguration
  • 约束与限制 DLI引擎的静态脱敏任务,运行参数需要存储在OBS桶中,任务运行完成或失败后会删除任务运行参数文件。 DLI引擎的同源静态脱敏任务,运行参数存储在工作空间日志桶中,默认以dlf-log-{Project id}命名。 DLI引擎的跨源静态脱敏任务,运行参数存储在自动创建的加密用户桶dls-dli-{projectId}中。 因此DLI引擎静态脱敏前,还需要为dlg_agency委托授予如下OBS权限策略,授权方法可参考准备工作1:授权dlg_agency委托章节。 obs:bucket:HeadBucket obs:bucket:CreateBucket obs:object:PutObject obs:object:DeleteObject obs:bucket:ListBucket obs:object:GetObject obs:bucket:GetEncryptionConfiguration obs:bucket:PutEncryptionConfiguration DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 MRS引擎的静态脱敏任务,当源端或目的端为DWS时,请参考参考:授权并绑定委托为MRS集群配置委托,并确保MRS集群安全组出方向规则满足如下要求,否则会导致静态脱敏任务失败。 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 MRS引擎的静态脱敏任务,当源端或目的端仅一端为DWS时,支持的数据类型如下。如果有其他不支持的数据类型,将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp DWS引擎的同源静态脱敏任务,不支持跨数据库脱敏,即DWS源端和目的端数据表所在的数据库必须相同。 源端或目的端为DLI的静态脱敏任务,不支持对DLI中default数据库的数据表进行脱敏。 静态脱敏任务的数据集范围选择为增量时,需选择时间字段类型Timestamp、Date字段类型来确定增量范围。
  • 静态脱敏场景介绍 隐私保护管理目前支持的静态脱敏场景如表1所示。 表1 静态脱敏场景 源端数据源类型 目的端数据源类型 计算引擎 说明 数据湖探索(DLI) 数据湖探索(DLI) 使用DLI Spark通用队列 - 数据仓库服务(DWS) 使用DLI Spark通用队列 DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 数据仓库服务(DWS) 数据仓库服务(DWS) 使用DWS集群 使用MRS集群 使用DLI Spark通用队列 DWS引擎: DWS引擎的同源静态脱敏任务,不支持跨数据库脱敏,即DWS源端和目的端数据表所在的数据库必须相同。 MRS引擎: MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 MRS引擎的静态脱敏任务,当源端或目的端为DWS时,请参考参考:授权并绑定委托为MRS集群配置委托,并确保MRS集群安全组出方向规则满足如下要求,否则会导致静态脱敏任务失败。 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 DLI引擎: DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 MapReduce服务(MRS Hive) 使用MRS Hive所在的MRS集群 MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 MRS引擎的静态脱敏任务,当源端或目的端为DWS时,请参考参考:授权并绑定委托为MRS集群配置委托,并确保MRS集群安全组出方向规则满足如下要求,否则会导致静态脱敏任务失败。 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 MRS引擎的静态脱敏任务,当源端或目的端仅一端为DWS时,支持的数据类型如下。如果有其他不支持的数据类型,将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp 数据湖探索(DLI) 使用DLI Spark通用队列 DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 MapReduce服务(MRS Hive) MapReduce服务(MRS Hive) 使用源端MRS Hive所在的MRS集群 MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 数据仓库服务(DWS) 使用MRS Hive所在的MRS集群 MapReduce服务(MRS Hive)所在的MRS集群必须开启Kerberos认证,且必须安装Spark组件。 MRS引擎的静态脱敏任务,当源端或目的端为DWS时,请参考参考:授权并绑定委托为MRS集群配置委托,并确保MRS集群安全组出方向规则满足如下要求,否则会导致静态脱敏任务失败。 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 MRS引擎的静态脱敏任务,当源端或目的端仅一端为DWS时,支持的数据类型如下。如果有其他不支持的数据类型,将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp