华为云用户手册

约束与限制 DAYU Administrator、Tenant Administrator、数据安全管理员和父权限集管理员可以创建、修改或同步权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。 当前通过权限集管控权限时，仅支持 DLI 、 MRS Hive和DWS数据源。 权限集权限配置中，特殊情况下可能会出现子权限集权限超出父权限集范围的情况。例如当子权限集已配置某条权限记录后，父权限集中再删除此权限，会导致出现此情况，当前不支持级联删除权限。 权限集配置完成后，权限管控并不会直接生效，而是需要将权限集手动同步到数据源后，权限管控才能生效。 由于角色管理基于权限集提供了更加直观、强大的权限管控能力，因此除DLI数据源外，一般无需同步权限集，实际使用中推荐通过配置角色进行权限管控。如果需要同步，则需注意以下限制： 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 DWS权限集仅用于确定权限范围，不支持同步用户组以及用户的权限，仅支持同步角色的权限。因此如需使DWS权限生效，则需要关联角色，详见配置角色。 DWS权限集授权时，只支持配置到具体的某一个存在的库或schema，不支持填写“*”作为通配符。对于表或列则支持通配符，例如若要对某schema下的所有表进行授权，可将数据表填写为“*”。 DWS权限集授权时，如果给某一用户赋予了DWS数据源某个Schema下的所有表权限（即将权限中的数据表配置为*号），则该用户具备对该Schema下的所有表的相应权限。但由于DWS自身权限特性限制，这些赋予的权限仅针对当前已有的表；而对于权限同步后再创建的新表（以下简称未来表），该用户依然没有权限，需要在角色/权限集中再次手动进行 权限同步后，才能确保该用户具备未来表的相应权限。 为了解决未来表权限需要手动同步的问题，您可以通过未来表权限为指定Schema配置未来表的建表用户。当这些用户在指定Schema下创建未来表时，当前实例下所有对该Schema拥有全表权限的用户，将自动获得对所创建未来表的相应权限。 DLI权限集同步时会将权限由 IAM 创建自定义策略绑定到用户/用户组中。IAM最多可创建自定义策略200条，同步前请确保配额充足。 进行权限同步时，需要为dlg_agency委托配置相关权限，请参考授权dlg_agency委托。 当前数据权限管控为白名单机制，是在待授权用户原有权限的基础上增加允许操作条件，不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效，则需要您手动去除待授权用户的原有权限。详见数据权限管控说明。 默认在 DataArts Studio 数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集中的权限管控生效。

相关操作 同步空间权限集：空间权限集需要手动同步到数据源中权限管控才能生效。但由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，推荐通过配置角色进行权限管控。 如需同步空间权限集，则在空间权限集页面，单击列表中对应权限集操作栏中的“同步”，即可将权限集同步至数据源。当需要批量同步时，可以在勾选权限集后，在列表上方单击“同步”。 编辑空间权限集：在空间权限集页面，单击列表中对应权限集操作栏中的“编辑”，即可修改权限集名称、管理员、描述信息。 删除空间权限集：在空间权限集页面，单击列表中对应权限集操作栏中的“删除”，在弹窗中再次确认后，即可删除权限集。当需要批量删除时，可以在勾选权限集后，在列表上方单击“删除”。 注意，已配置权限、用户或有子权限集的空间权限集不可删除。如需删除应先清理空间权限集的相关配置。 空间权限集删除后将被转移至回收站中，您可以在30天内进行还原，在回收站中超过30天的数据将被自动删除。详见管理回收站章节。

创建空间权限集 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“空间权限集”，进入空间权限集页面。 在“空间权限集”页面单击“新建”，创建权限集。 图1 创建空间权限集 新建空间权限集配置请参考表1，参数配置完成单击“确定”即可。 表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集，实例下唯一。 建议名称中包含含义，避免无意义的描述，以便于快速识别所需权限集。 *管理员 选择管理员。当前权限集管理员支持最多选5个，且管理员类型必须同为用户或者用户组。 管理员为当前权限集的负责人，具有配置当前权限集内权限的能力。管理员职能范围： 权限配置：为权限集分配数据源权限。 用户配置：将当前集合内权限分配给用户、用户组或工作空间角色。 创建权限集：基于当前权限集新建权限集和角色，新建权限集的权限不会大于当前权限集。 描述 为更好地识别权限集，此处加以描述信息。 图2 创建空间权限集配置

约束与限制 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或同步空间权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。 当前通过空间权限集定义权限时，仅支持DLI、MRS Hive和DWS数据源。 空间权限集配置完成后，权限管控并不会直接生效，而是需要将空间权限集手动同步到数据源后，权限管控才能生效。 由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，实际使用中推荐通过配置角色进行权限管控。如果需要同步，则需注意以下限制： 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 DWS权限集仅用于确定权限范围，不支持同步用户组以及用户的权限，仅支持同步角色的权限。因此如需使DWS权限生效，则需要关联角色，详见配置角色。 DWS权限集授权时，只支持配置到具体的某一个存在的库或schema，不支持填写“*”作为通配符。对于表或列则支持通配符，例如若要对某schema下的所有表进行授权，可将数据表填写为“*”。 DWS权限集授权时，如果给某一用户赋予了DWS数据源某个Schema下的所有表权限（即将权限中的数据表配置为*号），则该用户具备对该Schema下的所有表的相应权限。但由于DWS自身权限特性限制，这些赋予的权限仅针对当前已有的表；而对于权限同步后再创建的新表（以下简称未来表），该用户依然没有权限，需要在角色/权限集中再次手动进行 权限同步后，才能确保该用户具备未来表的相应权限。 为了解决未来表权限需要手动同步的问题，您可以通过未来表权限为指定Schema配置未来表的建表用户。当这些用户在指定Schema下创建未来表时，当前实例下所有对该Schema拥有全表权限的用户，将自动获得对所创建未来表的相应权限。 DLI权限集同步时会将权限由IAM创建自定义策略绑定到用户/用户组中。IAM最多可创建自定义策略200条，同步前请确保配额充足。 进行权限同步时，需要为dlg_agency委托配置相关权限，请参考授权dlg_agency委托。 当前数据权限管控为白名单机制，是在待授权用户原有权限的基础上增加允许操作条件，不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效，则需要您手动去除待授权用户的原有权限。详见数据权限管控说明。 空间权限集删除后将被转移至回收站中，您可以在30天内进行还原，在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 默认在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集中的权限管控生效。

配置空间权限集 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“空间权限集”，进入空间权限集页面。 在“空间权限集”页面，找到需要配置的空间权限集，单击权限集名称进入详情页面。 图3 进入空间权限集详情 基本信息：在空间权限集详情页面，基本信息区域可以查看空间权限集名称、ID、管理员等信息，详见图4。 图4 空间权限集基本信息 权限配置：在权限集详情页面，权限配置页签默认展示数据视角，可手动切换到权限视角。在这两种视角下，配置的权限数据是互通的，差异仅为展示视角的不同，推荐您使用权限视角进行批量授权。 数据视角：数据视角下，系统从数据的角度为您提供权限配置入口，当前仅支持MRS数据源。数据视角配置权限后，权限会自动同步。 图5 数据视角权限配置 配置权限时，您可以选择“整库”、“整表”或“整列”等层级，然后在数据源信息中勾选对应层级，进行批量授权。另外，也可以在展开的导航树中，单击对应数据操作列中的“授权”，进行单一授权。 数据视图授权时，系统提供了“快速模式”和“显示无权限的资源”功能。开启快速模式的情况下，库表列的元数据会从数据目录获取，否则会从数据源获取元数据。已完成元数据采集的场景下推荐开启快速模式。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动填写数据表的表名、或者填写“*”作为通配符时，此授权实际为对表进行授权；当手动填写数据列名、或者填写“*”作为通配符时，此授权实际为对列进行授权。 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 图6 数据视角授权 权限视角：权限视角下，系统从权限的角度为您提供权限配置入口。 配置权限时，您需要直接单击“新建”，然后依次选择数据层级，进行权限配置。在权限视角下，同一层级（例如数据库、数据表或数据列）不允许选择多个对象进行批量授权。当前权限类型暂不支持选择为“禁止”。权限视角配置权限时，支持勾选“自动同步权限信息”，权限在配置后会自动同步，无需再手动进行权限同步。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动填写数据表的表名、或者填写“*”作为通配符时，此授权实际为对表进行授权；当手动填写数据列名、或者填写“*”作为通配符时，此授权实际为对列进行授权。 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 MRS Hive授权时，数据库可修改为URL，用于为存算分离场景下的OBS路径授权。存算分离场景下，使用Hive额外所需如下URL权限： 创建库：write 权限创建表/写入数据/删除表：read权限 DWS授权时，数据库可修改为逻辑集群，用于为DWS数据源开启逻辑集群功能后的授权。逻辑集群场景下，使用DWS额外所需如下逻辑集群权限： 允许在子集群中创建表对象：create 允许访问子集群下的表对象：usage 允许用户在具有compute权限的计算子集群上进行弹性计算：compute 配置权限后，在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置：在权限集详情页面，单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限，与此处的用户绑定起来。您可以单击“添加”，按照用户、用户组（当前暂不支持选择“工作空间角色”）的维度将用户添加到权限集中。其中的用户和用户组来自于当前工作空间中已添加的用户和用户组。 图8 用户配置 子权限集：在权限集详情页面，单击“子权限集”进入子权限集页签。 在子权限集页签，您可以查看到当前权限集下的子权限集。 图9 查看子权限集 日志：在权限集详情页面，单击“日志”进入日志页签。 在日志页签，当权限同步失败后，您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图10 查看日志 权限集配置完成后，权限管控并不会直接生效。需要您手动将权限同步到数据源中，同步成功后权限管控才能生效，详见同步权限集。 实际上，由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，实际使用中推荐通过配置角色进行权限管控。

前提条件 配置权限集前，已在管理中心创建 数据仓库 服务（DWS）、 数据湖探索 （DLI）、 MapReduce服务 （MRS Hive）和MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 配置权限集前，已参考授权dlg_agency委托为dlg_agency委托配置权限。 配置权限集前，已参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 如果希望在权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息，则需要在数据目录组件，对数据表成功进行过元数据采集，详见元数据采集任务。

新建用户同步任务 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“用户同步”，进入用户同步任务页面。 在用户同步任务页面，单击“新建”，新建用户同步任务。 图1 新建用户同步任务 新建用户同步任务参数配置请参考表1，参数配置完成单击“确定”，即可新建用户同步任务。 图2 配置用户同步任务 表1 配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。 *集群类型 无需选择，自动匹配集群类型。 *数据连接 无需选择，自动匹配集群数据连接中的数据源集群。 *调度时间 选择调度运行的时间段，左闭右开。 例如调度时间为00-05时，指的是在每天0点到5点时间段内，按照调度间隔进行调度，其他时间段不运行。0点会触发调度，但5点则不会触发。 *调度周期 支持按照小时或分钟进行调度。 *调度间隔 根据所选的调度周期，选择合理的调度间隔。调度间隔为距离上一次运行时间的间隔，手动同步也计入运行时间。 例如间隔为5分钟时，20:00开始调度，20:03手动执行，则下次调度时间为20:08分。 全量同步 当选择MRS集群时，支持配置是否全量用户同步，默认开启同步全量用户。 当您不需要同步全量用户时，可选择关闭此选项。 *用户/用户组 当关闭全量同步时，支持指定待同步的用户/用户组，请至少选择一位用户或一个用户组。 用户同步任务新建完成后，并不会直接运行。需要您手动同步或调度任务，任务同步成功后才能生效，详见同步或调度任务。

使用前检查checklist 表1 使用前检查checklist 检查项 是否必选 检查内容 配置指导 数据连接Agent版本 MRS/DWS权限管理时必选 CDM 集群为2.10.0.300及以上版本。 登录CDM管理控制台，进入“集群管理”，在集群列表中找到所需要的集群，然后单击集群名称，进入集群“基本信息”页面查看集群版本号。 如果非所需版本，请创建最新版本CDM集群或联系客服或技术支持人员。 Ranger组件配置 MRS权限管理时必选 MRS非安全集群Ranger组件开启同步ldap用户功能。 MRS非安全集群，由于Ranger组件默认同步unix用户，不会同步Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作详情请参考配置Ranger组件。 Ranger连接用户权限 连接中的用户具备Ranger组件Admin权限。 Ranger连接中的用户需要具备Ranger组件Admin权限，操作详情请参考准备Ranger Admin用户。 DWS集群guest_agent版本 DWS权限管理时必选 DWS集群guest_agent版本为8.2.1，或在8.2.1以上、9.0.0以下 DWS集群guest agent版本号需要通过开发者调试工具查看，操作详情请参考查看DWS集群guest agent版本。 DWS连接用户权限 非三权分立模式，连接中的用户至少需具备数据库dbadmin权限， 三权分立模式，连接中的用户需具备系统管理员权限。 非三权分立模式，参考数据库用户设置dbadmin管理员用户。 三权分立模式，参考设置三权分立设置系统管理员用户。

查看DWS集群guest agent版本 登录 GaussDB (DWS) 管理控制台，进入“集群管理”，在集群列表中找到所需要的集群。 按下F12，打开开发者调试工具，然后选择Network功能。 图1 选择Network 在DWS控制台中，单击待查看的DWS集群名称，进入集群“基本信息”页面。然后在开发者调试工具的Network请求中，寻找Name形如“clusters?type=xxxxxx”的长字符串并单击，在右侧区域中选择“Preview”，依次展开字段，查找“guest_agent_version”字段，其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本，请联系DWS服务客服或技术支持人员。

使用流程 您可通过图1了解统一权限治理的使用流程。 图1 访问权限管理使用流程图 访问权限管理支持数据权限管控、服务资源管控和Ranger权限管理，流程介绍如下： 数据权限管控流程 授权dlg_agency委托 由于数据安全使用委托时，所需的云服务权限更高。因此在使用数据安全前，需要提前为dlg_agency委托授予相关权限。 检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前，您应先检查并准备相关配置。 同步IAM用户到数据源 将IAM上的用户信息同步到数据源，以实现不同用户访问数据源时，能够根据其自身用户信息管控用户访问数据的权限。 配置空间权限集 空间权限集作为DataArts Studio工作空间内的最大权限集合，主要用于确定整个工作空间用户可访问的权限范围。 配置权限集 权限集将用户与权限直接关联，可以新建多个用于给不同使用场景的用户关联不同的权限，可通过权限同步进行权限管控（实际使用时，更推荐通过权限集关联角色进行权限管控）。 配置通用角色 配置通用角色即在数据源上创建新角色，用于承载用户和权限之间的关联关系，可以更加直观地管理权限关系、进行权限管控。 配置纳管角色 配置纳管角色即为纳管MRS数据源上已有的角色，并继承已有角色的MRS数据源权限。 配置行级访问控制 数据安全支持成员管理视图，支持查看当前工作空间内成员的权限，并进行角色/权限集管理。 同步MRS Hive和Hetu权限 数据安全支持成员管理视图，支持查看当前工作空间内成员的权限，并进行角色/权限集管理。 申请权限 进行访问权限管理时，除了可以自上而下地通过权限集/角色方式为用户授权外，也支持自下而上的用户权限申请、审批流程。 审批权限 审批人来自权限集/角色的管理员，权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后，在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时，数据源将不再使用数据连接上的账号，而是使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集或队列权限中的权限管控生效。 服务资源管控流程 配置队列权限 队列权限可以为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略。 当为工作空间分配队列资源后，在数据开发组件在为作业节点配置队列资源时，可选择的队列为当前空间下已分配的队列资源。 当为用户组/用户配置队列权限策略后，授权对象将按照策略内容被授予相应权限。 配置空间资源权限策略 数据安全支持对空间资源进行管控，例如数据连接、委托等资源。空间资源管控后，对于非授权对象的普通用户，则无权再查看并使用此资源。 Ranger权限管理流程 配置资源权限 通过统一入口创建MRS各个组件的权限策略，由Ranger组件实现权限控制。 查看权限报告 通过全面的权限报告，查看资源配置权限策略及其详情。

参数 用户可参考表1，表2和表3配置MRS Presto SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称，支持修改。 节点名称只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明： 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则，将导致提交MRS作业失败。 默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS， CSS ，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS， CS S，HIVE，CUSTOM，CloudTable和DLI类型。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输出功能的参数配置。 查看表详情 单击，查看节点输出血缘关系创建数据表的详细信息。

创建外部接口 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“ 数据加密 ”，在密钥管理页面选择“外部接口”页签，进入外部接口页签。 图1 外部接口页面 在外部接口页面单击“新建”，弹出新建接口窗口，参数配置参考新建接口参数配置。 图2 新建接口 表1 新建接口参数配置 参数名 参数设置 *名称 接口名称，只能包含中文、英文字母、数字、“_”，且长度不能超过64个字符。 *接口类型 包含加密和 消息通知 接口两种类型，请根据业务场景选择所需类型。 加密类型：主要用于在数据开发导入数据文件时，根据数据入湖检测规则实时发现敏感数据后，调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型：主要用于配置权限到期提醒时，通过选择外部接口，将权限到期提醒消息发送给外部接口所对接的第三方平台通知接口，供第三方平台分发消息。详见配置权限到期提醒。 *终端 终端地址，请输入第三方平台提供的接口公网地址。例如：https://example.com/encryption *请求方法 当前仅支持POST。 请求头 输入接口的请求头，请根据入第三方平台接口的规则填写。 说明： 请求头仅用于定义常规参数，请勿定义敏感信息。 请求参数 输入接口的请求参数，请根据入第三方平台接口的规则填写。 说明： 请求参数仅用于定义常规参数，请勿定义敏感信息。 *请求体 输入接口的请求体，此处填写的请求体主要用于外部接口的连通性测试，根据第三方平台接口的规则填写。在业务场景下调用外部接口时，系统会自动填写请求体，无需手动填写。 说明： 请求体仅用于定义常规参数，请勿定义敏感信息。 第三方平台不同类型接口的请求体格式有所差异，可参考系统默认样例： 加密类型接口。 { "scene_code":"testConnectivity", "headers":["phone"], "values":[["12310002000"]] } 消息通知类型接口。 { "subject" : "test message", "message_structure" : { "default": "test", "sms": "test" }, "message_attributes" : [ { "name" : "user_name", "type" : "STRING_ARRAY", "value" : [ "test" ] } ] } 加密交互方式 仅当接口类型为加密时，需要填写。 包含行存加密和列存加密两种方式，加密交互方式不影响最终结果。 *接口认证方式 当前仅支持用户名密码认证。 *数据连接 选择RestClient类型的数据连接，连接中的用户名密码将作为第三方平台认证凭据进行鉴权。 发送请求时，将会以{X-Client-Access-Key: RestClient数据连接用户名，X-Client-Secret-Key: RestClient数据连接密码} 的键值对方式添加到请求头中。 *代理集群名称 选择网络代理的CDM集群。 配置完成后，单击连通性测试。连通性测试会将外部接口信息封装，转发给CDM集群，由CDM集群使用https发送请求到外部加密接口，通过外部响应值来判断连通性。 测试通过后则可以单击确定，完成创建。 如果连通性测试报错：404 Not Found，则需要联系客服或技术支持人员升级CDM集群中的dlg_agent版本。

约束与限制 非DAYU Administrator、Tenant Administrator、数据安全管理员的普通用户仅能操作自己创建的文件加密任务。 文件加密当前仅支持AES256加密算法。 文件加密仅支持OBS上的CSV类型文件，文件大小限制在4M内，字符编码限制为UTF-8。 dlg_agency委托需要具备OBS服务中获取对象元数据和上传文件的权限。 文件加密任务在单Region内，加密中的任务限制在200个，超出该数量的任务，将状态置为加密失败。

相关操作 运行文件加密任务：在文件加密页面，单击对应操作栏中的“运行”，即可运行文件加密任务。文件加密任务创建后会自动执行加密，加密状态为失败的情况下才能运行任务。 下载文件加密任务：在文件加密页面，单击对应操作栏中的“下载”，即可下载加密后的文件。仅加密状态为成功的情况下才能下载加密文件。 删除文件加密任务：在文件加密页面，单击对应操作栏中的“删除”，即可删除任务。当需要批量删除时，可以在勾选任务后，在列表上方单击“批量删除”。 删除操作无法撤销，请谨慎操作。

创建文件加密任务 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“数据加密”，在密钥管理页面选择“文件加密”页签，进入文件加密页签。 图1 文件加密 点击“新建”，进入创建任务页面，参数配置参考表1 创建文件加密任务配置。 图2 创建文件加密任务 表1 创建文件加密任务配置 参数名 参数描述 *文件来源 当前仅支持OBS上的CSV类型文件。 *分隔符 行数据中不同字段之间的分隔符，当前仅支持英文逗号。 *文件路径 OBS上待加密的CSV文件路径。 *加密类型 当前仅支持密钥，使用密钥进行加密。 *密钥名称 选择已创建的密钥名称，创建密钥请参考管理密钥（高级特性）。 *加密算法 当前仅支持AES256加密算法。 *加密字段 CSV文件中待加密的字段。选择CSV文件路径后，数据安全会自动解析CSV文件的头信息。 配置完成后，单击“确定”完成任务创建。 任务创建后，会自动启动加密。加密后的OBS文件存放路径同原文件路径下，文件名称：添加后缀_encryption_13位时间戳。

约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员可以创建、修改、删除或还原密钥，其他普通用户无权限操作。 当前创建的密钥长度为32个字节，iv值长度为12个字节。 当前单个实例下最多创建50个密钥，密钥名称不允许重复。 被删除的密钥将会被转移到回收站。回收站中删除时间超过30天的密钥将会被自动清理，超过1000个密钥时先删除的密钥也会被自动清理。

创建密钥 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“数据加密”，进入密钥管理页面。 图1 密钥管理页面 点击“新建”，弹出创建密钥窗口，参数配置请参考表1。 图2 创建密钥 表1 创建密钥参数配置 参数名 参数设置 *名称 密钥名称，只能包含中文、英文字母、数字、“_”，且长度不能超过64个字符。 *密钥 密钥值，只能包含英文字母、数字、中划线，且长度为32个字符。 *IV IV值（Initial Vector，初始化向量），只能包含英文字母、数字、中划线，且长度为12个字符。 描述 对当前密钥进行简单描述，长度不能超过255个字符。 配置完成后，单击“确定”，完成密钥的创建。

相关操作 编辑展示层脱敏策略：在展示层脱敏策略页面，单击对应策略操作栏中的“编辑”，即可修改脱敏策略各项参数。 编辑展示层脱敏策略状态：新增的展示层脱敏策略默认为启用状态。当展示层脱敏策略为关闭状态时，表示该策略将不生效。 需要修改展示层脱敏策略状态时，在展示层脱敏策略页面单击对应脱敏策略中的或，即可启用或关闭展示层脱敏策略。 删除展示层脱敏策略：在展示层脱敏页面，单击对应任务操作栏中的“删除”，在弹窗中再次确认后，即可删除策略。 删除操作无法撤销，请谨慎操作。

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除展示层脱敏策略，其他普通用户仅支持查看。 展示层脱敏策略最多支持新建20个，单个策略最多配置100个规则。 展示层脱敏策略只支持扫描内容的规则，包括内置规则，以及新建的扫描内容规则。 展示层脱敏策略不支持涉及样本库脱敏的算法，不支持DWS专用脱敏算法，不支持KMS加密类算法。 展示层脱敏开启后如需生效，还需在数据开发的默认项配置中启用“展示层脱敏配置”默认项。 当前不支持转储形式的数据展示。

参考：Kafka消息格式要求 第三方平台的动态脱敏策略需要发布到Kafka消息队列，且消息格式满足要求，消息模板及参数说明如下所示。 { "mask_policy_template": { "create_time":1692839884000 //同步当前时间 "name":" task1", //动态脱敏策略名，不能与当前已有动态脱敏策略名重复 "database": "1", //数据库名 "table": "1", //数据表名 "column": "1", //字段名 "column_type":"int", //字段类型 "data_level": "1级", // 字段密级，非必填 "algorithm_config": { "name": "MASK", //动态脱敏规则名称，支持范围为MASK、MASK_SHOW_LAST_4、MASK_SHOW_FIRST_4、MASK_HASH、MASK_DATE_SHOW_YEAR、MASK_NULL、SM3 "type": "MASK", //动态脱敏规则类型，除SM3为HASH类型外，其他规则均为MASK类型 "description": "掩盖英文字符和数字", //动态脱敏规则描述 }, "datasource_type":"HIVE", //数据源类型，当前仅支持Hive "users":"aaa,bbb", //指定脱敏用户 "user_groups":"ggg" //指定脱敏用户组 "description":{ "jdbc_url": "hive2://xxx" //自定义描述，用于在失败消息中返回携带 } } }

订阅动态脱敏策略 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“动态脱敏”，进入动态脱敏页面，然后切换到“动态脱敏订阅”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”，弹出创建订阅窗口，参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明： 表1 配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到多个集群。如果希望通过多个订阅任务分别同步到多个集群，则会由于生成的策略名重复导致Kafka消息消费失败。 集群类型 无需选择，自动根据选择的集群匹配集群类型。当前仅支持同步策略到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题 选择第三方平台的动态脱敏策略发布Kafka消息的Topic主题。同一个MRS集群的一个Topic主题只能对应一个订阅任务。 调度配置 调度时间 选择每天调度生效的时间段。 建议消息量大小评估调度时间，目前消费一个数据加同步大约需要2秒。 调度周期 选择按小时还是按分钟调度。 调度间隔 选择调度间隔时间。 单击“确定”，完成动态脱敏订阅任务的创建。动态脱敏策略创建完成后，需要手动单击“启动”，启动任务调度。

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、编辑、启动、停止或同步动态脱敏订阅任务，其他普通用户无权限操作。 动态脱敏订阅仅支持订阅第三方平台中MRS Hive类型的动态脱敏策略，且动态脱敏策略中支持的脱敏规则仅限于数据安全中已支持的规则（暂不支持“自定义/保留前x后y”和“自定义/掩盖前x后y”两个自定义规则），详见表2。 通过订阅生成的动态脱敏策略名为Kafka消息中的策略名，由于数据安全不允许策略名重复，因此数据安全已有动态脱敏策略名需要避免与Kafka消息中的策略名重复。 订阅生成的动态脱敏策略名同步到Ranger后策略名为“dlsMasking-库名-表名-列名”，由于Ranger不允许策略名重复，因此Ranger已有策略名需要避免与生成的策略命名重复。 动态脱敏订阅时，数据安全通过订阅任务中的“MRS集群”+Kafka消息动态脱敏策略中的“库表列”来标识一条动态脱敏策略。当消息队列或数据安全中已存在同集群同库表列的动态脱敏策略时，则跳过不再重复生成。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这几种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这几种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群，并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限，详见参考：配置Ranger组件中的UDF相关权限。 数据安全消费Kafka消息时，需要消息的格式满足要求，详见参考：Kafka消息格式要求。 Kafka消息不满足消息格式：则记录同步失败消息日志，继续消费下一条消息，最终状态为部分失败或者同步失败。 Kafka消息合法，但是由于网络资源等原因消费失败：触发Kafka重试机制，重试3次，间隔分别为4、6、9s，如果依然失败，则记录日志，终止此次调度。 Kafka消息合法，正常消费，但是生成策略或同步Ranger时失败：记录同步失败消息日志，继续消费下一条，最终状态为部分失败或者同步失败。 失败的kafka消息最多存储16M数据。

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能，至少为工作空间管理员角色才可以创建动态水印策略，其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后，需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时，系统才会进行水印嵌入。如果数量小于等于500行，即使嵌入水印后也难以溯源。

创建动态水印策略 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“动态水印”，进入动态水印页面。 图1 进入动态水印页面 单击，开启数据开发动态水印功能。然后单击“新建”，进入新建动态水印策略页面，参数配置参考表1。 图2 新建动态水印策略参数配置 创建动态水印策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *策略名称 动态水印策略的唯一标识，DataArts Studio实例内的名称唯一。 为便于策略管理，建议名称中标明要添加水印的对象和水印内容。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时，系统会对敏感数据添加动态水印，保护敏感数据不被泄露。 *数据源类型 从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择，自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 单击“确定”，完成动态水印策略创建。

相关操作 水印提取：获得从数据开发下载的动态水印CSV数据文件后，参考水印提取进行水印溯源。 配置策略：在动态水印页面，单击对应任务操作栏中的“配置”，即可配置动态水印策略。 编辑策略状态：新增的水印策略默认为启用状态。当水印策略为关闭状态时，表示该策略将不生效。 需要修改水印策略状态时，在动态水印页面单击对应水印策略中的或，即可启用或关闭水印策略。 删除策略：在动态水印页面，单击对应任务操作栏中的“删除”，即可删除策略。当需要批量删除时，可以在勾选策略后，在列表上方单击“删除”。 删除操作无法撤销，请谨慎操作。 查看策略详情：在动态水印页面，找到需要查看的策略，单击策略名即可查看策略详情。 图3 查看策略详情

水印注入 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“文件水印”，默认进入水印注入页面。 图1 进入水印注入页面 在水印注入页面输入基本信息，参数配置请参考表1。 表1 水印注入参数配置 参数名 参数描述 *数据类型 选择文件类型。 结构化数据（csv、xml和json）。支持注入暗水印，水印内容不可见，需要进行水印提取。 非结构化数据（docx、pptx、xlsx和pdf）。支持注入明水印，可在本地打开水印文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 透明度 选择明文水印标识的透明度。 旋转角度 选择明文水印标识的旋转角度。 字体大小 选择明文水印标识的字体大小。 *数据选择 非结构化数据仅支持docx、pptx、xlsx和pdf格式文件。 单击“注入水印”，完成文件水印注入，浏览器自动下载注入后的文件。 单击“重置”可重置配置参数至默认状态。

水印提取 当前仅支持对已通过水印注入注入暗水印的结构化数据文件（csv、xml和json）进行水印提取。 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“文件水印”，然后选择“水印提取”，进入水印提取页面。 图2 进入水印提取页面 在水印提取页面输入基本信息，参数配置请参考表2。 表2 水印提取参数配置 参数名 参数描述 *数据类型 选择文件类型，当前仅支持结构化数据（csv、xml和json）。 结构化数据文件类型支持注入暗水印，水印内容不可见，需要进行水印提取。 *水印内容 无需填写，执行提取水印后会显示提取到的水印信息。 *数据选择 选择已通过水印注入注入暗水印的结构化数据文件（csv、xml和json）。 单击“提取水印”，完成文件水印提取，水印内容参数展示提取后的水印内容。 单击“重置”可重置配置参数至默认状态。

约束与限制 结构化数据文件暗水印的注入和提取时，需限制文件大小在4MB之内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列嵌入水印，如果该列的值是可枚举穷尽的，则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况，请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或动态水印注入水印后的结构化数据文件进行水印提取。

参考：动态脱敏规则介绍 MRS Hive动态脱敏规则由MRS Ranger组件提供，当前支持的规则如表2所示。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这几种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这几种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群，并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限，详见参考：配置Ranger组件中的UDF相关权限。 DWS动态脱敏规则由DWS提供，当前支持的规则如表3所示。 表2 MRS动态脱敏规则 数据类型 掩盖英文字符和数字 保留后四位 保留前四位 哈希掩盖 掩盖月份和日期 NULL掩盖 SM3 自定义/保留前x后y 自定义/掩盖前x后y TINYINT 位数不变，将数值全部替换为1 无变化，最大值为127 无变化，最小值为-128 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 SMALLINT 位数不变，将数值全部替换为1 无变化，最大值为12767 无变化，最大值为-32768 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 INT 位数不变，将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BIGINT 位数不变，将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BOOLEAN 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 FLOAT 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 DOUBLE 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 STRING 英文字母变为x，数字变为n 中文无变化，字母等变为X 中文无变化且占一位，字母等变为X 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y TIMESTAMP 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 CHAR 英文字母变为x，数字变为n 字母数字变为X，后面4位保留(定长有空格) 字母数字变为X，前面4位保留(定长有空格) 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y VARCHAR 英文字母变为x，数字变为n 后四位被保留(中文无变化且占一位)，字母等变为X 前四位被保留(中文无变化且占一位)字母等变为X 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y DATE 年月日变为0001-01-01 年月日变为0001-01-01 年月日变为0001-01-01 值变为NULL year保留，其他数值变为01 值变为NULL 不支持 不支持 不支持 表3 DWS动态脱敏规则 数据类型 全掩码 保留后4位，其余脱敏为‘*’ 保留前2位，其余脱敏为‘*’ 自定义 字符类型 bpchar、varchar、text、inet、macaddr、uuid、char、txt 全部脱敏为空。 后四位被保留，其余脱敏为“*” 前两位被保留，其余脱敏为“*” 自定义脱敏开始和结束位置，脱敏字符 数值类型 numeric、int2、int8、money、float8、float4、interval、decimal、double precision、real、integer、smallint、bigint 全部脱敏为“0” 不支持 不支持 自定义脱敏开始和结束位置，脱敏字符 时间类型 timestamp、time、timetz、timestamptz、date、time without time zone、timestamp without time zone、time without time zone、timestamp without time zone 全部脱敏为固定值 不支持 不支持 自定义勾选脱敏目标为年、月、日等 其他类型 全部脱敏为固定值 不支持 不支持 不支持

相关操作 同步策略：在动态脱敏页面，单击对应任务操作栏中的“同步”，即可将该策略同步到数据源中。当需要批量同步时，可以在勾选策略后，在列表上方单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败，可通过查看策略详情查看策略运行日志，通过日志排查同步失败原因。待问题修复后请重新同步，如果仍同步失败，请联系技术支持人员协助处理。 编辑策略：在动态脱敏页面，单击对应任务操作栏中的“编辑”，即可编辑动态脱敏策略。 删除策略：在动态脱敏页面，单击对应任务操作栏中的“删除”，在弹窗中再次确认后，即可删除策略。当需要批量删除时，可以在勾选策略后，在列表上方单击“删除”。 动态脱敏策略删除后将被转移至回收站中，您可以在30天内进行还原，在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 查看策略详情：在动态脱敏页面，通过同步状态筛选策略或直接找到需要查看的策略，单击策略名即可查看策略详情。 图3 查看策略详情