华为云用户手册

更多操作 创建和关联流水线完成后，您还可以执行如下表2所示操作。 表2 更多操作 操作 步骤 查看流水线运行历史 在流水线列表中单击流水线名称，进入“流水线运行历史”页面： 选择“流水线详情”页签，查看流水线编排的详情。 选择“执行历史”页面，选择时间段，可查看该时间段的流水线执行详情信息。 执行流水线 在当前服务版本的流水线列表中已关联的流水线所在行的“操作”列，单击“执行”。 在“执行构建”对话框，单击“确定”，流水线开始构建版本的发布软件包。 说明： 在流水线进行中，单击“操作”列“终止”可停止构建。 一个版本可多次重复执行发布构建，但以最后一次的构建结果为准。 解除关联流水线 在流水线列表“操作”列，单击“解除关联”。 单击“确认”，解除此流水线与当前版本的关联。 版本基线化 版本基线化是版本发布前的必要操作。在申请版本标准发布前，需要通过版本基线化将流水线执行完的发布构建产物（软件包）复制至OBS中心。 具体操作请参见版本基线化。

使用须知 流水线管理是开发中心结合流水线CodeArts Pipeline和编译构建CodeArts Build服务的能力，提供可视化、可编排的CI/CD持续交付软件生产线，帮助企业快速转型，实现DevOps持续交付高效自动化，缩短应用TTM（Time to Market）交付周期，提升研发效率。 流水线服务本质上是一个可视化的自动化任务调度平台，需要配合软件开发生产线中编译构建、代码检查、测试计划、部署等服务的自动化任务使用。根据用户需要的场景，如开发测试环境应用部署、生产环境应用部署等，对这些自动化任务进行自定义编排，一次配置后就可以一键自动化触发调度执行，避免频繁低效的手工操作。 关于流水线的详细介绍文档请参考流水线CodeArts Pipeline和编译构建 CodeArts Build。

查看监控指标数据 以采集弹性云服务器的监控指标为例，查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。 在支持监控的服务列表页面查看对应的监控指标参考文档。 在参考文档中查看命名空间，弹性云服务器对应的命名空间为“SYS.E CS ”。 查看监控指标的指标ID和测量对象（维度），例如监控指标CPU使用率的指标ID为“cpu_util”，测量对象为“云服务器”。 查看维度的Key和Value，云服务器维度的Key和Value分别为instance_id和云服务器ID。

更多操作 创建版本完成后，您还可以执行如下表2所示的操作。 表2 更多操作 操作 说明 编辑版本 说明： 可编辑未发布的版本，不可编辑已发布的版本。 在“版本管理”页面的版本列表中，单击“操作”列的“编辑”。 在“编辑版本”页面，可编辑版本描述、版本类型、产能、版本开始时间和版本发布时间。 单击“提交”。 删除版本 说明： 可删除未发布的版本，不可删除已发布的版本。 删除版本后其名下全部内容将同步被清空，此操作无法恢复，请谨慎操作。 在“版本管理”页面的版本列表中，单击“操作”列的“删除”。 在“删除版本”对话框，根据界面提示在文本框输入“确定删除”，并勾选“我已知悉，强制删除”。 单击“确定”。

步骤2：使用 IAM 账户 获取Token 以获取华北-北京四（cn-north-4）区域的Token为例。 POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens Request Header: Content-Type: application/json Request Body: { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", //子账户名称 "password": "********", //子账户密码 "domain": { "name": "domainname" //主账户名称 } } } }, "scope": { "project": { "name": "project name" //区域名称，如cn-north-4 } } } }

如何给子账户添加CBS系统角色 本章节以添加系统角色CBS Administrator为例描述给子账户添加CBS系统角色的操作方法。 管理员在控制台右上角用户名的下拉框中单击“ 统一身份认证 ”。 创建用户组并授权。 进入“统一身份认证”服务，在“用户组”页签，单击右上角“创建用户组”。 输入用户组名称，单击“确定”。 在用户组的操作列单击“授权”。 图1 用户组授权 在“选择策略”页面搜索CBS Administrator，并勾选CBS Administrator权限，单击“下一步”。 图2 勾选CBS Administrator权限 设置最小授权范围。系统会根据您所选择的策略，自动推荐授权范围方案，您也可以根据需要选择其他合适的授权作用范围。 单击“确定”，授权完成。 创建用户并加入用户组。 在“用户”页签，单击右上角“创建用户”。 填写用户基本信息，单击“下一步”。 在“加入用户组”页面勾选已创建的用户组名称。 图3 加入用户组 单击“立即创建”，用户创建完成。 父主题： 智能问答机器人

计算节点部署方式 云租户部署： 数据上云的用户可以选择“云租户部署”。 可信计算 节点部署在华为云租户的 虚拟私有云VPC 中，可信计算节点组件部署在基于华为云CCE服务的容器中。 当前仅支持直接创建CCE集群，不支持选择已有集群。您需要配置CCE集群的部署规格、虚拟私有云、子网、节点密码、弹性IP等信息。 关于CCE集群的更多信息可参考CCE。 选择边缘节点部署计算节点： 数据不上云的用户可以选择“边缘节点部署”。数据不需要上传到云上，通过纳管节点的方式，即可参与多方安全计算或者联邦学习任务，关于IEF边缘节点的更多信息可参考IEF。 您可参考纳管节点来纳管节点，注意：纳管节点防火墙需要开通30000-65535端口，且需要建立消息端点和消息路由，步骤如下： 登录IEF服务，选择左侧“边 云消息 ”列，选择“消息端点”。 创建消息端点，填写相关参数。 “消息端点类型”选择“边缘端点（ServiceBus）”； “消息端点名称”参数值为“tics-agent”； “服务端口”参数值为“30000”。 选择左侧“边云消息”列，单击“消息路由”，勾选“专业版服务实例”，填写相关参数。 “消息路由名称”参数值为“tics-agent-route”； “源端点”参数值为“SystemREST”； “源端点资源”参数值为“/tics-agent”； “目的端点”参数值为“tics-agent”； “目的端点资源”参数值为“/”。

背景信息 本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院，另一部分数据存储在某个其他机构，不同机构数据所包含的特征相同。 这种情况下，xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为 TICS 可信智能计算平台的横向联邦功能，实现在患者隐私不泄露的前提下，利用其他机构的医疗数据提升乳腺癌预测模型的准确率。 进一步地，可根据该模型案例发散，构建老年人健康预测、高血压预测、失能早期预警模型等。 图1 乳腺癌预测研究应用场景示意 作业发起方通过计算节点上传数据、待训练模型的定义文件； 作业发起方配置TICS的横向联邦学习作业，启动训练； 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换； 训练过程中，各参与方计算节点会在本地生成子模型，由TICS负责安全聚合各子模型的参数，得到最终的模型； 空间的整体配置通过空间管理员进行统一管理。

开发环境简介 在进行多方安全计算应用开发时，要准备的环境如表1所示。 同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 准备项 准备项 说明 购买TICS服务 在TICS控制台通过下单建立数据空间，或者将租户加入已有的数据空间。 部署计算节点 在TICS控制台通过下单购买计算节点，支持接入数据空间进行操作。 创建连接器 在计算节点中，通过连接器连接数据源，用于后续的加密计算操作。 网络 确保计算节点能够与TICS空间部署节点互联互通。 父主题： 环境准备

创建连接器 用户登录TICS控制台。 进入TICS控制台后，单击页面左侧“计算节点管理”。 在“计算节点管理”页面，查找需要发布数据的计算节点名称，单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页，单击“前往计算节点”，在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 登录成功后，进入到计算节点界面，选择左侧导航栏中“连接器管理”，单击“创建”，在弹出的界面配置创建连接器的参数，配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器（以RDS服务为例） 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连接时，需要选择Hive版本，当前仅支持 MRS 2.x和MRS3.x版本，选择的MRS集群需与当前计算节点部署CCE或IEF（非云上IEF节点不支持接入Hive）在同一VPC。“用户名”为MRS集群中拥有Hive权限的集群用户，“用户认证凭据”需要上传对应用户的认证凭据，MRS2.x版本请在 MapReduce服务 的下载用户认证文件中获取，MRS3.x版本请在导出认证凭据文件中获取。 “连接器类型”选择RDS服务时，所选择的RDS服务实例需与计算节点在同一VPC下，且端口开放。填写的用户名，需具有数据库的读写权限（参考修改权限）。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时，需保证计算节点与数据库所在虚机的连通性，“驱动文件”需与目标MySQL数据库版本一致。驱动类名com.mysql.cj.jdbc.Driver，仅支持mysql-connector-java-5.x以后的版本，驱动文件请在Mysql驱动下载地址中获取。 “连接器类型” 选择DWS连接时，填写的用户名，需具有数据库的读写权限（参考权限管理）。“密码”为该用户登录DWS实例的密码。 “连接器类型” 选择ORACLE连接时，需保证计算节点与数据库的连通性，当前仅支持ORACLE 12c和19c版本。驱动文件需与目标ORACLE数据库版本一致，请在ORACLE驱动下载地址中获取。 “连接器类型” 选择API连接时，需保证计算节点与api接口的连通性，当前仅支持基础认证方式。 连接器名称 根据实际情况设置即可。 数据库版本 “连接器类型”选择MySql和ORACLE时，呈现此参数。根据实际情况设置即可。 数据库名称 “连接器类型”选择ORACLE时，呈现此参数。根据实际情况设置即可。 数据库服务器 “连接器类型”选择ORACLE时，呈现此参数。用户根据实际情况设置。 端口 “连接器类型”选择ORACLE时，呈现此参数。用户根据实际情况设置。 实例名称 “连接器类型”选择RDS或DWS服务时，呈现此参数。下拉选择实例即可。 数据库 “连接器类型”选择DWS服务时，呈现此参数。可手动输入DWS服务里面购买的数据库名称。 用户名 用户根据实际情况设置。 密码 用户根据实际情况设置。 驱动类名 “连接器类型”选择MySql和ORACLE时，呈现此参数。根据实际情况设置，注意驱动类名com.mysql.cj.jdbc.Driver仅支持mysql-connector-java-5.x以后的版本。 JDBC URL “连接器类型”选择MySql时，呈现此参数。JDBC访问端口。取值样例：198.0.0.1：3306。 驱动文件 “连接器类型”选择MySql和ORACLE时，呈现此参数。JDBC驱动。 其他属性 “连接器类型”选择MySql时，呈现此参数。用户根据实际情况设置任务所需的Key和Value。

前提条件 计算节点处于运行中，且所在空间信息的“认证状态”为“已认证”。 建议使用者提前了解MapReduce服务（MRS Hive）集群。 “连接器类型”选择MapReduce服务（MRS Hive）时，选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名，需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。

开发流程 图1 开发流程 表1 开发流程 阶段 说明 参考文档 了解基本概念 在开始开发前，需要了解多方安全计算的基本概念。 常用概念 准备TICS执行环境 TICS执行环境当前依赖TICS空间、计算节点和连接器。 环境准备 根据场景编写sql程序 当前多方安全计算支持通过编写sql语句，来构建多方安全计算业务场景的计算任务。 使用场景 运行程序及查看结果 指导用户将开发好的sql在计算节点控制台进行提交运行，并查看结果。 可验证代码示例 父主题： 服务介绍

基于MPC算法的高安全级别计算 完成demo验证阶段，为提升数据保护级别，接入以纯密文的状态做计算的更高安全级别的数据，可以通过开启高隐私级别开关，提升空间安全级别。 图1 高隐私级别开关 再次单击作业，审批进行的同时敏感数据被进行了同态加密。DAG图显示了“psi + 同态”的全过程流向，基本符合业界已公开的PSI算法流程和同态加密流程。 图2 加密流程 图3 加密流程 父主题： 可验证代码示例

场景介绍 时序表继承普通表的行存和列存语法，降低了用户学习成本，易理解和使用； 时序表具备数据生命周期管理的能力，每天各种维度的数据爆炸式增长，需要定期给表增加新的分区，避免新数据无法存储。而对于很久之前的数据，其价值较低且不经常访问，可以定期删除无用的数据。因此时序表需要具备定时增加分区和定时删除分区的能力。 本实践主要讲解如何快速创建适合自己业务的时序表，并对时序表进行分区管理，从而真正发挥时序表的优势。将对应的列指定为合适的类型，能够帮助我们更好的提高导入、查询等场景的性能，让业务场景运行的更加高效。如下图所示，以发电机组数据采样为例： 图1 发电机组数据采样示意图

创建时序表（手动设置分区边界） 手动指定分区边界的起始值，例如手动设置默认的分区边界时间P1为“2022-05-30 16:32:45”、P2为“2022-05-31 16:56:12”，创建时序表GENERATOR1如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATE TABLE IF NOT EXISTS GENERATOR1( genset text TSTag, manufacturer text TSTag, model text TSTag, location text TSTag, ID bigint TSTag, voltage numeric TSField, power bigint TSField, frequency numeric TSField, angle numeric TSField, time timestamptz TSTime) with (orientation=TIMESERIES, period='1 day') distribute by hash(model) partition by range(time) ( PARTITION P1 VALUES LESS THAN('2022-05-30 16:32:45'), PARTITION P2 VALUES LESS THAN('2022-05-31 16:56:12') ); 查询当前时间： 1 2 3 4 select now(); now ------------------------------- 2022-05-31 20:36:09.700096+08(1 row) 查询分区以及分区边界： 1 2 3 4 5 6 7 8 SELECT relname, boundaries FROM pg_partition where parentid=(SELECT oid FROM pg_class where relname='generator1') order by boundaries ; relname | boundaries -------------+---------------------------- p1 | {"2022-05-30 16:32:45+08"} p2 | {"2022-05-31 16:56:12+08"} p1654073772 | {"2022-06-01 16:56:12+08"} p1654160172 | {"2022-06-02 16:56:12+08"} ......

步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置 DLI 作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。 浏览器访问https://mvnrepository.com/artifact/com.huaweicloud.dws。 在软件列表中选择最新版本的DWS Connectors Flink，本实践选择DWS Connector Flink 2 12 1 12。 单击“1.0.4”分支，实际请以官网发布的新分支为准。 单击“View ALL”。 单击dws-connector-flink_2.12_1.12-1.0.4-jar-with-dependencies.jar，下载到本地。 创建OBS桶，本实践桶名设置为obs-flink-dws，并将此文件上传到OBS桶下，注意桶也保持与DLI在一个区域下，本实践为 华北-北京四。 图15 上传jar包到OBS桶

步骤二：创建绑定ELB的DWS集群和目标表 创建独享型弹性负载均衡服务ELB，网络类型选择IPv4私网即可，区域、VPC选择与Kafka实例保持一致，本实践为“华北-北京四”。 创建集群，为 GaussDB (DWS)绑定弹性负载均衡 ELB，同时为确保网络连通，GaussDB(DWS)集群的区域、VPC选择与Kafka实例保持一致，本实践为“华北-北京四”，虚拟私有云与上面创建Kafka的虚拟私有云保持一致。 在GaussDB(DWS)控制台的集群管理页面，单击指定集群所在行操作列的“登录”按钮。 本实践以8.1.3.x版本为例，8.1.2及以前版本不支持此登录方式，可以使用Data Studio连接集群。 登录用户名为dbadmin，数据库名称为gaussdb，密码为创建GaussDB(DWS)集群时设置的dbadmin用户密码，勾选“记住密码”，打开“定时采集”，“SQL执行记录”，单击“登录”。 图4 登录DWS 单击“gaussdb”库名，再单击右上角的“SQL窗口”，进入SQL编辑器。 复制如下SQL语句，在SQL窗口中，单击“执行SQL”，创建目标表user_dws。 1 2 3 4 5 6 CREATE TABLE user_dws ( id int, name varchar(50), age int, PRIMARY KEY (id) );

场景描述 了解GaussDB(DWS)的基本功能和数据导入，对某公司与供应商的订单数据分析，分析维度如下： 分析某地区供应商为公司带来的收入，通过该统计信息可用于决策在给定的区域是否需要建立一个当地分配中心。 分析零件/供货商关系，可以获得能够以指定的贡献条件供应零件的供货商数量，通过该统计信息可用于决策在订单量大，任务紧急时，是否有充足的供货商。 分析小订单收入损失，通过查询得知如果没有小量订单，平均年收入将损失多少。筛选出比平均供货量的20％还低的小批量订单，如果这些订单不再对外供货，由此计算平均一年的损失。

支持区域 当前已上传OBS数据的区域如表1所示。 表1 区域和OBS桶名 区域 OBS桶名 华北-北京一 dws-demo-cn-north-1 华北-北京二 dws-demo-cn-north-2 华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4 中国-香港 dws-demo-ap-southeast-1 亚太-新加坡 dws-demo-ap-southeast-3 亚太-曼谷 dws-demo-ap-southeast-2 拉美-圣地亚哥 dws-demo-la-south-2 非洲-约翰内斯堡 dws-demo-af-south-1 拉美-墨西哥城一 dws-demo-na-mexico-1 拉美-墨西哥城二 dws-demo-la-north-2 莫斯科二 dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1

支持区域 当前已上传OBS数据的区域如表1所示。 表1 区域和OBS桶名 区域 OBS桶名 华北-北京一 dws-demo-cn-north-1 华北-北京二 dws-demo-cn-north-2 华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4 中国-香港 dws-demo-ap-southeast-1 亚太-新加坡 dws-demo-ap-southeast-3 亚太-曼谷 dws-demo-ap-southeast-2 拉美-圣地亚哥 dws-demo-la-south-2 非洲-约翰内斯堡 dws-demo-af-south-1 拉美-墨西哥城一 dws-demo-na-mexico-1 拉美-墨西哥城二 dws-demo-la-north-2 莫斯科二 dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1

步骤四：车辆分析 执行Analyze 用于收集与数据库中普通表内容相关的统计信息，统计结果存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。 执行以下语句生成表统计信息： 1 ANALYZE; 查询数据表中的数据量 执行如下语句，可以查看已加载的数据条数。 1 2 SET current_schema= traffic_data; SELECT count(*) FROM traffic_data.gcjl; 车辆精确查询 执行以下语句，指定车牌号码和时间段查询车辆行驶路线。GaussDB(DWS) 在应对点查时秒级响应。 1 2 3 4 5 6 SET current_schema= traffic_data; SELECT hphm, kkbh, gcsj FROM traffic_data.gcjl where hphm = 'YD38641' and gcsj between '2016-01-06' and '2016-01-07' order by gcsj desc; 车辆模糊查询 执行以下语句，指定车牌号码和时间段查询车辆行驶路线，GaussDB(DWS) 在应对模糊查询时秒级响应。 1 2 3 4 5 6 7 SET current_schema= traffic_data; SELECT hphm, kkbh, gcsj FROM traffic_data.gcjl where hphm like 'YA23F%' and kkbh in('508', '1125', '2120') and gcsj between '2016-01-01' and '2016-01-07' order by hphm,gcsj desc;

迁移后数据一致性验证 使用gsql连接DWS的test01集群。 gsql -d test01 -h 数据库主机IP -p 8000 -U dbadmin -W 数据库用户密码 -r; 查询test01库的表。 1 select * from pg_tables where schemaname= 'public'; 图11 查询test01库的表 查询每个表的数据是否齐全，字段是否完整。 1 2 select count(*) from table name; \d+ table name; 图12 查询表字段 图13 查询表数据 抽样检查，验证表数据是否正确。 1 select * from persons where city = ‘Beijing' order by id_p; 图14 验证表数据 重复执行2~4查看其它库和表数据是否正确。

创建GaussDB(DWS)集群 参见创建集群进行创建，区域可选择“华北-北京四”。 确保GaussDB(DWS)集群与 CDM 集群在同一区域，同一个VPC下。 参见使用gsql客户端连接集群连接到集群。 创建迁移前数据检查的目标数据库test01和test02，确保与原MySQL的数据库同名，数据库编码一致。 1 2 create database test01 with encoding 'UTF-8' dbcompatibility 'mysql' template template0; create database test02 with encoding 'UTF-8' dbcompatibility 'mysql' template template0;

场景描述 图1 迁移场景 主要包括云上和云下的MySQL数据迁移，支持整库迁移或者单表迁移，本文以云下MySQL的整库迁移为例。 云下MySQL数据迁移： CDM通过公网IP访问MySQL数据库，CDM与GaussDB(DWS)在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。 云上RDS-MySQL数据迁移： RDS、CDM和GaussDB(DWS)均在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。如果云上RDS与DWS不在一个VPC，则CDM通过弹性公网IP访问RDS。

免费体验 数据分析实验室是华为云官方实验平台，实验环境为华为云现网环境，整个实验过程完全免费。供您在最短时间内体验GaussDB(DWS)真实环境，快速上手。 开发者可通过表1实验手册指导，使用环境中预置的华为云账号，一键创建GaussDB(DWS)实验环境，在云端体验GaussDB(DWS)的数据导入、访问MRS集群、多维度分析、权限管理、JDBC开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长 导入分析 快速入门 一键式创建GaussDB(DWS)集群，上传csv本地数据到 云存储 OBS桶，通过创建OBS外表实现数据导入并简单分析。 1h 零售业经营多维度分析 环境已预置样例数据在OBS桶，通过创建OBS外表导入样例数据，再使用聚合函数、group by、order by、视图进行多维度分析。 1.5h SQL on Hadoop 导入MRS-Hive数据源 创建 数据仓库 集群GaussDB(DWS)，并导入MRS的Hive数据，实现跨集群进行大数据融合分析。 1.5h 二次开发 使用Java进行二次开发 使用JDBC驱动连接GaussDB(DWS)进行二次开发，熟悉简单的适配DWS的Java开发用例。 1.5h 数据迁移 从老DWS集群迁移数据到新DWS集群 本实验指导用户创建数据仓库集群GaussDB(DWS)并将老GaussDB(DWS)整库迁移到新的GaussDB(DWS)。同时，针对使用自增序列导致的性能问题场景，指导用户排查原因并提供优化方法。 2~3h 基于gds实现跨集群数据互联互通 本实验通过部署GDS服务器，使用GDS导入导出的并发能力，实现双DWS集群之间1500万行数据分钟级迁移。 2h 安全管理 权限管理 通过实验创建不同用户，不同Schema，基于权限管理实现数据的隔离和互访，了解用户、角色的关系，了解grant的基本用法，了解基于角色的权限管理(RBAC)。 1.5h 使用数据脱敏实现卡号等隐私信息屏蔽 本实验通过创建数据仓库服务GaussDB(DWS)并使用DWS的数据脱敏功能，针对不同用户设置部分数据列的屏蔽，实现敏感数据脱敏，确保数据安全。 1h 高级特性 冷热数据管理 指导用户创建数据仓库集群GaussDB(DWS)，并创建冷热分区表实现冷热数据分区管理，不仅可以提高数据分析性能还能降低业务成本。 1h 调优 性能调优 指导用户使用GaussDB(DWS)进行性能调优。通过本实验掌握通过EXPLAIN语句查询执行计划的方法，了解GaussDB(DWS)几种常见的SQL调优手段。 2h 云原生3.0 云原生3.0数仓-存算分离 本实验指导用户创建GaussDB(DWS)新一代Serverless云原生数仓，并体验Serverless存算分离架构下的极致查询。 2h 云原生3.0数仓-湖仓一体 本实验指导用户创建GaussDB(DWS)新一代Serverless云原生数仓，通过EXTERNAL SCHEMA访问MRS的Hive数据，体验湖仓一体、存算分离等极致查询的高级特性。 2h

查看冷热表数据分布 查看单表数据分布情况。 1 2 3 4 5 6 7 SELECT * FROM pg_catalog.pg_lifecycle_table_data_distribute('lifecycle_table'); schemaname | tablename | nodename | hotpartition | coldpartition | switchablepartition | hotdatasize | colddatasize | switchabledatasize ------------+-----------------+--------------+--------------+---------------+---------------------+-------------+--------------+-------------------- public | lifecycle_table | dn_6001_6002 | p1,p2,p3,p8 | | | 96 KB | 0 bytes | 0 bytes public | lifecycle_table | dn_6003_6004 | p1,p2,p3,p8 | | | 96 KB | 0 bytes | 0 bytes public | lifecycle_table | dn_6005_6006 | p1,p2,p3,p8 | | | 96 KB | 0 bytes | 0 bytes (3 rows) 查看所有冷热表数据分布情况。 1 2 3 4 5 6 7 SELECT * FROM pg_catalog.pg_lifecycle_node_data_distribute(); schemaname | tablename | nodename | hotpartition | coldpartition | switchablepartition | hotdatasize | colddatasize | switchabledatasize ------------+-----------------+--------------+--------------+---------------+---------------------+-------------+--------------+-------------------- public | lifecycle_table | dn_6001_6002 | p1,p2,p3,p8 | | | 98304 | 0 | 0 public | lifecycle_table | dn_6003_6004 | p1,p2,p3,p8 | | | 98304 | 0 | 0 public | lifecycle_table | dn_6005_6006 | p1,p2,p3,p8 | | | 98304 | 0 | 0 (3 rows)

冷热数据切换 切换冷数据至OBS表空间。 自动切换：每日0点调度框架自动触发，无需关注切换情况。 可使用函数pg_obs_cold_refresh_time(table_name, time)自定义自动切换时间。例如，根据业务情况调整自动触发时间为每天早晨6点30分。 1 2 3 4 5 SELECT * FROM pg_obs_cold_refresh_time('lifecycle_table', '06:30:00'); pg_obs_cold_refresh_time -------------------------- SUC CES S (1 row) 手动切换。 使用ALTER TABLE语句手动切换单表： 1 2 ALTER TABLE lifecycle_table refresh storage; ALTER TABLE 使用函数pg_refresh_storage()批量切换所有冷热表： 1 2 3 4 5 SELECT pg_catalog.pg_refresh_storage(); pg_refresh_storage -------------------- (1,0) (1 row)

创建冷热表 创建列存冷热数据管理表lifecycle_table，指定热数据有效期LMT为100天。 1 2 3 4 5 6 7 8 9 CREATE TABLE lifecycle_table(i int, val text) WITH (ORIENTATION = COLUMN, storage_policy = 'LMT:100') PARTITION BY RANGE (i) ( PARTITION P1 VALUES LESS THAN(5), PARTITION P2 VALUES LESS THAN(10), PARTITION P3 VALUES LESS THAN(15), PARTITION P8 VALUES LESS THAN(MAXVALUE) ) ENABLE ROW MOVEMENT;

场景介绍 海量大数据场景下，随着业务和数据量的不断增长，数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求，对膨胀的数据进行“冷热”分级管理，不仅可以提高数据分析性能还能降低业务成本。针对数据使用的一些场景，可以将数据按照时间分为：热数据、冷数据。 冷热数据主要从数据访问频率、更新频率进行划分。 Hot（热数据）：访问、更新频率较高，对访问的响应时间要求很高的数据。 Cold（冷数据）：不允许更新或更新访问频率较低，对访问的响应时间要求不高的数据。 用户可以定义冷热管理表，将符合规则的冷数据切换至OBS上进行存储，可以按照分区自动进行冷热数据的判断和迁移。 图1 冷热数据管理 冷热切换的策略名称支持LMT（last modify time）和HPN（hot partition number），LMT指按分区的最后更新时间切换，HPN指保留热分区的个数切换。 LMT：表示切换[day]时间前修改的热分区数据为冷分区，将该数据迁至OBS表空间中。其中[day]为整型，范围[0, 36500]，单位为天。 HPN：表示保留HPN个有数据的分区为热分区。在冷热切换时，需要将数据迁移至OBS表空间中。其中HPN为整型，范围为[0,1600]。

约束限制 在使用分区管理功能时，需要满足如下约束： 不支持在小型机、加速集群、单机集群上使用。 支持在8.1.3及以上集群版本中使用。 仅支持行存范围分区表、列存范围分区表、时序表以及冷热表。 分区键唯一且类型仅支持timestamp、timestamptz、date类型。 不支持存在maxvalue分区。 (nowTime - boundaryTime) / period需要小于分区个数上限，其中nowTime为当前时间，boundaryTime为现有分区中最早的分区边界时间。 period、ttl取值范围为1hour ~ 100years。另外，在兼容Teradata或MySQL的数据库中，分区键类型为date时，period不能小于1day。 表级参数ttl不支持单独存在，必须要提前或同时设置period，并且要大于或等于period。 集群在线扩容期间，自动增加分区会失败，但是由于每次增分区时，都预留了足够的分区，所以不影响使用。