云服务器内容精选
-
数据模型设计 数据治理 过程中，每层的表命名都有其规范，在数据集成增量集成过程中也会多增加些表字段如ext_delete_flag （删除）、ext_updated_at （数据入仓时间）。实施人员可以通过运行此功能，检测到项目中不满足要求的表，即时整改。 表命名规范检查 表命名规范检查功能用于检查目的端（DWS、 MRS -HUDI等）数据库中的表命名是否符合项目中的规范要求。项目中大多表是根据数据模型的层进行开头命名的，如： 贴源层命名：ods/sdi_业务名 维表命名：dim_{domain/subject} 主题层 dwi_{domain/suject}_(business_info)_[suffix] 、domain/suject：多为业务主题域 明细层：dwr_{domain/suject}_(business_info)_[suffix] 汇总层：dws_{domain/suject}_(business_info)_[suffix] 集市层：dm_{domain/suject}_(business_info)_[suffix] 操作步骤： 参考新建数据连接，创建需要进行检查的数据连接； 点击【规则配置】，可查看到解决方案工作台预置的表命名规范检查规则，用户可根据需要修改或新增。 规范名称：自定义名称； 规范定义：说明该规范的规则； 规范标准：把对应的规范定义转换成规则供后期检查校验，[]为可选值，{}为枚举值，()为自定义值； 规范样例：对规范定义给出详细的说明和样例； 图1 规则配置 添加监控对象，选择要监控的数据连接类型和连接名称。 图2 添加监控对象 添加采集信息，对需要进行规范检查的DB、Schema进行配置，配置规则名根据需要选择解决方案工作台预置的或新增的规范标准。 图3 添加采集信息 支持下载监控对象配置信息到本地（规则文件.xlsx），作为后续数据实施质量检查的配置文件。 图4 预览监控对象配置信息 下载的规则文件里，需要在数据连接页填充上连接的用户名和密码，并且保存。 下载探源工具。 图5 探源工具下载入口 将探源工具解压缩为jar包，并与配置文件(规则文件.xlsx)一起放在远端服务器同一目录下。要求：该服务器为Linux操作系统，且网络上能访问到要进行质量检查的数据库。 图6 探源工具 运行启动脚本：run_agent.sh。启动后，探源工具将会按照配置文件（规则文件.xlsx）的规则进行数据质量检查。 探源工具通过查询指定数据库的系统表获取相关信息，对数据库压力较小，但为了保证不影响业务，建议将探源工具的定时任务设置在凌晨等压力较小的时间段进行。 查看检查结果。 如果运行探源工具的服务器可访问公网，则检查结果可在线上报，点击界面右侧的刷新按钮即可查看；如果运行探源工具的服务器仅能在内网运行，可通过【导入】的方式将探源工具获取的结果进行导入。 图7 探源工具运行结果 图8 导入检查结果 附件字段检查 与表命名规范检查一样，可以添加需要监控的对象后配置需要采集信息的数据库、表，用户可根据需要修改/新增附加字段规范。同样，本功能模块需要运行探源工具获取检查结果。 图9 附件字段检查
-
源系统和SDI层数据一致性检测 在数据治理过程中，从源数据库实时/定时抽取指定表的数据到目的数据库中的指定位置时，会存在数据抽取问题： 数据记录条数丢失(源表和目标表数据记录条数不一致)，因此需要此功能来定时检查数据抽取是否一致 数据库表字段丢失(源表与目的表表字段不同)，原因是在项目的进行过程中，存在源系统表字段的增删改，导致数据实时同步的时候出现异常。 数据库表内容不一致（源与目的的表内容不一致），在数据的抽取过程中由于源表和目的表存在内容的格式问题，导致数据转码，造成源端与目的端数据不同。 本模块提供源系统和SDI层数据一致性检测，旨在通过以下功能解决上述问题： 表记录：对比源端与目的端表的记录条数是否一致，如果源目的数据记录条数在一个容忍范围内，则认为是一致的。 表字段：在数据迁移过程中，由于业务的变化，可能存在源端数据库部分表的字段会存在添加和删除的情况。通过配置每个表的时间戳与容忍记录数来判断表字段一致性（如果没有时间戳则查询所有的记录数）。 本模块的操作步骤同数据模型设计。 图10 表记录检查结果
-
DataArts Studio 作业监控 作业运行时长的影响因素包含计算资源的影响和处理数据的影响，因此，当作业运行时间波动很大时，表明计算资源或者表数据有问题。例如，临时表没有清理，表数据发散等等，到最后都会造成重大问题。本功能模块的作可以在这些bug产生较小的影响情况下发现并及时修改。 一般先查看作业的运行时间，如果时间有异常，再查看作业的哪些节点是否有异常。 作业监控规则配置，点击监控规则的【编辑】按钮进行编辑。 图23 作业运行时间波动范围：某个作业相对于历史平均运行时间的上下波动范围值。 节点运行时间波动范围：作业的每个节点的相对于历史平均运行时间的上下波动范围值。 创建监控对象：选择对应的Region、 IAM 项目、DataArts studio实例、DataArts studio空间 图24 创建监控对象 添加作业监控，点击对应监控对象的【添加作业监控】按钮，在弹窗中自定义作业监控名，选择job作业。 图25 添加作业监控 查看检查结果，展开监控对象，找到要查看的作业对象，点击【查看】 图26 查看检查结果 平均运行时间：该作业历史30天内执行的平均时间（中间的虚线）。 最大波动执行时间：根据波动范围所求的，相对与平均值最大波动时间（最上方的虚线）。 最小波动执行时间: 根据波动范围所求的，相对与平均值最小波动时间（最下方的虚线）。 在最大和最小波动时间内的作业，属于根据项目实际情况可接受的波动范围。超过波动则认为该作业有异常，需要通知相关人员进行定位。 图27 DataArts Studio作业监控
-
用例设计 支持手工新建集成测试、功能测试、性能测试、可靠性测试和安全测试用例。支持批量导入的方式完成手工用例新建，批量导入完成后可在导入结果中查看结果。 新建： 点击【新建】按钮进行手工创建用例。 图3 新建用例如 新建页面填写相关信息，单击【确认】按钮完成用例新建。一个用例支持插入多个测试步骤，支持调整步骤顺序。 表1 用例信息 参数 描述 需求描述 下拉选择需求描述，即选择该用例的归属需求。 用例名称 自定义测试用例名称。建议规范用例命名，在用例名称中能体现出用例所测功能点。 部署环境 下拉选择该用例部署的底座环境。 优先级 下拉选择该用例的重要程度。 描述 自定义对于该用例的描述信息。 前提条件 自定义输入执行该用例的前提条件。 步骤描述 输入该步骤的具体指定动作。 预期结果 输入该步骤执行后的预期结果。 用例附件 上传该用例需要用到的关联文件。 图4 新建用例 用例新建成功，执行状态为“待执行”。 导入： 点击【导入】按钮，在弹窗中点击【下载用例模板】 图5 用例导入入口 打开下载好的用例模板表格，根据用例模板中的备注指导信息填写用例信息，各字段的描述参考表1-用例信息，红色加粗列名为必填项。 图6 用例模板表格 请按照用例模板表格中的红色备注提示操作； 请注意没有内容的单元格中不能存在空格或换行符； 完成模板填写后，建议删除三行红色提示文字。如未删除，在导入时解决方案工作台会提示这三行校验失败，但不影响用例导入结果。 在导入弹窗中点击【选择文件】，选择用例模板文件打开。 图7 导入用例 显示校验成功，点击【确定上传】，完成用例导入。
-
用例执行 用例执行人点击对应用例“更多”、“执行”按钮来执行用例。 图8 用例管理 进入到用例执行页面，按照执行情况填写相关信息。其中，用例实际结果输入框为富文本框，支持点击最大化按钮全屏显示该富文本框。 实际结果：用例步骤执行的实际结果，支持最大化，支持粘贴截图； 备注：用例步骤执行的备注信息（可选）； 附件：用例执行的附件文件（可选）； 用例状态：包含待执行、执行中、执行完毕，选择其一； 结果备注：对于整个用例执行结果的备注信息。 如果用例状态选择”执行完毕”，必须选择执行结果，包含通过、不通过、带条件通过、不涉及。 图9 手工用例执行页面 完成后点击【确定】，保存该用例的执行信息，点击【上一个用例】【下一个用例】可以快速进入上一个/下一个用例的执行界面。 支持填写实际结果、支持修改用例状态和执行结果。支持执行用例时新建问题。 图10 用例执行
