地图-质检服务

时间:2025-02-12 14:52:48

质检服务

  1. 服务分布:
    表1 服务分布

    服务名

    服务器

    安装目录

    端口

    data-quality-manager

    10.190.x.x

    10.190.x.x

    /app/dt/data-quality-manager

    8084

  2. 安装spark提交服务
    1. 修改配置文件application-dev.yml
      1. 修改stdms.callback.url和stdms.result.url中的ip和端口,配置为CIM数据汇聚管理平台的ip和端口
      2. 采用本地模式运行,配置spark.master为local;采用集群模式运行,配置spark.master为yarn
        ```yml# 服务端口server:  port: 8084# spark任务提交模式spark:  master: local# 任务执行完成,回调CIM数据汇聚管理平台接口,通知任务完成与质检数据回传stdms:  callback:    url: http://192.168.32.89:9090/stdms/feed-back/ch-task-status  result:    url: http://192.168.32.89:9090/stdms/check-result/batch-save# 生产打开下面配置,使用jar同级config目录配置文件logging:  config: config/log4j2.xml```
    2. 启动、停止
      • 启动:

        进入data-quality-manager.jar所在路径,执行

        ```shellnohup java -jar data-quality-manager.jar &```
      • 停止:
        Kill -9 进程号
    3. 服务验证
      1. 服务启动验证与版本信息查询

        将以下地址中的ip和端口修改为实际部署ip和端口,请求接口,查看版本信息

        请求地址:http://localhost:8087/about

        请求方式:GET

      2. 服务功能验证

        质检功能验证:将以下地址中的ip和端口修改为实际部署ip和端口,以下请求将对mysql库中的user表进行相关质检

        请求地址:http://localhost:8089/dataquality/check

        请求方式:POST

        请求参数体:

        ```json{    "taskId": "7fdbcc680a4f4e929bc72d89856b00d3",    "taskName": "",    "taskTime": "2022-03-21 18:30:00",    "nodes": [        {            "connectionInfo": {                "datasourceId": 1,                "type": "MYSQL",                "host": "localhost",                "port": 3306,                "database": "demo",                "username": "root",                "password": "123456"            },            "dbRules": [                ……            ]        }    ]}```
support.huaweicloud.com/sfmcdtp-mapslt/sfmcdtp_23.html