云服务器内容精选

  • 通过逆向数据库导入物理表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到物理表目录中,使其变成物理表。 在数据架构控制台,单击左侧导航树中的“关系建模”,进入关系建模页面,选择一个物理表进入。 在物理表的列表上方,单击“逆向数据库”。 在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。 表7 逆向数据库配置 参数名称 说明 *所属主题 在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型,请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到物理表目录中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。创建数据连接的操作,请参见管理数据连接。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 *队列 DLI队列。仅当“数据连接类型”选择“DLI”时,该参数有效。 更新已有表 如果从其他数据源逆向过来的表,在物理表中已存在同名的表,选择是否更新已有的物理表。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图13 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功,单击“关闭”。如果逆向失败,您可以查看失败原因,问题解决后,选中失败的表,然后单击“重新逆向”进行重试。 图14 逆向结果
  • 新建物理模型 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 图1 选择数据架构 在数据架构控制台,单击左侧导航树中的“关系建模”。 在“关系建模”页面,如果当前未创建过关系模型,系统会弹出“新建分层治理模型”提示框,提示您创建关系建模下SDI和DWI层的物理模型。如果不是首次创建,可在物理模型处单击按钮新建物理模型。 根据数据治理方法论,以及关系建模和维度建模方法,数仓分层的模型默认为4层,层级含义介绍如下: 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。 SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模需要基于维度,新建DWR层模型,最终将数据汇总到DM层模型中。 DWR:Data Warehouse Report,又称数据报告层。DWR基于多维模型,和DWI层数据粒度保持一致。 DM (Data Mart):又称数据集市。DM面向展现层,数据有多级汇总。 数仓分层的4层层级的名称支持由管理员自定义,单击层级名后的即可重命名。重命名建议能够区分不同层级,规则为只能包含英文字母、中文、数字、下划线,且以英文字母或中文开头。 图2 新建分层治理模型 图3 新建物理模型 在弹出窗口中配置如下参数,然后单击“确定”。 图4 配置物理模型 表1 参数描述 参数名称 说明 *模型名称 只能包含中文、英文字母、数字和下划线。 *数据连接类型 下拉选择数据连接类型。 数仓分层 下拉选择SDI或DWI分层。 SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 前缀校验 只能包含英文字母、数字和下划线,且英文字母开头。 说明: 在物理模型中新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀,没有的话系统会自动添加前缀。 描述 描述信息。支持的长度0~600字符。
  • 响应示例 状态码: 200 Success,返回data数据是 TableModelVO { "data" : { "value" : { "id" : "1012314146584301568", "model_id" : "873242752312385536", "parent_table_id" : null, "parent_table_name" : null, "parent_table_code" : null, "model" : null, "data_format" : "Parquet", "obs_bucket" : null, "obs_location" : null, "configs" : "{}", "table_type" : "MANAGED", "owner" : "", "tb_name" : "staff_info", "dw_id" : "2c9080f07b03db8d017b198a4a20002f", "db_name" : "ctz_test", "queue_name" : "default", "schema" : "", "extend_info" : "{\"dirtyOutDatabase\":\"\",\"dirtyOutPrefix\":\"\",\"dirtyOutSuffix\":\"\",\"dirtyOutSwitch\":\"false\"}", "tb_guid" : null, "tb_id" : "NativeTable-2c9080f07b03db8d017b198a4a20002f-ctz_test-staff_info", "logic_tb_name" : "staff_info", "logic_tb_guid" : "1ab1a58b-9412-4901-bb80-4ccaaa0580e4", "description" : "无", "status" : "PUBLISHED", "logic_tb_id" : null, "biz_catalog_id" : "1012306178602041344", "catalog_path" : "工厂/人员管理/人员档案", "create_by" : "abc", "update_by" : "abc", "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:45+08:00", "tags" : [ ], "approval_info" : null, "new_biz" : null, "attributes" : [ { "id" : "1012314146626244608", "name_en" : "id", "name_ch" : "主键", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : true, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : true, "ordinal" : 1, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146626244609", "name_en" : "name", "name_ch" : "名称", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 2, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146592690176", "name_en" : "age", "name_ch" : "年龄", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 3, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] } ], "mappings" : null, "relations" : [ ], "dw_type" : "DLI", "dw_name" : null, "l1" : "工厂", "l2" : "人员管理", "l3" : "人员档案", "l1_id" : "1012305751919689728", "l2_id" : "1012306048792526848", "l3_id" : "1012306178602041344", "partition_conf" : null, "dlf_task_id" : null, "use_recently_partition" : false, "reversed" : null, "dirty_out_switch" : false, "dirty_out_database" : "", "dirty_out_prefix" : "", "dirty_out_suffix" : "", "quality_owner" : null, "quality_id" : "1012314332484304897", "distribute" : null, "distribute_column" : null, "is_partition" : false, "physical_table" : "CREATE_SUCCESS", "technical_asset" : "CREATE_FAILED", "business_asset" : "UPDATE_SUCCESS", "meta_data_link" : "UPDATE_FAILED", "data_quality" : "CREATE_SUCCESS", "summary_status" : "SUMMARY_FAILED", "alias" : null, "self_defined_fields" : null } } }
  • 响应参数 状态码: 200 表18 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息 状态码: 400 表19 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 401 表20 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 403 表21 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息
  • 请求示例 { "id" : "1012314146584301568", "model_id" : "873242752312385536", "parent_table_id" : null, "parent_table_name" : null, "parent_table_code" : null, "model" : { "name" : "test", "type" : "THIRD_NF" }, "data_format" : "Parquet", "obs_bucket" : null, "obs_location" : null, "configs" : "{}", "table_type" : "MANAGED", "owner" : "", "tb_name" : "staff_info", "dw_id" : "2c9080f07b03db8d017b198a4a20002f", "db_name" : "ctz_test", "queue_name" : "default", "schema" : "", "extend_info" : "{\"dirtyOutDatabase\":\"\",\"dirtyOutPrefix\":\"\",\"dirtyOutSuffix\":\"\",\"dirtyOutSwitch\":\"false\"}", "tb_guid" : null, "tb_id" : "NativeTable-2c9080f07b03db8d017b198a4a20002f-ctz_test-staff_info", "logic_tb_name" : "staff_info", "logic_tb_guid" : "1ab1a58b-9412-4901-bb80-4ccaaa0580e4", "description" : "无", "status" : "PUBLISHED", "logic_tb_id" : null, "biz_catalog_id" : "1012306178602041344", "catalog_path" : "工厂/人员管理/人员档案", "create_by" : "abc", "update_by" : "abc", "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:45+08:00", "tags" : [ { "name" : 123 } ], "approval_info" : { "id" : "1012314318533988352", "tenant_id" : null, "name_ch" : null, "name_en" : null, "biz_id" : "1012314146584301568", "biz_type" : null, "biz_info" : null, "biz_info_obj" : null, "biz_version" : 0, "biz_status" : "PUBLISHED", "approval_status" : "APPROVED", "approval_type" : null, "submit_time" : "2022-08-25T10:55:41+08:00", "create_by" : null, "l1" : null, "l2" : null, "l3" : null, "approval_time" : "2022-08-25T10:55:41+08:00", "approver" : "abc", "email" : null, "msg" : "Fast Approval OK.", "directory_path" : null }, "new_biz" : null, "attributes" : [ { "id" : "1012314146626244608", "name_en" : "id", "name_ch" : "主键", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : true, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : true, "ordinal" : 1, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ { "name" : 123 } ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : [ { "data_quality_id" : 3 } ], "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146626244609", "name_en" : "name", "name_ch" : "名称", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 2, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ { "name" : 123 } ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : [ { "data_quality_id" : 3 } ], "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146592690176", "name_en" : "age", "name_ch" : "年龄", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 3, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ { "name" : 123 } ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : [ { "data_quality_id" : 3 } ], "alias" : "", "self_defined_fields" : [ ] } ], "mappings" : [ { "name" : "test_mapping" } ], "relations" : [ { "name" : "test_relation" } ], "dw_type" : "DLI", "dw_name" : null, "l1" : "工厂", "l2" : "人员管理", "l3" : "人员档案", "l1_id" : "1012305751919689728", "l2_id" : "1012306048792526848", "l3_id" : "1012306178602041344", "partition_conf" : null, "dlf_task_id" : null, "use_recently_partition" : false, "reversed" : null, "dirty_out_switch" : false, "dirty_out_database" : "", "dirty_out_prefix" : "", "dirty_out_suffix" : "", "quality_owner" : null, "quality_id" : "1012314332484304897", "distribute" : null, "distribute_column" : null, "is_partition" : false, "physical_table" : "CREATE_SUCCESS", "technical_asset" : "CREATE_FAILED", "business_asset" : "UPDATE_SUCCESS", "meta_data_link" : "UPDATE_FAILED", "data_quality" : "CREATE_SUCCESS", "summary_status" : "SUMMARY_FAILED", "alias" : null, "self_defined_fields" : null }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token workspace 是 String DataArts Studio工作空间ID 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 Long 编码 model_id 是 Long 模型id parent_table_id 否 Long 父表id parent_table_name 否 String 父表名称 parent_table_code 否 String 父表编码 model 否 WorkspaceVO object 模型 data_format 否 String 数据格式 最大长度:100 obs_bucket 否 String obs桶 最大长度:200 obs_location 否 String obs路径 最大长度:2000 configs 否 String 其他配置 最大长度:1024 table_type 否 String 表类型 owner 否 String 最大长度:100 tb_name 是 String 表名 最大长度:400 dw_id 否 String 数据连接id db_name 否 String 数据库名 queue_name 否 String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须 schema 否 String DWS类型需要 extend_info 否 String 扩展信息 tb_guid 否 String 表物化后的guid tb_id 否 String 数据表id logic_tb_name 是 String 逻辑实体名 最大长度:200 logic_tb_guid 否 String 逻辑实体的guid description 是 String 描述 最大长度:600 status 否 String 业务状态 枚举值: DRAFT PUBLISH_DEVELOPING PUBLISHED OFFLINE_DEVELOPING OFFLINE REJECT logic_tb_id 否 Long 逻辑实体的id biz_catalog_id 否 Long 归属的业务分类的id catalog_path 否 String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""} create_by 否 String 创建人 update_by 否 String 更新人 create_time 否 String 创建时间 update_time 否 String 更新时间 tags 否 Array of TagVO objects 表标签 approval_info 否 ApprovalVO object 审批信息 new_biz 否 BizVersionManageVO object 业务版本管理. attributes 是 Array of TableModelAttributeVO objects 表属性信息 mappings 否 Array of TableMappingVO objects 表映射信息 relations 否 Array of RelationVO objects 关系 dw_type 是 String 数据连接类型 dw_name 否 String 数据连接名称 l1 否 String 主题域分组中文名 l2 否 String 主题域中文名 l3 否 String 业务对象中文名 l1_id 否 Long 主题域分组id l2_id 否 String 主题域id l3_id 否 Long 业务对象id partition_conf 否 String 分区表达式 dlf_task_id 否 String DLF 作业 ID use_recently_partition 否 Boolean 是否使用最新分区 缺省值:false reversed 否 Boolean 是否是逆向的 缺省值:false dirty_out_switch 否 Boolean 异常数据输出开关 缺省值:false dirty_out_database 否 String 异常数据输出库 dirty_out_prefix 否 String 异常表前缀 dirty_out_suffix 否 String 异常表后缀 quality_owner 否 String 质量责任人 quality_id 否 Long 质量id distribute 否 String DISTRIBUTE BY [HASH(column)|REPLICATION] 枚举值: HASH REPLICATION distribute_column 否 String DISTRIBUTE BY HASH column is_partition 否 Boolean 是否分区表 缺省值:false physical_table 否 String 创建表状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE technical_asset 否 String 技术资产同步状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE business_asset 否 String 业务资产同步状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE meta_data_link 否 String 资产关联状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE data_quality 否 String 质量作业状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE summary_status 否 String 同步整体状态 枚举值: NO_NEED CREATE_SUCCESS CREATE_FAILED UPDATE_SUCCESS UPDATE_FAILED SUMMARY_SUCCESS SUMMARY_FAILED RUNNING OFFLINE alias 否 String 别名 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项 表4 WorkspaceVO 参数 是否必选 参数类型 描述 id 否 Long 编号 name 是 String 工作区名字 最大长度:250 description 否 String 最大长度:600 is_physical 否 Boolean 是否为物理表 缺省值:true frequent 否 Boolean 是否为常用 缺省值:true top 否 Boolean 分层治理 缺省值:true level 否 String 数据治理分层 枚举值: SDI DWI DWR DM dw_type 否 String 数据连接类型 create_time 否 String 创建时间 update_time 否 String 更新时间 create_by 否 String 创建人 update_by 否 String 更新人 type 是 String 工作区类型枚举 枚举值: THIRD_NF DIMENSION biz_catalog_ids 否 String 关联的业务分层的id列表 {"l1Ids":[],"l2Ids":[],"l3Ids":[]} databases 否 Array of strings 数据库名称数组 表5 ApprovalVO 参数 是否必选 参数类型 描述 id 否 Long ID tenant_id 否 String tenant id name_ch 否 String 业务中文名 name_en 否 String 业务英文名 biz_id 否 Long 业务ID biz_type 否 String 业务类型 枚举值: ATOMIC_INDEX DERIVATIVE_INDEX DIMENSION DIMENSION_ATTRIBUTE DIMENSION_HIERARCHIES CONDITION_GROUP TIME_CONDITION COMMON_CONDITION FACT_LOGIC_TABLE TABLE_MODEL DIMENSION_LOGIC_TABLE STANDARD_ELEMENT AGGREGATION_LOGIC_TABLE TAG CODE_TABLE TABLE_MODEL_ATTRIBUTE FACT_DIMENSION FACT_ATTRIBUTE FACT_MEASURE SUMMARY_DIMENSION_ATTRIBUTE SUMMARY_TIME DIMENSION_TABLE_ATTRIBUTE QUALITY_RULE BIZ_METRIC COMPOUND_METRIC INFO_ARCH DEGENERATE_DIMENSION TABLE_MODEL_LOGIC SUBJECT biz_info 否 String 业务详情 biz_info_obj 否 Object 业务详情 biz_version 否 Integer 业务版本 biz_status 否 String 业务状态 枚举值: DRAFT PUBLISH_DEVELOPING PUBLISHED OFFLINE_DEVELOPING OFFLINE REJECT approval_status 否 String 业务审批状态 枚举值: DEVELOPING APPROVED REJECT WITHDREW approval_type 否 String 业务审核类型 枚举值: PUBLISH OFFLINE submit_time 否 String 提交时间 create_by 否 String 创建者 l1 否 String 主题域分组 l2 否 String 主题域 l3 否 String 业务对象 approval_time 否 String 审核时间 approver 否 String 审核人 email 否 String 审核人邮箱 msg 否 String 审核信息 directory_path 否 String 目录树 表6 TableModelAttributeVO 参数 是否必选 参数类型 描述 id 否 Long 编码 name_en 是 String 字段名 最大长度:600 name_ch 是 String 业务属性 最大长度:200 description 否 String 最大长度:600 obs_location 否 String obs路径,子路径 最大长度:600 create_by 否 String 创建人 update_by 否 String 更新人 data_type 是 String 字段类型 domain_type 否 String 字段类型所属域 枚举值: NUMBER STRING DATETIME BLOB OTHER data_type_extend 否 String 数据类型扩展字段 最大长度:50 is_primary_key 是 Boolean 是否主键 缺省值:false is_partition_key 否 Boolean 是否分区键 缺省值:false is_foreign_key 否 Boolean 是否外键 缺省值:false extend_field 否 Boolean 是否继承的属性 缺省值:false not_null 否 Boolean 是否不为空 缺省值:false ordinal 否 Integer 序号 table_model_id 否 Long 所属表模型id create_time 否 String 创建时间 update_time 否 String 更新时间 tags 否 Array of TagVO objects 表标签 stand_row_id 否 Long 关联的数据标准的id stand_row_name 否 String 最大长度:600 quality_infos 否 Array of QualityInfoVO objects 质量信息 alias 否 String 别名 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项 表7 TagVO 参数 是否必选 参数类型 描述 id 否 Long 编码 name 是 String 标签名 最大长度:250 description 否 String 最大长度:600 create_by 否 String 创建人 update_by 否 String 更新人 create_time 否 String 创建时间 update_time 否 String 更新时间 new_biz 否 BizVersionManageVO object 业务版本管理. 表8 BizVersionManageVO 参数 是否必选 参数类型 描述 id 否 Long ID信息 biz_type 否 String 业务类型 枚举值: ATOMIC_INDEX DERIVATIVE_INDEX DIMENSION DIMENSION_ATTRIBUTE DIMENSION_HIERARCHIES CONDITION_GROUP TIME_CONDITION COMMON_CONDITION FACT_LOGIC_TABLE TABLE_MODEL DIMENSION_LOGIC_TABLE STANDARD_ELEMENT AGGREGATION_LOGIC_TABLE TAG CODE_TABLE TABLE_MODEL_ATTRIBUTE FACT_DIMENSION FACT_ATTRIBUTE FACT_MEASURE SUMMARY_DIMENSION_ATTRIBUTE SUMMARY_TIME DIMENSION_TABLE_ATTRIBUTE QUALITY_RULE BIZ_METRIC COMPOUND_METRIC INFO_ARCH DEGENERATE_DIMENSION TABLE_MODEL_LOGIC SUBJECT biz_id 否 Long 业务id biz_info 否 String 业务对象信息 status 否 String 业务状态 枚举值: DRAFT PUBLISH_DEVELOPING PUBLISHED OFFLINE_DEVELOPING OFFLINE REJECT biz_version 否 Integer 业务版本 create_time 否 String 创建时间 update_time 否 String 更新时间 表9 QualityInfoVO 参数 是否必选 参数类型 描述 id 否 Long 编码 table_id 否 Long 表id attr_id 否 Long 属性id biz_type 否 String 业务类型 枚举值: ATOMIC_INDEX DERIVATIVE_INDEX DIMENSION DIMENSION_ATTRIBUTE DIMENSION_HIERARCHIES CONDITION_GROUP TIME_CONDITION COMMON_CONDITION FACT_LOGIC_TABLE TABLE_MODEL DIMENSION_LOGIC_TABLE STANDARD_ELEMENT AGGREGATION_LOGIC_TABLE TAG CODE_TABLE TABLE_MODEL_ATTRIBUTE FACT_DIMENSION FACT_ATTRIBUTE FACT_MEASURE SUMMARY_DIMENSION_ATTRIBUTE SUMMARY_TIME DIMENSION_TABLE_ATTRIBUTE QUALITY_RULE BIZ_METRIC COMPOUND_METRIC INFO_ARCH DEGENERATE_DIMENSION TABLE_MODEL_LOGIC SUBJECT data_quality_id 是 Long 质量id show_control 否 Integer 是否要显示 正则表达式 data_quality_name 否 String 质量名称 alert_conf 否 String 告警配置 expression 否 String 正则相关校验规则中正则配置 extend_info 否 String 扩展信息 from_standard 否 Boolean 是否来源于数据标准质量配置 缺省值:false result_description 否 String 结果说明 create_by 否 String 创建人 update_by 否 String 更新人 create_time 否 String 创建时间 update_time 否 String 更新时间 表10 TableMappingVO 参数 是否必选 参数类型 描述 id 否 Long 编码 name 是 String 名称 description 否 String 最大长度:600 target_table_id 否 Long 目的表id src_model_id 否 Long 来源表所属模型id src_model_name 否 String 来源模型名称 view_text 否 String 采集的视图来源,dws视图逆向使用 target_table_name 否 String 目的表名称 details 否 Array of TableMappingDetailVO objects 详情 source_tables 否 Array of MappingSourceTableVO objects 映射的表信息 source_fields 否 Array of MappingSourceFieldVO objects 映射的字段信息 create_time 否 String 创建时间 update_time 否 String 更新时间 create_by 否 String 创建人 update_by 否 String 更新人 表11 TableMappingDetailVO 参数 是否必选 参数类型 描述 id 否 Long 编码 mapping_id 否 String 名称 target_attr_id 否 Long 目的字段id target_attr_name 是 String 目的字段排序 src_table_ids 否 String 源表id, 通过,join src_table_names 否 Array of strings 源表名称数组 src_table_db_names 否 Array of strings 源表db名称数组 src_table_model_ids 否 Array of longs 源表模型id数组 src_table_id_list 否 Array of longs 源表id数组 src_attr_ids 否 String 源表字段id, 通过,join src_attr_names 否 Array of strings 源表字段名称数组 src_attr_id_list 否 Array of longs 源表字段id数组 remark 否 String 备注 create_time 否 String 创建时间 update_time 否 String 更新时间 create_by 否 String 创建人 update_by 否 String 更新人 target_attr 否 Object 目标属性 表12 MappingSourceTableVO 参数 是否必选 参数类型 描述 table1_id 是 Long 表id table2_id 否 Long 表id 缺省值:0 table1_name 是 String 表1名称 table2_name 否 String 表2名称 join_type 是 String 关联类型,左外连接,右外连接,内连接,全连接 缺省值:LEFT 枚举值: LEFT RIGHT INNER FULL join_fields 是 Array of MappingJoinFieldVO objects on条件 表13 MappingJoinFieldVO 参数 是否必选 参数类型 描述 field1_id 是 Long 属性id field2_id 是 Long 属性id field1_name 是 String 名称 field2_name 是 String 名称 表14 MappingSourceFieldVO 参数 是否必选 参数类型 描述 target_field_id 否 Long 目标字段ID,当前表的某个字段 target_field_name 是 String 目标字段编码 field_ids 否 String 来源字段id,多个id以逗号分隔 transform_expression 否 String 转换表达式 field_names 否 Array of strings 来源字段名称列表 changed 否 Boolean 字段是否发生变化 表15 RelationVO 参数 是否必选 参数类型 描述 id 否 Long 编码 source_table_id 否 Long 源表id target_table_id 否 Long 目标表id name 是 String 关系名称 source_table_name 否 String 源表名称 target_table_name 否 String 目的表名称 role 否 String 角色 tenant_id 否 String 租户id source_type 否 String 关系类型 枚举值: ONE ZERO_OR_ONE ZERO_OR_N ONE_OR_N target_type 否 String 关系类型 枚举值: ONE ZERO_OR_ONE ZERO_OR_N ONE_OR_N create_by 否 String 创建人 update_by 否 String 更新人 create_time 否 String 创建时间 update_time 否 String 更新时间 mappings 否 Array of RelationMappingVO objects 表属性信息 表16 RelationMappingVO 参数 是否必选 参数类型 描述 id 否 Long 编码 relation_id 否 Long 关系id source_field_id 否 Long 源字段id target_field_id 否 Long 目标字段id source_field_name 否 String 源表名称 target_field_name 否 String 目的表名称 create_by 否 String 创建人 update_by 否 String 更新人 create_time 否 String 创建时间 update_time 否 String 更新时间 表17 SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名 最大长度:200 fd_name_en 否 String 自定义项英文名 最大长度:200 not_null 否 Boolean 是否必填 fd_value 否 String 属性值
  • 响应示例 状态码: 200 Success,返回data数据是 TableModelVO 数组, 以及总数 { "data" : { "value" : { "records" : [ { "id" : "1012314146584301568", "model_id" : "873242752312385536", "parent_table_id" : null, "parent_table_name" : null, "parent_table_code" : null, "model" : null, "data_format" : "Parquet", "obs_bucket" : null, "obs_location" : null, "configs" : "{}", "table_type" : "MANAGED", "owner" : "", "tb_name" : "staff_info", "dw_id" : "2c9080f07b03db8d017b198a4a20002f", "db_name" : "ctz_test", "queue_name" : "default", "schema" : "", "extend_info" : "{\"dirtyOutDatabase\":\"\",\"dirtyOutPrefix\":\"\",\"dirtyOutSuffix\":\"\",\"dirtyOutSwitch\":\"false\"}", "tb_guid" : null, "tb_id" : "NativeTable-2c9080f07b03db8d017b198a4a20002f-ctz_test-staff_info", "logic_tb_name" : "staff_info", "logic_tb_guid" : "1ab1a58b-9412-4901-bb80-4ccaaa0580e4", "description" : "无", "status" : "PUBLISHED", "logic_tb_id" : null, "biz_catalog_id" : "1012306178602041344", "catalog_path" : "工厂/人员管理/人员档案", "create_by" : "abc", "update_by" : "abc", "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:45+08:00", "tags" : [ ], "approval_info" : { "id" : "1012314318533988352", "tenant_id" : null, "name_ch" : null, "name_en" : null, "biz_id" : "1012314146584301568", "biz_type" : null, "biz_info" : null, "biz_info_obj" : null, "biz_version" : 0, "biz_status" : "PUBLISHED", "approval_status" : "APPROVED", "approval_type" : null, "submit_time" : "2022-08-25T10:55:41+08:00", "create_by" : null, "l1" : null, "l2" : null, "l3" : null, "approval_time" : "2022-08-25T10:55:41+08:00", "approver" : "abc", "email" : null, "msg" : "Fast Approval OK.", "directory_path" : null }, "new_biz" : null, "attributes" : [ { "id" : "1012314146626244608", "name_en" : "id", "name_ch" : "主键", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : true, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : true, "ordinal" : 1, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146626244609", "name_en" : "name", "name_ch" : "名称", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 2, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] }, { "id" : "1012314146592690176", "name_en" : "age", "name_ch" : "年龄", "description" : "", "obs_location" : null, "create_by" : "abc", "update_by" : "abc", "data_type" : "STRING", "domain_type" : "STRING", "data_type_extend" : "", "is_primary_key" : false, "is_partition_key" : false, "is_foreign_key" : false, "extend_field" : false, "not_null" : false, "ordinal" : 3, "table_model_id" : null, "create_time" : "2022-08-25T10:55:00+08:00", "update_time" : "2022-08-25T10:55:00+08:00", "tags" : [ ], "stand_row_id" : null, "stand_row_name" : null, "quality_infos" : null, "alias" : "", "self_defined_fields" : [ ] } ], "mappings" : null, "relations" : [ ], "dw_type" : "DLI", "dw_name" : null, "l1" : "工厂", "l2" : "人员管理", "l3" : "人员档案", "l1_id" : "1012305751919689728", "l2_id" : "1012306048792526848", "l3_id" : "1012306178602041344", "partition_conf" : null, "dlf_task_id" : null, "use_recently_partition" : false, "reversed" : null, "dirty_out_switch" : false, "dirty_out_database" : "", "dirty_out_prefix" : "", "dirty_out_suffix" : "", "quality_owner" : null, "quality_id" : "1012314332484304897", "distribute" : null, "distribute_column" : null, "is_partition" : false, "physical_table" : "CREATE_SUCCESS", "technical_asset" : "CREATE_FAILED", "business_asset" : "UPDATE_SUCCESS", "meta_data_link" : "UPDATE_FAILED", "data_quality" : "CREATE_SUCCESS", "summary_status" : "SUMMARY_FAILED", "alias" : null, "self_defined_fields" : null } ] } } }
  • URI GET /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 按名称或编码模糊查询 create_by 否 String 按创建者查询 approver 否 String 按审核人查询 status 否 String 业务状态 枚举值: DRAFT PUBLISH_DEVELOPING PUBLISHED OFFLINE_DEVELOPING OFFLINE REJECT sync_status 否 String 枚举值: RUNNING NO_NEED SUMMARY_SUCCESS SUMMARY_FAILED sync_key 否 Array 枚举值: BUSINESS_ASSET DATA_QUALITY TECHNICAL_ASSET META_DATA_LINK PHYSICAL_TABLE DLF_TASK MATERIALIZATION begin_time 否 String 时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤,单边过滤无效 limit 否 Integer 查询条数,即查询Y条数据。默认值50,取值范围[1,100] 最大值:100 缺省值:50 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整。默认值0 缺省值:0 model_id 是 String 所属的模型的id biz_catalog_id 否 String 所属的业务分层的id
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息