华为云首页用户手册

云数据迁移 CDM-文件格式介绍:JSON格式

时间：2024-05-16 11:41:39

云数据迁移 CDM 关键操作指导

JSON格式

这里主要介绍JSON文件格式的以下内容：

CDM支持解析的JSON类型
记录节点
从JSON文件复制数据

CDM支持解析的JSON类型：JSON对象、JSON数组。

JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。

单一对象JSON

{
     "took" : 190,
     "timed_out" : false,
     "total" : 1000001,
     "max_score" : 1.0
 }

行分隔的JSON对象

{"took" : 188, "timed_out" : false, "total" : 1000003, "max_score" : 1.0 }
{"took" : 189, "timed_out" : false, "total" : 1000004, "max_score" : 1.0 }

串连的JSON对象

{
    "took": 190,
    "timed_out": false,
    "total": 1000001,
    "max_score": 1.0
 }
 {
    "took": 191,
    "timed_out": false,
    "total": 1000002,
    "max_score": 1.0
 }

JSON数组：JSON文件是包含多个JSON对象的数组。

[{
      "took" : 190,
      "timed_out" : false,
      "total" : 1000001,
      "max_score" : 1.0
  },
  {
      "took" : 191,
      "timed_out" : false,
      "total" : 1000001,
      "max_score" : 1.0
  }]

记录节点
记录数据的根节点。该节点对应的数据为JSON数组，CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。

从JSON文件复制数据

示例一

从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如：

 {
    "took": 190,
    "timed_out": false,
    "total": 1000001,
    "max_score": 1.0
 }
 {
    "took": 191,
    "timed_out": false,
    "total": 1000002,
    "max_score": 1.0
 }
 {
    "took": 192,
    "timed_out": false,
    "total": 1000003,
    "max_score": 1.0
 }

如果您想要从该JSON对象中提取数据，使用以下格式写入到数据库，只需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON对象”，然后在作业第二步进行字段匹配即可。

表2 示例
took	timedOut	total	maxScore
190	false	1000001	1.0
191	false	1000002	1.0
192	false	1000003	1.0

示例二

从记录节点中提取数据。JSON文件包含了单个的JSON对象，但是其中有效的数据在一个数据节点下，例如：

{
    "took": 190,
    "timed_out": false,
    "hits": {
        "total": 1000001,
        "max_score": 1.0,
        "hits": 
         [{
            "_id": "650612",
            "_source": {
                "name": "tom",
                "books": ["book1","book2","book3"]
            }
         },
         {
             "_id": "650616",
             "_source": {
                 "name": "tom",
                 "books": ["book1","book2","book3"]
             }
         },
       {
             "_id": "650618",
             "_source": {
                 "name": "tom",
                 "books": ["book1","book2","book3"]
             }
         }]
     }
 }

如果想以如下格式写入到数据库，则需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON对象”，并且指定记录节点为“hits.hits”，然后在作业第二步进行字段匹配。

表3 示例
ID	SourceName	SourceBooks
650612	tom	["book1","book2","book3"]
650616	tom	["book1","book2","book3"]
650618	tom	["book1","book2","book3"]

示例三

从JSON数组中提取数据。JSON文件是包含了多个JSON对象的JSON数组，例如：

[{
      "took" : 190,
      "timed_out" : false,
      "total" : 1000001,
      "max_score" : 1.0
  },
  {
      "took" : 191,
      "timed_out" : false,
      "total" : 1000002,
      "max_score" : 1.0
  }]

如果想以如下格式写入到数据库，需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON数组”，然后在作业第二步进行字段匹配。