华为云用户手册

Tomcat日志 日志样例： 11-Jan-2018 09:00:06.907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name: Linux 正则表达式为： ^(\d.*\d) (\w*) \[(.*)\] ([\w\.]*) (\w.*).* 解析结果如下： 表3 Tomcat日志解析结果 列号 样值 1 11-Jan-2018 09:00:06.907 2 INFO 3 main 4 org.apache.catalina.startup.VersionLoggerListener.log 5 OS Name:Linux

创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyy-MM-dd)} 以yyyy-MM-dd格式返回当前时间。 2017-10-16 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyy_MM_dd HH:mm:ss)} 以yyyy_MM_dd HH:mm:ss格式返回当前时间。 2017_10_16 09:00:00 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天。 2017-10-15 09:00:00 ${dateformat(yyyy-MM-dd, -1, DAY)} 00:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天0点。 2017-10-15 00:00:00 ${dateformat(yyyy-MM-dd, -1, DAY)} 12:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天12点。 2017-10-15 12:00:00 ${dateformat(yyyy-MM-dd, -N, DAY)} 00:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前N天的0点。 N为3时： 2017-10-13 00:00:00 ${dateformat(yyyy-MM-dd, -N, DAY)} 12:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前N天的12点。 N为3时： 2017-10-13 12:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(-10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,-1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输， CDM 会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。

MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”，则只迁移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。 若未配置“MD5文件名后缀”，则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。 迁移文件到文件系统时，目前只支持校验CDM抽取的文件是否与源文件一致（即只校验抽取的数据）。 迁移文件到OBS时，支持抽取和写入文件时都校验。 如果选择使用MD5校验，则无法使用KMS加密。 父主题： 数据集成（CDM作业）进阶实践

操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName.tableName；” 例如：select `id`, `name`, cast(`gender` AS char(255) ) AS `gender` from `test_1117869`.`test_no_support_type`; 转换后的字段就转换为CDM支持的数据类型。

指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。 父主题： 数据集成（CDM作业）进阶实践

KMS加密 源端解密不支持KMS。 CDM目前只支持导入文件到OBS时，目的端使用KMS加密，表/文件迁移和整库迁移都支持。在“目的端作业配置”的“高级属性”中配置。 KMS密钥需要先在 数据加密 服务创建，具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后，用户上传对象时，数据会加密成密文存储在OBS。用户从OBS下载加密对象时，存储的密文会先在OBS服务端解密为明文，再提供给用户。 如果选择使用KMS加密，则无法使用MD5校验一致性。 如果这里使用其它项目的KMS ID，则需要修改“项目ID”参数为KMS ID所属的项目ID；如果KMS ID与CDM在同一个项目下，“项目ID”参数保持默认即可。 使用KMS加密后，OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除，如果删除将导致加密对象不能下载。

AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。 源端支持的数据源：HDFS（使用二进制格式传输时支持）。 目的端支持的数据源：HDFS（使用二进制格式传输时支持）。 下面分别以HDFS导出加密文件时解密、导入文件到HDFS时加密为例，介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时，目的端数据源选择HDFS、文件格式选择二进制格式后，在“目的端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必须32位，例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到HDFS时，目的端HDFS上的文件便是经过AES-256-GCM算法加密后的文件。

旧空间导出数据 请您登录控制台首页，选择并进入旧工作空间的“数据质量”模块，然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面，单击左侧导航上的“规则模板”，进入规则模板列表。 在规则模板列表，选择自定义的规则模板，然后单击“导出”。 图1 批量导出规则模板 在弹出的导出窗口中，确认选择无误后单击“导出”，导出规则模板。 图2 规则模板导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”，进入质量作业列表。 在质量作业列表，选择需要迁移的质量作业，然后单击“导出”。 图4 批量导出质量作业 在弹出的导出窗口中，确认选择无误后单击“导出”，导出质量作业。 图5 质量作业导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图6 获取质量作业导出结果 导出对账作业 单击左侧导航上的“对账作业”，进入对账作业列表。 在对账作业列表，选择需要迁移的对账作业，然后单击“导出”。 图7 批量导出对账作业 在弹出的导出窗口中，确认选择无误后单击“导出”，导出对账作业。 图8 对账作业导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图9 获取对账作业导出结果

新空间导入数据 请您登录控制台首页，选择并进入新工作空间的“数据质量”模块，然后执行如下操作依次导入规则模板、导入质量作业、导入对账作业。 导入规则模板 在数据质量主界面，单击左侧导航上的“规则模板”，进入规则模板列表。 在规则模板列表，单击“导入”。 图10 批量导入规则模板 在弹出的导入窗口中，选择从旧空间导出的规则模板文件，然后选择目录的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图11 规则模板导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图12 查看规则模板导入结果 导入质量作业 单击左侧导航上的“质量作业”，进入质量作业列表。 在质量作业列表，单击“导入”。 图13 批量导入质量作业 在弹出的导入窗口中，选择从旧空间导出的质量作业文件，然后选择数据连接、集群和目录等的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图14 质量作业导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图15 查看质量作业导入结果 导入对账作业 单击左侧导航上的“对账作业”，进入对账作业列表。 在对账作业列表，单击“导入”。 图16 批量导入对账作业 在弹出的导入窗口中，选择从旧空间导出的对账作业文件，然后选择数据连接、集群和目录等的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图17 对账作业导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图18 查看对账作业导入结果

约束与限制 已完成管理中心数据搬迁。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 系统支持批量导出质量作业，一次最多可导出200个质量作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导入质量作业，一次最大可导入4MB数据的文件。导入作业时，导入的单元格内容最大长度支持65534个字符。 系统支持批量导出对账作业，一次最多可导出200个对账作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导入对账作业，一次最大可导入4M数据的文件。导入作业时，导出的单元格内容最大长度支持65534个字符。

文件格式问题解决方法 数据库的数据导出到 CS V文件，由于数据中含有分隔符逗号，造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法： 指定字段分隔符 使用数据库中不存在的字符，或者是极少见的不可打印字符来作为字段分隔符。例如可以在目的端指定“字段分隔符”为“%01”，这样导出的字段分隔符就是“\u0001”，详情可见表1。 使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导出到CSV格式的文件中，然后再使用CDM将导出的CSV文件导入到 MRS HBase，发现导出的CSV文件中出现了数据被截断的情况。 解决方法：指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时，指定目的端的换行符为“%01”（确保这个值不会出现在字段值中），这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时，指定源端的换行符为“%01”，这样就避免了数据被截断的问题。

二进制格式 如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM的文件传输，支持单文件，也支持一次传输目录下所有的文件。传输到目的端后，目录结构会保持原样。 增量迁移文件 使用CDM进行二进制传输文件时，目的端有一个参数“重复文件处理方式”，可以用作文件的增量迁移，具体请参见文件增量迁移。 增量迁移文件的时候，选择“重复文件处理方式”为“跳过重复文件”，这样如果源端有新增的文件，或者是迁移过程中出现了失败，只需要再次运行任务，已经迁移过的文件就不会再次迁移。 写入到临时文件 二进制迁移文件时候，可以在目的端指定是否写入到临时文件。如果指定了该参数，在文件复制过程中，会将文件先写入到一个临时文件中，迁移成功后，再进行rename或move操作，在目的端恢复文件。 生成文件MD5值 对每个传输的文件都生成一个MD5值，并将该值记录在一个新文件中，新文件以“.md5”作为后缀，并且可以指定MD5值生成的目录。

文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中，CDM配置了定时任务，周期去读取源端文件，但此时源端的文件正在生成中，CDM此时读取会造成重复写入或者是读取失败。所以，可以在源端作业参数中指定启动作业标识文件为“ok.txt”，在源端生成文件成功后，再在文件目录下生成“ok.txt”，这样CDM就能读取到完整的文件。 另外，可以设置超时时间，在超时时间内，CDM会周期去查询标识文件是否存在，超时后标识文件还不存在的话，则作业任务失败。 启动作业标识文件本身不会被迁移。 作业成功标识文件 文件系统为目的端的时候，当任务成功时，在目的端的目录下，生成一个空的文件，标识文件名由用户来指定。一般和“启动作业标识文件”搭配使用。 这里需要注意的是，不要和传输的文件混淆，例如传输文件为“finish.txt”，但如果作业成功标识文件也设置为“finish.txt”，这样会造成这两个文件相互覆盖。 过滤器 使用CDM迁移文件的时候，可以使用过滤器来过滤文件。支持通过通配符或时间过滤器来过滤文件。 选择通配符时，CDM只迁移满足过滤条件的目录或文件。 选择时间过滤器时，只有文件的修改时间晚于输入的时间才会被传输。 例如用户的“/table/”目录下存储了很多数据表的目录，并且按天进行了划分DRIVING_BEHAVIOR_20180101～DRIVING_BEHAVIOR_20180630，保存了DRIVING_BEHAVIOR从1月到6月的所有数据。如果只想迁移DRIVING_BEHAVIOR的3月份的表数据，那么需要在作业第一步指定源目录为“/table”，过滤类型选择“通配符”，然后指定“路径过滤器”为“DRIVING_BEHAVIOR_201803*”。

JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 } 行分隔的JSON对象 {"took" : 188, "timed_out" : false, "total" : 1000003, "max_score" : 1.0 } {"took" : 189, "timed_out" : false, "total" : 1000004, "max_score" : 1.0 } 串连的JSON对象 { "took": 190, "timed_out": false, "total": 1000001, "max_score": 1.0 } { "took": 191, "timed_out": false, "total": 1000002, "max_score": 1.0 } JSON数组：JSON文件是包含多个JSON对象的数组。 [{ "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }, { "took" : 191, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组，CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分隔。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如： { "took": 190, "timed_out": false, "total": 1000001, "max_score": 1.0 } { "took": 191, "timed_out": false, "total": 1000002, "max_score": 1.0 } { "took": 192, "timed_out": false, "total": 1000003, "max_score": 1.0 } 如果您想要从该JSON对象中提取数据，使用以下格式写入到数据库，只需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON对象”，然后在作业第二步进行字段匹配即可。 表2 示例 took timedOut total maxScore 190 false 1000001 1.0 191 false 1000002 1.0 192 false 1000003 1.0 示例二 从记录节点中提取数据。JSON文件包含了单个的JSON对象，但是其中有效的数据在一个数据节点下，例如： { "took": 190, "timed_out": false, "hits": { "total": 1000001, "max_score": 1.0, "hits": [{ "_id": "650612", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }, { "_id": "650616", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }, { "_id": "650618", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }] } } 如果想以如下格式写入到数据库，则需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON对象”，并且指定记录节点为“hits.hits”，然后在作业第二步进行字段匹配。 表3 示例 ID SourceName SourceBooks 650612 tom ["book1","book2","book3"] 650616 tom ["book1","book2","book3"] 650618 tom ["book1","book2","book3"] 示例三 从JSON数组中提取数据。JSON文件是包含了多个JSON对象的JSON数组，例如： [{ "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }, { "took" : 191, "timed_out" : false, "total" : 1000002, "max_score" : 1.0 }] 如果想以如下格式写入到数据库，需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON数组”，然后在作业第二步进行字段匹配。 表4 示例 took timedOut total maxScore 190 false 1000001 1.0 191 false 1000002 1.0 示例四 在解析JSON文件的时候搭配转换器。在示例二前提下，想要把hits.max_score字段附加到所有记录中，即以如下格式写入到数据库中： 表5 示例 ID SourceName SourceBooks MaxScore 650612 tom ["book1","book2","book3"] 1.0 650616 tom ["book1","book2","book3"] 1.0 650618 tom ["book1","book2","book3"] 1.0 则需要在作业第一步指定文件格式为“JSON格式”，指定JSON类型为“JSON对象”，并且指定记录节点为“hits.hits”，然后在作业第二步添加转换器，操作步骤如下： 单击添加字段，新增一个字段。 图2 添加字段 在添加的新字段后面，单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器

约束限制 如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及 DLI 做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到 数据仓库 服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。

操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。

示例4：按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签，如果键不同，则标签按“与”的关系搜索。 如果键相同，值不同，则标签按“与”的关系搜索。 单个标签搜索 在公网 域名 列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索公网域名 多个标签搜索 重复操作1~2，选择多个标签键值对，按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索公网域名

搜索语法 公网域名支持多种类型的搜索，首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型：精确搜索、模糊搜索。 搜索属性：域名、ID、状态、标签、企业项目。 支持精确搜索的属性：域名、ID、状态、标签、企业项目，精确搜索时必须输入完整的属性值。 支持模糊搜索的属性：域名。 按标签过滤时可选择键或键值对搜索，支持设置多个标签： 如果键不同，标签按“与”的关系搜索。 如果键相同，值不同，标签按“与”的关系搜索。 表1 公网域名搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值，但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性，仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性：属性值 状态：正常 选择属性后，输入对应的属性信息，系统进行精确搜索。 仅域名名称支持模糊搜索。 域名、ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性：取值 属性：取值 域名：example.com 状态：正常 支持选择多个不同的属性，搜索时多个属性为“与”的关系。 仅域名名称支持模糊搜索。 域名、ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。

示例2：单属性搜索 选择属性后，输入对应的属性信息。 以下属性仅支持精确搜索，需输入完整的属性值：ID、状态、标签、企业项目。 模糊搜索：仅域名名称支持模糊搜索 在公网域名列表上方的搜索输入框中选择“域名”。 输入域名名称，单击回车进行搜索。域名支持模糊搜索，例如输入“example123”，可以搜索到所有包含example123的域名。 图3 模糊匹配域名名称进行搜索 精确搜索：以“ID”为例 在公网域名列表上方的搜索输入框中选择“ID”。 输入完整的公网域名ID，单击回车进行搜索。 图4 按ID搜索公网域名

示例2：单属性搜索 选择属性后，输入对应的属性信息。 以下属性仅支持精确搜索，需输入完整的属性值：ID、状态、记录类型、标签。 模糊搜索：域名名称、记录集支持模糊搜索 在记录集列表上方的搜索输入框中选择“记录值”。 输入记录值，单击回车进行搜索。记录集取值支持模糊搜索，例如输入“1.2.3”，可以搜索到所有记录值包含1.2.3的记录集。 图3 模糊匹配记录值进行搜索 精确搜索：以“ID”为例 在记录集列表上方的搜索输入框中选择“ID”。 输入完整的记录集ID，单击回车进行搜索。 图4 按ID搜索记录集

示例4：按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签，如果键不同，则标签按“与”的关系搜索。 如果键相同，值不同，则标签按“与”的关系搜索。 单个标签搜索 在记录集列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索记录集 多个标签搜索 重复操作1~2，选择多个标签键值对，按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索记录集

搜索语法 记录集支持多种类型的搜索，首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型：精确搜索、模糊搜索。 搜索属性：域名、记录值、ID、状态、记录类型、标签。 支持精确搜索的属性：域名、记录值、ID、状态、记录类型、标签，精确搜索时必须输入完整的属性值。 支持模糊搜索的属性：域名、记录值。 按标签过滤时可选择键或键值对搜索，支持设置多个标签： 如果键不同，标签按“与”的关系搜索。 如果键相同，值不同，标签按“与”的关系搜索。 表1 解析记录集搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值，但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性，仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性：属性值 状态：正常 选择属性后，输入对应的属性信息，系统进行精确搜索。 域名名称、记录集取值支持模糊搜索。 域名、ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性：取值 属性：取值 域名：example.com 状态：正常 支持选择多个不同的属性，搜索时多个属性为“与”的关系。 域名名称、记录集取值支持模糊搜索。 域名、ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。

搜索语法 内网域名支持多种类型的搜索，首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型：精确搜索、模糊搜索。 搜索属性：域名、域名ID、状态、VPC ID、企业项目、标签。 支持精确搜索的属性：域名、域名ID、状态、标签、企业项目，精确搜索时必须输入完整的属性值。 支持模糊搜索的属性：域名。 按标签过滤时可选择键或键值对搜索，支持设置多个标签： 如果键不同，标签按“与”的关系搜索。 如果键相同，值不同，标签按“与”的关系搜索。 表1 内网域名搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值，但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性，仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性：属性值 状态：正常 选择属性后，输入对应的属性信息，系统进行精确搜索。 仅域名名称支持模糊搜索。 域名、域名ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性：取值 属性：取值 域名：example.com 状态：正常 支持选择多个不同的属性，搜索时多个属性为“与”的关系。 仅域名名称支持模糊搜索。 域名、域名ID支持一次输入多值批量搜索，每个搜索值用英文逗号隔开。

示例2：单属性搜索 选择属性后，输入对应的属性信息。 以下属性仅支持精确搜索，需输入完整的属性值：域名ID、状态、VPC ID、企业项目、标签。 模糊搜索：仅域名名称支持模糊搜索 在内网域名列表上方的搜索输入框中选择“域名”。 输入域名名称，单击回车进行搜索。域名支持模糊搜索，例如输入“example123”，可以搜索到所有包含example123的域名。 图3 模糊匹配域名名称进行搜索 精确搜索：以“域名ID”为例 在内网域名列表上方的搜索输入框中选择“域名ID”。 输入完整内网域名ID，单击回车进行搜索。 图4 按ID搜索内网域名

示例3：多属性搜索 支持选择多个不同的属性，搜索时多个属性为“与”的关系。 以下属性仅支持精确搜索，需输入完整的属性值：域名ID、状态、VPC ID、企业项目、标签。 本例同时使用“域名”和“状态”进行搜索。 在内网域名列表上方的搜索输入框中选择“域名”并输入取值。 单击回车，在搜索输入框中继续添加筛选条件，选择“状态 ＞ 正常”。 页面将展示域名名称符合且状态为“正常”的域名信息。 图5 多属性搜索内网域名

示例4：按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签，如果键不同，则标签按“与”的关系搜索。 如果键相同，值不同，则标签按“与”的关系搜索。 单个标签搜索 在内网域名列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索内网域名 多个标签搜索 重复操作1~2，选择多个标签键值对，按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索内网域名

访问方式 EVS提供了Web化的服务管理平台，即管理控制台和基于HTTPS请求的API（Application programming interface）管理方式。 API方式 如果用户需要将公有云平台上的云硬盘集成到第三方系统，用于二次开发，请使用API方式访问云硬盘，具体操作请参见云硬盘API参考。 控制台方式 其他相关操作，请使用管理控制台方式访问云硬盘。如果用户已注册公有云，可直接登录管理控制台，从主页选择“云硬盘”。如果未注册，请参见注册公有云。

产品优势 云硬盘为云服务器提供规格丰富、安全可靠、可弹性扩展的硬盘资源，产品优势如表1所示。 表1 云硬盘产品优势 产品优势 优势描述 相关知识 规格丰富 EVS提供多种规格的云硬盘，可挂载至云服务器用作数据盘和系统盘，您可以根据业务需求及预算选择合适的云硬盘。 云硬盘类型及性能介绍 弹性扩展 您可以创建的单个云硬盘最小容量为10GiB，最大容量为 32TiB，即，10GiB ≤ 云硬盘容量 ≤ 32 TiB。如果您已有的云硬盘容量不足以满足业务增长对数据存储空间的需求，您可以根据需求进行扩容，最小扩容步长为1GiB，单个数据盘最大可扩容至32TiB，单个系统盘最大可扩容至1TiB。同时支持平滑扩容，无需暂停业务。 云硬盘扩容概述 扩容云硬盘时还会受容量总配额影响，系统会显示您当前的剩余容量配额，新扩容的容量不能超过剩余容量配额。您可以申请足够的配额满足业务需求。 查看云硬盘资源配额 安全可靠 系统盘和数据盘均支持数据加密，保护数据安全。 云硬盘加密 安全可靠 云硬盘支持备份，为存储在云硬盘中的数据提供可靠保障，防止应用异常、黑客攻击等情况造成的数据错误和数据丢失。 云硬盘备份 安全可靠 云硬盘支持快照，为存储在云硬盘中的数据提供可靠保障，防止应用异常、黑客攻击等情况造成的数据错误和数据丢失。 云硬盘快照 实时监控 配合 云监控 （ Cloud Eye），帮助您随时掌握云硬盘健康状态，了解云硬盘运行状况。 查看云硬盘监控数据

云硬盘简介 云硬盘（Elastic Volume Service, EVS）可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。云服务器包括ECS和BMS。 云硬盘类似PC中的硬盘，需要挂载至云服务器使用，无法单独使用。您可以对已挂载的云硬盘执行初始化、创建文件系统等操作，并且把数据持久化地存储在云硬盘上。 云硬盘也称为磁盘，本文档中也会用磁盘来表示云硬盘。 图1 云硬盘架构

云硬盘、弹性文件服务、 对象存储服务 的区别 目前可供您选择的有三种数据存储服务，分别是云硬盘、弹性文件服务（Scalable File Service, SFS）以及对象存储服务（Object Storage Service, OBS），这三种数据存储的主要区别如下： 表2 SFS、OBS、EVS服务对比 对比维度 弹性文件服务 对象存储服务 云硬盘 概念 提供按需扩展的高性能文件存储，可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 访问方式 在云服务器中通过网络协议挂载使用，支持NFS和CIFS的网络协议。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。 只能在云服务器中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。 使用场景 如高性能计算、 媒体处理 、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线 视频点播 、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。 容量 PiB级别 EiB级别 TiB级别 时延 3~10ms 毫秒级 亚毫秒级 IOPS/TPS 单文件系统 10K 千万级 单盘 128K 带宽 GiB/s级别 TiB/s级别 MiB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否 是否能单独使用 是 是 否