华为云用户手册

日志内容格式 SDK日志格式为：日志时间|日志级别|打印日志所的代码行数|日志内容。示例如下： [2017-11-17 11:46:24][INFO][SendRequestTrait.php:376]: enter method createBucketAsync...[2017-11-17 11:46:24][INFO][SendRequestTrait.php:525]: http request cost 97 ms[2017-11-17 11:46:24][INFO][SendRequestTrait.php:538]: obsclient cost 155 ms to execute createBucketAsync

日志级别 当系统出现问题需要定位且当前的日志无法满足要求时，可以通过修改日志的级别来获取更多的信息。SDK内部定义了四个integer类型的常量以对应不同的日志级别，其中DEBUG日志信息最丰富，ERROR日志信息最少。 具体说明如下： DEBUG（100）：调试级别，如果设置为这个级别，将打印SDK记录的所有日志。 INFO（200）：信息级别，如果设置为这个级别，除了打印WARN级别的信息外，还将打印HTTP/HTTPS请求的耗时时间等信息。 WARN（300）：告警级别，如果设置为这个级别，除了打印ERROR级别的信息外，还将打印一些关键事件的信息。 ERROR（400）：错误级别，如果设置为这个级别，仅打印发生异常时的错误信息。

消息生产与消费的幂等传递 分布式消息服务Kafka版设计了一系列可靠性保障措施，确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合分布式消息服务Kafka版完成消息发送与消费的重复传输设计。 当无法确认消息是否已发送成功，生产者需要将消息重复发送给分布式消息服务Kafka版。 当重复收到已处理过的消息，消费者需要告诉分布式消息服务Kafka版消费成功且保证不重复处理。

重视消息生产与消费的确认过程 消息生产 发送消息后，生产者需要根据分布式消息服务Kafka版的返回信息确认消息是否发送成功，如果返回失败需要重新发送。 生产消息时，生产者通过同步等待发送结果或异步回调函数，判断消息是否发送成功。在消息传递过程中，如果发生异常，生产者没有接收到发送成功的信号，生产者自己决策是否需要重复发送消息。如果接收到发送成功的信号，则表明该消息已经被分布式消息服务Kafka版可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在分布式消息服务Kafka版的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到分布式消息服务Kafka版。 在消费过程中，如果出现异常，没有提交消费确认，该批消息会在后续的消费请求中再次被获取。

构建数据的恢复和容灾能力 预先构建数据的容灾和恢复能力，可以有效避免异常数据处理场景下数据误删、破坏的问题。 建议Topic配置多副本，获得异常场景数据快速恢复能力。 Kafka实例支持配置Topic副本数量，配置多副本后Kafka实例会主动建立和维护同步复制，在实例某个broker故障的情况下，实例会自动将该节点上分区leader切换到其它可用的broker上，从而达到高可用的目的。 建议使用多个可用区构建数据容灾能力。 Kafka集群实例支持跨可用区部署，支持跨可用区容灾。如果创建实例时选择了多个可用区，当一个可用区异常时，不影响Kafka实例持续提供服务。

通过访问控制，保护数据安全性 建议对不同角色的 IAM 用户仅设置最小权限，避免权限过大导致数据泄露或被误操作。 为了更好的进行权限隔离和管理，建议您配置独立的IAM管理员，授予IAM管理员IAM策略的管理权限。IAM管理员可以根据您业务的实际诉求创建不同的用户组，用户组对应不同的数据访问场景，通过将用户添加到用户组并将IAM策略绑定到对应用户组，IAM管理员可以为不同职能部门的员工按照最小权限原则授予不同的数据访问权限，详情请参见权限管理。 建议配置安全组访问控制，保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制，可以控制连接实例的网络范围，避免DMS for Kafka暴露给不可信第三方，详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。 建议将访问Kafka实例方式设置为密码访问（即开启SASL），防止未经认证的客户端误操作实例。 开启敏感操作多因子认证保护您的数据不被误删。 DMS for Kafka支持敏感操作保护，开启后执行删除实例等敏感操作时，系统会进行身份验证，进一步对数据的高危操作进行控制，保证DMS for Kafka数据的安全性。详情请参见敏感操作。

审计是否存在异常数据访问 开启 云审计 服务，记录Kafka的所有访问操作，便于事后审查。 云审计服务（Cloud Trace Service， CTS ），是华为 云安全 解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 您开通云审计服务并创建和配置追踪器后，CTS可记录Kafka的管理事件和数据事件用于审计。详情请参见查看Kafka审计日志。 使用 云监控服务 对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态，华为云提供了 云监控 服务（Cloud Eye）。您可使用该服务监控自己的Kafka实例，执行自动实时监控、告警和通知操作，帮助您实时掌握Kafka实例中所产生的请求、流量等信息。 云监控服务不需要开通，会在您创建Kafka实例后自动启动。相关文档请参见Kafka支持的监控指标。

Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling） 本章节介绍在对消费消息实时性要求不高的场景中，如何优化消费者Polling，减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源，也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因，以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因，以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消息堆积数超过阈值的告警规则，实现消息堆积数超过阈值时，系统自动发送短信/邮件通知用户，让用户能够实时掌握业务的运行情况。 DMS for Kafka安全使用建议 本章节提供了Kafka使用过程中的安全最佳实践，旨在为提高整体安全能力提供可操作的规范性指导。

方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案 在开了多个线程同时访问的情况下，如果Topic里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息就足够了，当在polling的线程发现Topic中有消息，可以唤醒其他线程一起消费消息，以达到快速响应的目的。如图2所示。 这种方案适用于对消费消息的实时性要求不高的应用场景。如果要求准实时消费消息，则建议保持所有消费者处于活跃状态。 图2 优化后的多线程消费方案 消费者（Consumer）和消息分区（Partition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。

代码示例运行结果 [2018-01-25 22:40:51,841] INFO Thread 2 Polling! (com.huawei.dms.kafka.DmsKafkaProduceDemo:119)[2018-01-25 22:40:51,841] INFO Thread2 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:40:52,122] INFO Everyone WakeUp and Work! (com.huawei.dms.kafka.DmsKafkaProduceDemo:69)[2018-01-25 22:40:52,169] INFO Thread2 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:40:52,169] INFO Thread2 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:40:52,216] INFO Thread2 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:40:52,325] INFO Thread 2 Polling! (com.huawei.dms.kafka.DmsKafkaProduceDemo:119)[2018-01-25 22:40:52,325] INFO Thread2 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:40:54,947] INFO Thread1 Have a nice sleep! (com.huawei.dms.kafka.DmsKafkaProduceDemo:87)[2018-01-25 22:40:54,979] INFO Thread3 Have a nice sleep! (com.huawei.dms.kafka.DmsKafkaProduceDemo:87)[2018-01-25 22:41:32,347] INFO Thread2 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:41:42,353] INFO Thread2 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:41:47,816] INFO Everyone WakeUp and Work! (com.huawei.dms.kafka.DmsKafkaProduceDemo:69)[2018-01-25 22:41:47,847] INFO Thread2 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:47,925] INFO Thread 3 Polling! (com.huawei.dms.kafka.DmsKafkaProduceDemo:119)[2018-01-25 22:41:47,925] INFO Thread1 Have a nice sleep! (com.huawei.dms.kafka.DmsKafkaProduceDemo:87)[2018-01-25 22:41:47,925] INFO Thread3 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:41:47,957] INFO Thread2 Have a nice sleep! (com.huawei.dms.kafka.DmsKafkaProduceDemo:87)[2018-01-25 22:41:48,472] INFO Everyone WakeUp and Work! (com.huawei.dms.kafka.DmsKafkaProduceDemo:69)[2018-01-25 22:41:48,503] INFO Thread3 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:48,518] INFO Thread1 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:48,550] INFO Thread2 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:48,597] INFO Thread1 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:48,659] INFO Thread 2 Polling! (com.huawei.dms.kafka.DmsKafkaProduceDemo:119)[2018-01-25 22:41:48,659] INFO Thread2 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)[2018-01-25 22:41:48,675] INFO Thread3 recievedrecordshello, dms kafka. (com.huawei.dms.kafka.DmsKafkaProduceDemo:32)[2018-01-25 22:41:48,675] INFO Everyone WakeUp and Work! (com.huawei.dms.kafka.DmsKafkaProduceDemo:69)[2018-01-25 22:41:48,706] INFO Thread 1 Polling! (com.huawei.dms.kafka.DmsKafkaProduceDemo:119)[2018-01-25 22:41:48,706] INFO Thread1 KEEP Poll records! (com.huawei.dms.kafka.DmsKafkaProduceDemo:128)

方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源 日志采集客户端将数据发送到Kafka实例中，Logstash根据自身性能从Kafka实例中拉取数据。Kafka实例作为Logstash输入源时，可以防止突发流量对于Logstash的影响，以及解耦日志采集客户端和Logstash，保证系统的稳定性。

约束与限制 Logstash从7.5版本开始支持Kafka Integration Plugin插件，Kafka Integration Plugin插件包含Kafka input Plugin和Kafka output Plugin。Kafka input Plugin用于从Kafka实例的Topic中读取数据，Kafka output Plugin把数据写入到Kafka实例的Topic。Logstash、Kafka Integration Plugin与Kafka客户端的版本对应关系如表1所示。请确保Kafka客户端版本大于或等于Kafka实例的版本。 表1 版本对应关系 Logstash版本 Kafka Integration Plugin版本 Kafka客户端版本 8.3~8.8 10.12.0 2.8.1 8.0~8.2 10.9.0~10.10.0 2.5.1 7.12~7.17 10.7.4~10.9.0 2.5.1 7.8~7.11 10.2.0~10.7.1 2.4 7.6~7.7 10.0.1 2.3.0 7.5 10.0.0 2.1.0

前提条件 执行实施步骤前，请确保已完成以下操作： 下载Logstash。 准备一台Windows系统的主机，在主机中安装Java Development Kit 1.8.111或以上版本和Git Bash。 创建Kafka实例和Topic，并获取Kafka实例信息。 Kafka实例未开启公网访问和SASL认证时，获取表2所示信息。 表2 Kafka实例信息（未开启公网访问和SASL认证） 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域，获取“内网连接地址”。 Topic名称 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“Topic管理”，进入Topic列表页面，获取Topic名称。 下文以topic-logstash为例介绍。 Kafka实例未开启公网访问、已开启SASL认证时，获取表3所示信息。 表3 Kafka实例信息（未开启公网访问、已开启SASL认证） 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域，获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域，获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域，获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”区域，在“SSL证书”所在行，单击“下载”。下载压缩包后解压，获取压缩包中的客户端证书文件：client.jks。 SASL用户名和密码 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“用户管理”，进入用户列表页面，获取用户名。如果忘记了密码，单击“重置密码”，重新设置密码。 Topic名称 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“Topic管理”，进入Topic列表页面，获取Topic名称。 下文以topic-logstash为例介绍。 Kafka实例已开启公网访问、未开启SASL认证时，获取表4所示信息。 表4 Kafka实例信息（已开启公网访问、未开启SASL认证） 参数名 获取途径 公网连接地址 在Kafka实例详情页的“连接信息”区域，获取“公网连接地址”。 Topic名称 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“Topic管理”，进入Topic列表页面，获取Topic名称。 下文以topic-logstash为例介绍。 Kafka实例已开启公网访问和SASL认证时，获取表5所示信息。 表5 Kafka实例信息（已开启公网访问和SASL认证） 参数名 获取途径 公网连接地址 在实例详情页的“连接信息”区域，获取“公网连接地址” 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域，获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域，获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”区域，在“SSL证书”所在行，单击“下载”。下载压缩包后解压，获取压缩包中的客户端证书文件：client.jks。 SASL用户名和密码 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“用户管理”，进入用户列表页面，获取用户名。如果忘记了密码，单击“重置密码”，重新设置密码。 Topic名称 在Kafka实例控制台，单击实例名称，进入实例详情页。在左侧导航栏单击“Topic管理”，进入Topic列表页面，获取Topic名称。 下文以topic-logstash为例介绍。

方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。

阶段一：调研评估 上云咨询：建议向云供应商或专业的迁移上云服务机构咨询。咨询内容包含不仅限于：云资源选型、云产品功能特性、问题/需求解决方案以及迁移服务流程等。 信息/需求梳理和收集：对迁移目标应用/服务现状信息进行全方面收集。包含（但不限于）：服务器信息、技术选型版本、企业四大架构、部署拓扑等。以及借助迁移期望达成的其他目标。 整体分析：对梳理收集上来的信息进行整体分析评估，包含（但不限于）：业务分析、应用分析、技术分析、数据分析、项目分析、调用关系、集成关系、技术提升改造需求、成本分析等。 风险问题评估：对迁移可能碰到的问题和风险进行评估。包含（但不限于）：IP地址变更、特殊性依赖、网络环境、迁移时间成本及人工成本等。 迁移策略评估：根据各平台/服务/组件特点和实际需要综合评估分析选择上云策略。常见的策略有：重构应用、重新购买、重构平台、重新托管、保留不动、退役淘汰。 调研评估流程图如下： 图1 调研评估流程图 父主题： 实施步骤

阶段二：规划设计 业务规划设计内容如图所示： 图1 业务规划设计内容 业务云上架构设计 例如业务系统符合传统的三层架构模型，首先将应用服务器按照三层架构进行划分如下： 逻辑层级 服务器描述 逻辑层级应用规范 接入层 无接入层服务器 接入方式、接入安全、可靠性、可扩展性 应用层 应用接口服务器 可靠性、可扩展性、高性能 数据层 文件服务器 应用数据库服务器 备份服务器（可结合 对象存储服务 ） 可靠性、可扩展性、高性能 接入层设计： 由于该系统不需要承载大量的网络请求，所以接入层现状无负载均衡设计。 应用层设计： 根据系统提供商要求，应用层只需一台服务器提供服务。根据逻辑层级应用规范，建议应用接口服务器部署两台，部署在政务外网VPC的业务服务器域（应用层子网），配置负载均衡服务，创建专属安全组和安全组规则，放通接入服务器的白名单配置。 数据层设计： 文件服务器：用于存储电子档案和电子证照文件 应用数据库服务器：系统提供商只申请一台服务器作为数据库服务。建议部署两台，作为主备。 备份服务器：系统提供商申请一台服务器作为备份服务器使用，建议结合对象存储服务共同使用，能有效节省云硬盘空间，提升资源使用率。 业务云上部署架构设计如下： 图2 业务云上部署架构 业务云上网络设计 网络设计要求：构建安全隔离的云上私有网络环境。 网络设计思路：为各系统构建独立的VPC网络，应用和数据处于不同子网之中。在政务外网环境下，访问EIP，通过虚拟防火墙进行访问控制，经过负载均衡分发流量，从而访问系统。 网络设计方案：如下图所示。 图3 网络设计方案 业务云上安全设计 安全设计要求：根据XC云平台提供的租户级安全云服务，按照平台上线的安全方案进行匹配设计。 安全设计思路：电子档案与电子证照管理系统整体安全架构可以设计为： 数据层安全防护：数据库审计 应用层安全防护：应用防火墙WAF、网页防篡改、 漏洞扫描 主机层安全防护：主机安全服务 安全管理系统：日志审计系统、 云堡垒机 、安全指数服务、安全态势感知 安全设计方案：如下图所示。 图4 安全设计方案 业务云上灾备设计 灾备设计要求：根据系统调研的灾备需求对其进行云化灾备设计，此部分需要根据客户需求进行匹配。 灾备设计思路：对重要的应用服务器或者数据库服务器进行备份容灾设计，灾备可以设计为： 应用灾备：云服务器备份 数据灾备：备份服务器、对象存储服务 灾备设计方案：如下图所示。 图5 灾备设计方案 业务云上整体设计方案，如下图所示： 图6 业务云上整体设计方案 父主题： 实施步骤

实施步骤 中软国际云智能依托“上云/管云/云原生，懂云/懂行/聚生态”的策略，构建了“平台+服务+解决方案”的业务形态，提供上云咨询、云迁移、云运维、云开发等专业服务，以CloudEasy全栈云服务覆盖企业上云全流程，深刻赋能企业数字化转型。 以某企业业务上云为例，其IT向云迁移面临的主要挑战： 图1 IT向云迁移面临挑战 图2 企业应用上云整体的流程图 阶段一：调研评估 阶段二：规划设计 阶段三：迁移实施 阶段四：迁移验收

方案架构 中软国际企业上云迁移服务解决方案架构如下图所示，本解决方案是基于华为云实现端到端的迁移服务，加速企业应用上云，实现企业数字化转型第一步。 图1 业务架构图 本方案为客户提供上云迁移咨询服务以及上云迁移实施服务。解决方案适配的迁移场景主要有数据中心迁移、数字化转型、跨云平台迁移、以及云上的容灾/恢复。 上云前，全面评估，规划路径， 通过上云评估，中软国际帮助企业全面调研业务现状，分析上云可行性，制定合理的演进路线，为上云决策提供科学依据。 迁移过程中，业务架构优化设计针对云上应用系统架构的优化、改造和升级，提升系统性能和稳定性； 主机迁移 通过主机搬迁的方式，将源端业务应用直接迁移到云上运行；数据库迁移支持多种来源、多种场景、多种网络、多种类型的数据库迁移，保障数据安全可靠地迁移上云；存储迁移则是优化数据存储架构，提升效率。主要提供以下服务： 上云迁移咨询服务：为客户提供云平台及云平台上的产品特性支持；提供应用评估、架构设计，为用户提供上云的整体解决方案。 上云迁移实施服务：为用户提供信息调研与评估、迁移方案设计、迁移实施等服务，为用户解决迁移难和风险高的问题，实现数据零丢失，降低迁移风险，助力用户业务快速上云。

应用场景 云计算发展现已进入多云、混合云阶段，数字化转型过程中，越来越多的企业基于数据安全、隐私、合规、成本、充分利用不同云产品优势特点、避免单一厂商技术锁定等考虑，广泛采用多云融合的策略。 多云时代，如何更好地上云、管云、用云，赋能业务创新？针对以上问题，中软国际基于丰富的助力客户上云应用实践，以及在云管理领域的当先地位，为企业上云管云提供全栈云服务解决方案，破解数字化转型的“老大难”问题，共同构建数字生态。 用户跨云跨池迁移的主要场景如下： 企业客户需要将本地数据中心的虚拟机业务搬迁上云； 云厂商平台升级，如IaaS/Paas平台存在一些阶梯式演进或跨代际的版本升级，需要客户把旧平台上的存量业务便捷的迁移到新平台； 企业根据自身业务诉求，采用多云战略将不同的业务部署在不同的云厂商平台，以期获得最佳的IT技术组合，这就使得业务在按需好的放置时需要跨云平滑流动。

方案优势 全场景、全栈式“一站上云”：通过适用7阶12步的上云方法论，涉及调研与评估、上云规划、上云实施、业务切换等各个环节，打通全流程、覆盖全场景，为各行业用户提供了平稳、高效、清晰的上云解决方案，累计1000+成功华为云案例； 降低企业上云成本：通过上云优化服务能力和云成本管理，降低企业总体上云成本。华为官方迁移工具适合大多数迁移场景，能减少工具外采费用；通过合理的技术（如CDN+OBS），可减少50%云迁移流量费用； 自研迁移工具：拥有自研数据库迁移工具(DSM)，可实现自研数据迁移，异构数据库迁移； 大量成功案例及行业实践，可帮助企业规避潜在风险。使用全量+增量同步技术，实现数据零丢失，大大减少业务停机时间； 云专业服务团队：交付团队人员240人，全员持有HCCDP-Cloud Migration证书、92人HCCDP- GaussDB数据库 证书，15人HCIE证书，13人PMP证书。提供全栈云服务能力。

资源和成本规划 以某科技公司为例，该公司是为车主提供加油站寻找服务的一家企业。该公司信息公有云资源部署在A云，主要包含客户托管主机与产品自用资源两部分资源消耗，迁移目标是将产品自用资源全量迁移以及客户托管主机全量迁移。 根据客户现有规模、数据量，以及考虑到业务的扩展、以及客户对平台性能、业务高可靠的要求，设计了以下的资源与成本清单。实际收费应以账单为准： 表1 资源和成本规划 云资源 规格 数量 每月费用（元） VPC 网段选择172.16.0.0/16，其他采用默认配置 1 00.00 Subnet 网段选择172.16.0.0/24，其他采用默认配置 1 00.00 安全组 按需开放，最小化原则 ，如数据库根据需要开通入方向3306等端口 1 00.00 E CS 规格：8vCPUs | 16GB | c7.2xlarge.2 操作系统：Linux 区域：华北-北京四 VPC名称：VPC-BJ4 10 8500.00 EVS 通用型SSD | 500GB 10 3500 EIP 按需计费 | 加入共享带宽 10 144 ELB 独享型 | 中型 I | 8,000 HTTP / 800 HTTPS 新建连接数 | 800,000 并发连接数 | 16,000 每秒查询 | 200 Mbit/s带宽 | 40 LCUs 1 1715 OBS 标准存储单AZ存储包 | 5TB 1 456.00 DMS rocketmq.4u8g.cluster.small | 代理个数：1 超高IO | 300GB 1 4080 DCS 基础版 | 5.0 | 主备 | X86 | D RAM | 2 | 512 MB 1 33.75 SMS 主机迁移服务 1 0 OMS 对象存储迁移 服务 1 0 DRS 数据库迁移服务 1 0 RDS MySQL 5.7 | 单机通用 | 2 vCPUs | 4GB | 40GB 1 196.00 共享带宽 按带宽计费 | 200Mbit/s带宽大小 (Mbit/s) 1 16000 DNS 域名 解析 1 0 DDoS防护 保底防护带宽：10Gbit/s | 业务带宽：100Mbit/s | 防护域名数：50个 1 8820 企业主机安全 专业版 1 90 Web应用防火墙 标准版 1 3880 总计：47414.45 (每月) 本案例所涉及的上云专业服务报价项如下，实际以收费账单为准： 表2 专业服务清单 类别 报价项 量纲 上云迁移咨询服务 现网调研+上云评估 元/服务包 上云迁移方案设计 元/服务包 上云迁移实施服务 主机迁移 元/服务包 数据库迁移 元/服务包 非结构化数据迁移 元/服务包 中间件迁移 元/服务包 容器迁移 元/服务包 业务压力测试 元/服务包

数据库迁移实施 根据调研评估结果选择合适的迁移方案选择云上同样的数据库、其他更高性能数据库、云上自建数据库; 迁移方式的选择，有手动迁移(如mysqldump等)、数据库自带的专业迁移工具、华为云专业迁移工具/服务。下面介绍华为云专业迁移工具使用方法。 数据复制服务 （Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。 数据复制服务围绕云数据库，降低了数据库之间数据流通的复杂性，有效地减少了数据传输的成本。 通过数据复制服务快速解决多场景下，数据库之间的数据流通问题，以满足数据传输业务需求。

准备步骤 创建源端和目的端的访问密钥（AK/SK）并授权 创建目的端桶 预估迁移数据 预估需要迁移的数据，包括迁移存储量和迁移文件个数。您可以在其他云OSS管理控制台页面，查看待迁移的存储量和对象（文件）数量。 通常OMS的迁移速度参考值是10~20 TB每天。 解冻源存储空间待迁移数据 由于在线迁移服务并不会对源端数据执行解冻操作。如果您源端有未解冻、解冻中的文件，则这些文件都会迁移失败。 配置迁移用户权限 源端桶对应账户需要的权限：只读访问对象存储服务(OSS)的权限（XXyunOSSReadOnlyAccess）。 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。

迁移步骤 创建迁移任务组 图2 迁移任务组 选择源端/目的端页面 图3 选择源端/目的端页面 设置任务组参数 图4 设置任务组参数 选择迁移方式 图5 选择迁移方式 参数设置 图6 参数设置 选择“忽略元数据”，OMS只迁移源端ContentType元数据。 选择“否”，不过滤源端待迁移对象。 目的端配置选项 图7 目的端配置选项 不勾选“KMS”，迁移后对象均不加密。 选择“是”，输入指定前缀，源端对象迁移到目的端后，会在对象名前增加设置的前缀。 高级配置 图8 高级配置 保持默认即可 开启迁移 图9 开启迁移 迁移数据统计 在迁移过程中，每迁移完一个对象，会对该对象进行一致性校验，如果不一致则会将该对象记录到失败对象列表中。 OMS会累积记录迁移失败对象个数，可以通过任务详情查看具体的迁移数据统计。 图10 迁移数据统计

操作步骤 步骤一：安装rsync工具 在Linux云服务器中执行以下命令安装rsync工具 sudo yum install rsync 图1 安装rsync工具1 rsync -version 图2 安装rsync工具2 步骤二：获取本地NAS存储的挂载地址和访问文件系统的挂载地址 访问本地NAS存储 mount -t nfs -o vers=3,timeo=600,noresvport,nolock /mnt/src 访问SFS Turbo文件系统 mount -t nfs -o vers=3,timeo=600,noresvport,nolock /mnt/dst 步骤三：全量&增量同步 执行以下命令，将本地目录以增量同步的方式，上传到华为云SFS Turbo rsync -avP /mnt/src root@192.168.0.2.0:/mnt/dst 命令中的参数请根据实际值修改，参数含义如下： 表3 参数说明 参数 说明 /mnt/src 需要上传的本地目录名。 root 上传目标NAS文件系统目录的属主。 192.0.2.0 已挂载文件存储NAS文件系统的Linux/Windows ECS公网IP。 /mnt/dst ECS实例中用来挂载SFS Turbo的路径。 图3 增量同步

方案概述 迁移数据时，可用的迁移工具多种多样。本节提供如以下表格中的迁移工具教程示例以及各迁移工具的特点和应用场景，本节选择使用rsync命令行工具迁移数据：通过mount方式挂载访问SFS Turbo，将本地NAS存储中的数据迁移至SFS Turbo。 表1 迁移工具教程 迁移工具 特点 应用场景 使用SFTP客户端迁移数据 支持众多操作系统平台。 提供图形化操作界面。 适用少量文件需要一次性上传至NFS文件系统和将NFS文件系统内的数据下载到本地。 使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统，本地Linux或macOS系统可配置crontab向云上NAS自动备份数据。 上传下载后的文件元数据不变（包括属主及权限信息）。 支持数据增量同步。 适用大量文件上传和下载或需要频繁上传和下载的任务。 使用Robocopy工具迁移数据 Windows自带工具。 支持多线程、断点续传。 适用10 T以上的上亿小文件，单个文件100K左右的海量数据迁移。 支持数据增量同步。 适用Windows操作系统海量数据多线程、断点续传 。 使用IIS FTP迁移数据 支持众多操作系统平台。 提供图形化操作界面。 适用IIS服务访问NAS SMB文件系统。 使用fpsync命令行工具迁移数据 多线程迁移数据。 适用多线程迁移数据至NFS文件系统。

资源准备 表1 资源准备 产品 规格实例 说明 分布式消息服务kafka版 kafka.4u8g.cluster / 配置网络环境 Kafka实例分内网地址以及公网地址两种网络连接方式。本次使用公网地址，消息生成与消费客户端需要有公网访问权限，并配置如下安全组。 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka（关闭SSL加密）。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka（开启SSL加密）。 创建topic 在新的Kafka实例上创建与原Kafka实例相同配置的Topic，包括Topic名称、副本数、分区数、消息老化时间，以及是否同步复制和落盘等

CMF 云迁移框架 云迁移框架（Cloud Migration Framework，以下简称CMF）是站在客户视角的上云迁移方法论，它来源于华为云的经验和大型企业上云的优秀实践，为企业上云提供完整的上云指导。企业上云的整体思路是，先整体规划，然后小范围试点，最后再大规模上云。按照这个思路，把企业上云的生命周期分为8个阶段，分别是调研分析、评估规划、上云准备、云上架构设计、上云迁移试点、整体批次规划、大规模上云迁移和云上运维与治理，其中调研分析贯穿整个上云周期，整体框架如下： 图1 云迁移框架 其中有5个阶段是全局任务，即项目级的任务，包括评估规划、上云准备、云上架构设计、整体批次规划、云上运维与治理。有2个阶段是应用级的任务，即每个应用迁移都要执行一个小循环。小循环内按调研、设计、部署、迁移、验证、切换、保障7个步骤有序运转，上图中的上云迁移试点和大规模上云迁移都是循环执行小循环迁移流程。 企业上云的过程包含如下几个阶段： 调研分析 调研工作持续整个上云周期，整体调研思路是由粗到细持续迭代，比如评估规划阶段只需要调研到全景（打开到业务域），在迁移实施阶段要打开到每个业务系统和应用系统模块，并调研详细的信息。 评估规划 评估规划，首先要识别企业上云的动机，上云后想要实现的业务收益，然后结合企业的云成熟度现状，制定合适的上云策略，并规划整体上云的蓝图。 上云准备 上云准备是企业在正式上云之前要做的相关准备工作。首先是组织准备，企业首先要构建自己的云转型团队，负责整个上云工作和云的能力建设。其次，组织一个正式的动员会，上云是一把手工程，需要中高层参与，召集云厂商和各集成商做到三个对齐“组织对齐”、“目标对齐”“责任对齐”。 云上架构设计 云上架构设计包括基础环境设计和应用部署架构设计两部分。 基础环境设计：企业上云首先要准备好基础环境，基础环境构建好以后，上云工作才能正式开始。基础环境在业界也叫做LandingZone（着陆区），基础环境设计包括6个方面，即账号和权限设计、整体网络设计、整体安全设计、资源治理设计、运维监控设计、财务管理设计。 应用部署架构设计：应用部署架构是应用在云上的技术架构。应用部署架构要从应用的四层技术架构来设计，即接入层、应用层、中间件层和数据层。需要设计每一层的云服务技术选型，同时还要考虑架构设计的6要素，即可用性、性能、可扩展性、安全性、成本和可运维性。其中，安全性、成本和可运维性这3个要素可以参考基础环境的设计，应用部署架构设计时可重点关注可用性、性能和可扩展性这3个要素。 上云迁移试点 在正式上云之前先要进行小范围试点，为大规模上云奠定基础，上云试点主要是做好团队磨合、方案磨合、技能磨合，并验证企业上云的价值，通过试点增强各业务部门上云的信心。试点一般选1~3个合适的应用上云，执行上云迁移的小循环（调研、设计、部署、迁移、验证、切换、保障）。 整体批次规划 整体批次规划是指将企业的应用程序和数据分阶段地迁移到云平台的计划和安排。批次规划将复杂的迁移过程分解为更小的可管理的步骤，使企业能够更好地管理和控制上云过程，降低了上云的风险。批次规划既是科学又是艺术，企业可以先基于关联关系进行分组，然后参考优先级和分批的原则，并结合上云试点的结果，输出可执行的整体批次规划。 大规模上云迁移 大规模上云迁移是按照整体批次规划，滚动执行上云迁移小循环的过程，每个小循环都包括7个阶段：调研、设计、部署、迁移、验证、切换、保障。 大规模上云有2种方式： 应用迁移上云：是指将应用的运行环境迁移到云上，迁移的对象包括接入层、应用层、中间件层和数据层，采用的上云策略是Re-host或Re-platform，主要是平迁，包含少量上云适配改造，遵循应用迁移小循环流程。 大数据迁移上云：是指将大数据平台的运行环境迁移到云上，包括数据迁移和任务迁移，采用的上云策略是Re-platform，包含大数据任务的适配改造，遵循大数据迁移流程（待发布）。 父主题： 实施步骤

KAFKA迁移问题 问题8：Kafka消息堆积了怎么办？ 回答： 登录Kafka实例控制台，单击产生告警的实例名称，进入实例详情页。 在左侧导航栏，单击“监控”，进入监控页面。 在“消费组”页签中，查看“消息堆积数（消费组可消费消息数）”，找出消息堆积的消费组。 在左侧导航栏，单击“消费组管理”，进入消费组列表页面。 查看消息堆积的消费组是否有消费者在消费，如果有，让业务方加快消费效率，如果没有，酌情删掉不使用的消费组。 问题9：为什么删除消费组不生效？ 回答：您开启了自动创建消费组功能，且业务代码正在连接该消费组。所以，如果没有停止您的业务，删除了消费组后，消费消息时还是会自动创建该消费组。关闭自动创建消费组功能，即在Kafka控制台的“配置参数”页面，把“auto.create.groups.enable”设置为“false”，然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数，具体以控制台为准，此时建议修改业务代码，使业务代码不再连接该消费组，然后再删除消费组。

SMS迁移问题 问题1：迁移中源端有新增的数据如何处理？ 回答：启动目的端后，如果源端有新增的数据，单击此服务器所在行的操作列的“同步”，开始下一次复制（增量数据），当迁移状态为“持续同步”时，单击“启动目的端”，迁移实时状态为“已完成”时，说明新增数据已同步到目的端。 问题2：迁移过程中目的端为什么多出来一个40G的磁盘？ 回答：主机迁移服务在迁移过程中会在目的端服务器临时创建并挂载一个容量为40GB的磁盘，用于辅助迁移，该磁盘会在迁移结束后自动删除。迁移期间，请勿对该磁盘进行删除操作或将计费模式转为包周期操作，否则会导致迁移失败。