华为云用户手册

OPS08-02 进行事故复盘和改进 事故分析的目的是：规范和指导重大事故发生后，优化事故的输入、输出，确保事故回溯工作有效开展，回溯报告中发现的问题有效整改，总结的经验有效推广。 风险等级 高 关键策略 故障发生后，通过对现网重大故障处理过程 Review 及根因进行分析和改进总结，规范整个恢复过程，实现对可用性和技术能力的提升。故障复盘的技术过程按照 RASA 法、Review（回顾）、Analyze（分析）、Summary（总结）、Action（行动）。 Review（回顾）：完整记录故障的发生、发现、根因定位、决策、处理、预案执行、回滚、故障解决等的关键人与关键时间点，保证信息尽可能的客观、准确。 Analyze（分析）：分析故障的根本原因及故障处理过程中优化点。 Summary（总结）：总结本次故障及处理故障的过程。进行故障定性、故障定责及总结本次故障带来的经验教训并举一反三。 Action（行动）：确定上面分析总结的结论，进行改进、优化及落地实施。 父主题： OPS08 度量运营状态和持续改进

OPS06-04 规范化应用日志 日志是随时间推移发生的不可变、记录时间戳的离散事件。系统需要记录关键事件和故障，以帮助诊断问题和解决故障。 风险等级 高 关键策略 对于一个系统来说，日志是非常重要的。它可以记录在系统中发生的一切，包括成功的操作、错误的操作、警告信息等等。因此，日志记录是可观测性设计中最基本的需求之一。通过将事件和错误信息记录到日志文件或数据库中，可以方便地进行故障排除和问题诊断。但是，仅仅记录日志并不足够，还需要对日志进行有效的管理和分析。如果日志太多，将会成为一个负担，因为它们需要占用存储空间，并且需要花费很长时间来查找有用的信息。因此，需要对日志进行过滤和归档，以便更好地管理它们。 设计建议 可参考LTS最佳实践 父主题： OPS06 可观测性体系

OPS07-01 创建可操作的告警 风险等级 高 关键策略 收到告警时，一般需要做出响应，消除无须响应的告警。 比如磁盘IO 量瞬间飙升，CPU 使用率瞬间飙高，这类告警无需做出响应，对业务而言，意义就不大了。 遵循可操作性原则能避免很多误报。并且要定期统计和分析告警频率，识别高频告警，解决告警问题，清除明确的告警误报。 设计建议 优化告警阈值：适当提高 内存／CPU／网络 IO 告警阈值。 优化日志级别：优化不合理的日志级别，把部分 ERROR 级别的日志调整为 WARNING。 屏蔽某些日志：对难以调整日志级别的应用，根据关键字屏蔽某些频繁的日志告警。 预警增强：对于某些影响业务方的操作，提供预警。 增强紧急预警：有些硬件故障会出现反应在 /var/log/messages 中，根据关键字匹配硬件类告警，以便及时处理。 相关云服务和工具 应用运维管理 AOM 云运维中心 COC 云监控服务 CES 父主题： OPS07 进行故障分析和管理

OPS03-05 进行混沌测试和演练 混沌工程（Chaos Engineering）是通过故障注入，验证故障快速恢复能力及系统可靠性的实践活动。 风险等级 高 关键策略 通过混沌工程的方法模拟可能出现的故障，进而综合验证系统在不同故障场景下的容错能力、监控能力、应急响应能力、定界定位、快速恢复等确定性恢复能力。 验证高可用设计：业务系统在规划设计阶段进行架构高可用设计、监控设计，在上线前进行生产准备度评审 (PRR)、性能压测，确保系统能够持续提供稳定、可靠的服务。混沌工程从应用部署架构、服务容量、监控告警、应用高可用等多维度设计演练场景，先测试、后攻防、再突袭逐步递进式的开展演练。通过持续演练，对架构高可用、监控、PRR 等能力做“在线验证”，实现持续性的动态风险治理。混沌演练和高可用设计共同成为系统稳定性的“双引擎”。 系统风险消减、业务快速恢复：分析系统潜在风险（故障场景），制定应急预案，验证故障场景的覆盖率和命中率，验证应急预案的质量和执 行效率，做到“少出事”和“出了事快速恢复”，实现确定性恢复的目的。 少出事：尽量挖掘潜在风险，区分等级和危害，通过执行演练检验业务风险消减能力。 出了事快速恢复：通过主动制造故障，让运维和研发熟悉故障场景，验证应急恢复预案，从而加快恢复速度。 混沌工程度量指标 故障场景的覆盖率：分析故障场景的覆盖率，例如容灾场景覆盖 80%，过载场景覆盖 60%。 故障场景的命中率：分析故障场景中，真实发生的比率。 应急预案的质量：用于度量应急预案有效性和执行效率。 风险发现个数与等级：定期评估分析（季度或年度）主动发现的风险数量和级别。 风险消减个数、等级与类型：风险降级的数量，风险消减的数量，增加预案的数量，改进监控项的数量。 故障恢复时长提升率：对应故障场景经过混沌工程演练，平均恢复速度提升的比率。 故障数量相比上年减少数量：本年度故障数量相比上年度减少多少。 相关云服务和工具 MAS 混沌工程 COC 故障演练 父主题： OPS03 完备的测试验证体系

云日志 服务(LTS) 云日志服务（Log Tank Service，简称LTS）是高性能、低成本、功能丰富、高可靠的日志平台，提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能，满足应用运维、等保合规和运营分析等应用场景需求。 云日志服务提供多种接入方式实现海量日志接入LTS，支持日志搜索引擎、SQL分析引擎、日志加工引擎，详细请参考下图。 端云全场景日志接入：40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚，满足全场景客户丰富的日志接入需求。 海量日志存储搜索：百亿日志秒级搜索，千亿日志迭代搜索，PB级智能冷存储。 SQL统计和可视化图表：100+SQL函数、多种可视化图表、10多种开箱即用仪表盘。 实时日志告警：自定义告警内容，短信/邮件/微信/钉钉/HTTP多渠道通知。 一站式日志加工：200＋函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服务间集成：日志转储OBS/DWS/DIS/ DLI /DMS，助力用户快速构建水平解决方案。 父主题： 卓越运营云服务介绍

多活高可用(MAS) 多活高可用(MAS)的混沌工程（ChaosEngineering）是一种通过主动注入故障识别并修复系统未知隐患的工程实践。MAS-CAST混沌工程服务提供丰富的故障模式库，通过混沌实验编排攻击目标、攻击策略进行故障注入，支持添加背景流量和资源监控，同时在故障注入能力的基础上，通过体系化的流程和规范来创建故障演练，从而验证和提升系统可靠性和技术团队应急响应能力。 父主题： 卓越运营云服务介绍

OPS01-03 规划标准化的运维流程和运维工具 风险等级 高 关键策略 流程和工具是经验的承载，通过标准化的流程，可以大幅降低在运维过程中因为个人的因素受到的影响和无序化。 通过标准化的、统一的运维工具，向运维人员提供集中、统一维护界面及清晰易上手的操作手册，方便运维人员的集中维护，提高运维效率。常见的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。 告警和事件管理流程：适用于开发，生产环境故障等事件的受理、处理、升级流程，确保用户的业务及时得到响应和处理，支撑SLA的达成，需要明确定义企业各类事件的等级，以及处理的职责，规范各类事件响应和处理时限及通报机制，保障业务的安全性和稳定性。 问题和回溯流程：适用于事件复盘分析，识别故障的根因、管理规避方案和已知错误，来降低故障再次发生的可能性和影响。通过有效的问题管理运作，促进产品质量的不断完善，提升产品的质量稳定性，降低产品现网故障数量。 产品可用度评审流程（Product Readiness Review）：对于您云上业务是否在产品环境有问题的审查，以确定产品/应用已做好产品发布准备，在运维阶段是否有问题。 值得注意的是，由于云上应用迭代更新的特性，产品可用度评审不应该只是在产品刚上线时进行审查，而以后则置之不理。由于您的云上应用不断更新，这个流程应该定期/或者由重大事件（比如电商企业的促销）触发。 此外还有类似于企业IT服务的管理，账号的管理等流程，围绕这些流程，您的企业可以使用并标准化一系列云上工具，如流水线，监控报警，日志处理，运维中心。从而将您企业的运维标准化，进而迈向卓越。上文中的一些关键流程的最佳实践（变更管理，告警和事件处理，问题和回溯流程，运维可用度评审流程）也会在本白皮书的其他最近章节详述。 设计建议： 相关云服务和工具 云运维中心 COC 华为云AOM服务 云监控 服务 CES 华为云LTS服务 应用性能管理 APM 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

资源编排 服务( RFS ) 资源编排服务是完全支持业界事实标准Terraform（HCL + Provider）的新一代云服务资源终态编排引擎，在 应用编排服务 (AOS)基础上实现了生态、体验、特性的全新升级；资源编排服务基于业界开放生态HCL语法模板，实现云服务资源的自动化批量构建，帮助用户高效、安全、一致创建、管理和升级云服务资源，能有效提升资源管理效率，并降低资源管理变更带来的安全风险。 父主题： 卓越运营云服务介绍

云监控中心(CES) 云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 云监控服务主要具有以下功能： 自动监控：云监控服务不需要开通，在创建弹性云服务器等资源后监控服务会自动启动，您可以直接到云监控服务查看该资源运行状态并设置告警规则。 主机监控：通过在弹性云服务或裸金属服务器中安装云监控服务Agent插件，用户可以实时采集E CS 或BMS 1分钟级粒度的监控数据。已上线CPU、内存和磁盘等40余种监控指标。有关主机监控的更多信息，请参阅主机监控简介。 灵活配置告警规则：对监控指标设置告警规则时，支持对多个云服务资源同时添加告警规则。告警规则创建完成后，可随时修改告警规则，支持对告警规则进行启用、停止、删除等灵活操作。 实时通知：通过在告警规则中开启 消息通知 服务，当云服务的状态变化触发告警规则设置的阈值时，系统通过短信、邮件通知或发送消息至服务器地址等多种方式实时通知用户，让用户能够实时掌握云资源运行状态变化。 监控面板：为用户提供在一个监控面板跨服务、跨维度查看监控数据，将用户关注的重点服务监控指标集中呈现，既能满足您总览云服务的运行概况，又能满足排查故障时查看监控详情的需求。 OBS转储：云监控服务各监控指标的原始数据的保留周期为两天，超过保留周期后原始数据将不再保存。您可以在 对象存储服务 （Object Storage Service，以下简称OBS）创建存储桶，然后将原始数据同步保存至OBS，以保存更长时间。 资源分组：资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警记录，可以迅速提升运维效率。 站点监控：站点监控用于模拟真实用户对远端服务器的访问，从而探测远端服务器的可用性、连通性等问题。 日志监控：日志监控提供了针对日志内容的实时监控能力。通过云监控服务和云日志服务的结合，用户可以针对日志内容进行监控统计、设置告警规则等操作，降低用户监控日志的运维成本，简化用户使用监控日志的流程。 事件监控：事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。 父主题： 卓越运营云服务介绍

通过AOM助力系统运维能力提升，降低运维成本与难度 某平台服务的认证驾驶员用户1000万人，货主用户500万人，集团业务覆盖全国339个主要城市，覆盖线路数量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要 告警通知能力不足：自建运维平台告警通知能力不能完全满足多场景通知的需要，且没有告警降噪能力 解决方案： 业务价值： 降低了运维成本与难度：降低了运维多套系统的难度，减少了客户运维起步的资源投入，降低了运维成本 运营分析能力提升：基于可视化图表和开箱即用的仪表盘等强大功能，快速实现对业务的运营分析 排障能力提升：云端多维度监控实现对业务立体运维，结合自动告警规则达到对故障的快速感知定位处理 父主题： 参考案例

软件开发生产线(CodeArts） 软件开发生产线（CodeArts）是一站式、全流程、安全可信的DevSecOps平台，开箱即用，内置华为多年研发最佳实践，助力效能倍增和数字化转型。 CodeArts由以下几个主要服务构成： 需求管理：提供需求管理与团队协作服务，内置多种开箱即用的场景化需求模型和对象类型（需求/缺陷/任务等），可支撑IPD、DevOps、精益看板等多种研发模式，还包含跨项目协同、基线与变更管理、自定义报表、Wiki在线协作、文档管理等功能。 代码托管：基于Git提供分布式代码管理和协同开发能力，包括成员管理、权限控制、代码托管、代码检查、代码审核、代码追溯、持续集成等功能，助力不同规模企业的研发质量和效率提升。 流水线：提供可视化、可定制的持续交付流水线服务，实现缩短交付周期和提升交付质量的效果。 代码检查：为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力，提供全面质量报告、便捷的问题闭环处理帮助企业有效管控代码质量，助力企业成功。 编译构建：基于云端大规模分布式加速，为客户提供高速、低成本、配置简单的混合语言构建能力，帮助客户缩短构建时间，提升构建效率。 部署：支持主机、容器等多种部署形态，部署能力覆盖Tomcat、Springboot等多种语言和技术栈。基于其对部署功能的插件化封装和编排能力，帮助您实现软件的快速、高效发布。 测试计划：覆盖测试计划、测试设计、测试用例、测试执行和测试评估等全流程，旨在帮助企业协同、高效、可信的开展测试活动，保障产品高质量上市。 制品仓库：用于管理源代码编译后的构建产物，支持Maven、Npm等常见制品包类型。可以与本地构建工具和云上的持续集成、持续部署无缝对接，同时支持制品包版本管理、细粒度权限控制、安全扫描等重要功能，实现软件包生命周期管理，提升发布质量和效率。 CodeArts IDE Online：基于云计算的轻量级WebIDE，通过浏览器即可实现环境快速获取和环境访问，完成编码、构建、调试、运行、访问代码仓库和命令执行等工作，支持第三方业务集成，支持插件扩展并提供独立插件市场。 开源镜像站：由华为云提供的开源组件、开源操作系统及开源DevOps工具镜像站，目前已提供Maven、NPM、NuGet、CentOS、Ubuntu、Debian等镜像下载服务。 父主题： 卓越运营云服务介绍

OPS02-01 进行需求管理和迭代开发 风险等级 高 关键策略 您的云上应用要达到卓越运营，从设计和开发阶段就需要保证可用性，可恢复性，同时也需要保证代码的质量。您需要评估和了解软件DFX相关要求，包括可靠性、性能、可服务性、可运维性、可交付性等要求 将监管、行业和内部合规性要求纳入需求范围中，同时在需求排序的时候，给予这些需求足够的时间和重视。 同时从可维护性来看，较之于一次性颠覆性的大范围应用/软件更新，小步快跑，持续迭代地进行云上软件的更新更有利于运维，因为一则小范围的云上软件更新和部署更不容易引起大范围事故，其次，不停地迭代更新也有效地保证了开发，运维团队成员能够时刻处于练兵状态，不至于对运维的流程，最佳实践比较陌生。要保证云上应用进行迭代更新，那么从需求阶段，就要进行迭代规划和跟踪，通过迭代的方式进行开发管理，根据需求划分迭代计划。 相关云服务和工具 华为云CodeArts Req服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更

OPS03-02 使用多个环境进行集成测试，构建和生产环境相同的预生产环境 风险等级 高 关键策略 开发者测试虽然成本低，但是缺乏对生产环境配置以及不同服务和应用之间实际交互的验证。为此，您的组织可以在云上提供多个环境，典型的环境包含测试环境，预生产环境和生产环境。在生产环境部署之前，可以通过测试环境进行联调测试，验证不同团队代码之间的业务交互流程是否正确。但是测试环境和生产环境的配置不尽相同。 而预生产环境使用与生产环境相同的部署配置、安全控制、步骤和程序，在预生产环境中测试发布过程。验证所有部署步骤是否按预期完成，如检查依数据、配置和服务。通过集成功能测试，和各种非功能测试以及运行状况检查等各种监控方法，进一步测试所有更改。 父主题： OPS03 完备的测试验证体系

OPS04-01 有效落地持续集成 风险等级 高 关键策略 持续集成是一种软件开发实践，开发人员使用它定期将软件更新集成到源代码控制系统中。当工程师向代码仓提交代码时，持续集成过程就开始了。理想情况下，集成过程会根据多个基线和测试来验证代码。然后，它向提交者提供有关这些测试状态的反馈。如果基线检查和测试进展顺利，集成过程将生成并暂存部署更新软件的资产。这些资产包括编译的代码和容器映像。 持续集成可以通过执行以下操作更快地交付高质量的软件： 针对代码运行自动化测试，以便尽早检测到重大更改。 运行代码分析以确保代码标准、质量和配置。 运行合规性和安全检查以确保软件不存在已知漏洞。 运行验收或功能测试以确保软件按预期运行。 对检测到的问题提供快速反馈。 在适用的情况下，生成包含更新代码的可部署资产或包。 相关云服务和工具 CodeArts Pipeline 父主题： OPS04 自动化构建和部署流程

OPS06-02 定义可观测对象 风险等级 高 关键策略 客户可感知的观测对象分类如下： 可观测分层 功能 / 主要指标 IT 资源监控 IT 资源监控对 IT 资源的性能和容量进行监视和报告，确保您的业务稳定可靠运行 应用监控 应用监控基于应用资源管理对资源实行从应用、业务组件、到环境的分层监控，每一层对应的观测指标均不同。在应用层，主要监控业务层、应用层、中间件层以及基础设施层告警信息，同时通过绑定当前应用的仪表盘，以图表的形式展示指标源、日志源以及系统图表信息。主要关注：WAITING 状态线程数、TIMED_WAITING 状态线程数、可使用内存等指标 进程监控 进程监控是针对主机内活跃进程进行的监控，默认采集活跃进程消耗的 CPU、内存，以及打开的文件数量等信息。当您配置了自定义进程监控，还会监控包含关键字的进程个数。主要关注：运行中进程数、空闲进程数、僵死进程数等指标 日志监控 配置日志服务从日志中提取指定的关键词，便于您使用监控服务对日志中的关键指标进行监控及告警。主要关注：访问日志数量、错误日志数量、日志大小等指标 自定义监控 自定义监控展示用户所有自主定义上报的监控指标。用户可以针对自己关心的业务指标进行监控，将采集的监控数据通过使用简单的 API 请求上报至监控服务进行处理和展示 中间件监控 提供快捷安装配置各类型中间件插件的功能，并提供开箱即用的专属监控大盘，目前支持的中间件插件有以下几种： MYSQL、REDIS、MONGODB、NGINX、NODE、HAPROXY、COMP_EXPORTER、COMP_REDIS_EXPORTER、COMP_MYSQL_EXPORTER 主机监控 主机监控提供了包括基础监控和操作系统监控两种不同监控粒度层次的监控。基础监控为 ECS自动上报的监控指标，操作系统监控通过在ECS中安装Agent插件，为用户提供服务器的系统级、主动式、细颗粒度监控服务。主要关注：CPU_UTIL、DISK_READ_BYTES_RATE、带外网络流入速率等指标 用户线下 组件监控 对用户的线下组件统一监控，主要支持：线下 Grafana 对接、线下自建 Prometheus 对接、业务监控、应用监控、线下 IDC 监控和线下中间件监控 网络性能 管理监控 功能：对客户端 - 网 - 边 - 云全链路网络进行监控，帮助用户及时发现网络故障，全面掌握网络的实时状况。主要关注：应用响应时间、DNS 解析时间、TCP 建连时间、访问流量等指标 父主题： OPS06 可观测性体系

基础概念 名称 名词解释 确定性运维 确定性运维旨在构建可防、可控、可治的运维管理体系。首先是通过高质量的产品开发，严谨的运维流程和制度来降低故障的概率，要挑战零故障，同时也要有技术手段对可能发生的故障，将间隔、影响范围及故障恢复时间做到可防、可控、可治，要把数字化带来的“不确定性”通过运维变成“确定性”。 IaC 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程和设置来配置和支持基础设施的能力。任何应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。 CI/CD 持续集成/持续交付 持续集成是一种编码理念和一套实践，它促使开发团队频繁地实施小的代码更改并将其签入版本控制存储库。大多数现代应用程序都需要使用各种平台和工具来开发代码，因此团队需要一种一致的机制来集成和验证更改。持续集成建立了一种自动化的方式来构建、打包和测试他们的应用程序。拥有一致的集成流程可以鼓励开发人员更频繁地提交代码更改，从而实现更好的协作和代码质量。 持续交付从持续集成结束的地方开始，并自动将应用程序交付到选定的环境，包括生产、开发和测试环境。持续交付是一种将代码更改推送到这些环境的自动化方式。 Telemetering 遥测 遥测是对被测量对象的参数进行远距离测量的一种技术。是将对象参数的近距离测量值传输至远距离的测量站来实现远距离测量的技术，并把测得结果传送到接收地点进行记录、显示和处理的活动。 CMDB 配置管理数据库（configuration management database）简称CMDB，是信息技术基础架构库（ITIL）用语，是组织用来储存软体硬体资产（常称为形态项目，CI）资讯的数据库。用CMDB来追踪资产（例如产品、系统、软体、设备、人员）的状态，例如这些资产在特定的时间点是否存在，以及各资产之间的关系，并通过公开的接口支持IT管理各种业务数据消费。 MTTR MTTR（Mean Time to Repair）平均恢复时长，平均修复时间指从故障发生到验证确认故障恢复的耗时。MTTR 分为三个维度：MTTI（Mean Time To Identify）平均发现时长、MTTK（Mean Time to Know）平均诊断时长、MTTF（Mean Time to Fix）平均修复时长 变更风险控制 在变更作业过程中，建立事前检查、事中拦截和事后验证的能力，防止异常行为。 安全生产 安全生产目的是为了持续保障现网“安全、稳定、高质量”，从人员、工具、产品能力、流程规范等方面在安全预防、过程监控、结果稽查等维度进行端到端管理，减少或防止现网故障的发生，其中如何防止异常行为导致的事件是安全生产的重要目标。 故障快速恢复 故障快恢是以故障模式库为基础，建立应急预案，提升故障恢复效率、降低故障恢复时长，结合混沌工程演练把不确定的恢复时长做到确定的。 资源生命周期管理 指的资源的申请、创建、交付、运维以及最终的销毁释放过程。 故障演练 故障演练指通过沉淀通用的故障场景和可控成本在线上故障重放，以持续性的演练和回归方式的运营来暴露问题，不断验证和推动系统、工具、流程、人员能力的提升，从而提前发现并修复可避免的重大问题，或通过验证故障发现手段、故障修复能力来达到缩短故障修复时长的作用。 运维托管 运维托管服务是一种针对企业或组织的IT基础设施进行全面管理和维护的专业服务，旨在提高IT系统的可用性、可靠性和安全性。该服务涵盖了多个方面，包括系统监控、故障排除、系统优化、安全防护等。 父主题： 卓越运营支柱

COST08-02 云原生架构改造 风险等级 中 关键策略 基于云原生架构改造，主要是应用容器化和微服务化的改造，从而发挥云原生的优势，如：自动弹性扩缩容等，容器技术可以提高资源利用率，避免闲置资源，从而降低计算成本，应用微服务化可以降低运维复杂度，从而降低运维成本。 广告电商等在线作业服务SLA要求较高，高峰时段明显，使用资源存在潮汐现象；大数据/转码等离线作业容错性高，计算需求大，可容忍较高的时延。为了保证在线业务的性能和稳定性，通常按波峰时需要申请资源，这样在非波峰时段就有资源浪费。将在线离线业务混合部署，可有效提升整体利用率。 父主题： COST08 进行架构优化

云运维中心(COC) 云运维中心（Cloud Operations Center，简称COC）为用户提供安全、高效的一站式智能运维平台，满足客户集中运维诉求。承载华为云确定性运维业务场景，提供变更管理、批量运维等核心特性，实现在安全合规的前提下，提升用户运维能力成熟度和云上运维效率。COC产品介绍： 统一资源管理 应用管理：提供应用和资源关联关系建模能力，满足用户云上资源的集中式管理要求，降低管理成本。 资源管理：同步并纳管用户在云平台上使用的资源实例，构筑资源运维能力底座。 配置管理：提供应用和资源视角的管理能力，以及参数配置集中式看护、全生命周期管理的能力。 合规性管理：资源运维提供批量的补丁扫描修复能力，安全合规先行，兼顾高效。 全方位变更管理 方案评审：支持变更方案标准化（Standard Operating Procedure，简称SOP），将变更方案明确并电子化，经评审后归档。支持规则和流程解耦，保证变更执行过程不走样，同时将变更方案沉淀。 变更审批：按照预设审批流程审批变更单，保障变更方案可靠性、时间合理性、流程合规性。 风险评估：基于场景规则、流程规则、业务规则对变更进行管控，提前识别和拦截变更风险；通过变更日历实现变更冲突检测，降低服务间变更依赖导致的变更风险。 实施保障：按预定方案执行变更，变更步骤标准化、可观测，变更异常及时介入处理，实现变更实施全过程可控、可视、可管。 确定性故障管理 统一事件中心：提供事件发现、事件处理、恢复验证及持续改进的全流程标准化机制。 承载Warroom和故障回溯能力：现网事件智能启动Warroom，缩短故障处理非必要耗时，指挥中心实时观测故障处理进展。故障回溯实现问题总结和经验沉淀，客户问题不重犯，缩短故障恢复MTTR。 支持响应预案：支持客户对已知故障制定响应预案，通过预案自动化帮助客户处理确定性问题，实现已知问题快速恢复。 故障模式：融合专业风险分析方法和专家知识库，积累故障模式库，帮助客户分析云应用存在的潜在风险、传承运维经验。 韧性中心优化 全生命周期风险管理：覆盖部署态和运行态两部分的风险治理，贯穿应用和资源全生命周期，将华为云多年沉淀的动态清零风险管理经验使能用户。 使能主动运维：通过性能压测、应急演练/混沌工程、韧性评估等主动运维手段提升客户关键业务的质量和韧性。 丰富的故障演练武器：沉淀华为云实践经验，内置50个+演练攻击武器，赋能客户模拟复杂多样的业务受损场景并制定应对策略。 降本增效：在不影响用户云上业务的同时，从专业的角度提供优化建议，帮助客户降本、增效和业务调优。 父主题： 卓越运营云服务介绍

基于LTS采集多类端侧日志，问题全链路追踪分析和业务运营分析 某公司核心业务专注于IT信息传播、技术交流、教育培训和专业技术人才服务。拥有超过3200万注册会员、超过1000家企业客户及合作伙伴。 客户痛点： 端侧采集工具不统一，不支持自定义 域名 上报，问题定位复杂 Web、IOS、安卓、百度小程序、微信小程序等多类端侧日志无法使用同一家厂商工具采集，问题定位分析时，需在多个工具间需来回切换，增加了定位复杂度，且无法自定义日志上报的服务端域名，合规性受到部分用户质疑 端侧日志上报慢且易丢失：上报速度小时级，也极易出现丢失，对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难：日志数据无法直接写入DLI，需投递到Kafka后，再被DLI消费，链路长，且成本高 解决方案： 业务价值： 端侧日志全面采集接入，自定义域名上报：集成LTS提供的多端SDK，全面采集端侧日志，接入LTS，且支持上报服务端域名自定义，在用户面保持了业务一致性与合规性，降低了问题定位复杂度，提升了运维效率 端侧日志数据毫秒级上报，数据0丢失：端侧采集日志后，毫秒级完成上报，且无数据丢失，支撑客户快速完成从前端到后端对问题做全链路追踪分析，同时，也支持对业务做完整性分析 便捷低成本获取日志，助力业务挖掘分析：DLI-Flink简易集成Connector，定点从LTS实时消费日志，做实时业务计算分析；简易化配置LTS日志转储到OBS，供DLI快速从OBS读取日志，做离线业务计算分析 父主题： 参考案例

OPS08-01 使用度量指标衡量运营目标 风险等级 高 关键策略 定义清晰的运营成功的目标和 KPI，设置基线作为参考点并定期重新评估。与业务领导者和利益相关者确定服务的总体目标。确定各个运营团队的任务以及可能面临的挑战。并明确运营目标的关键绩效指标 (KPI)，可能是客户满意度、TTM、平均问题解决时间等等。根据 KPI，识别关键指标和数据源。客户满意度可能是各种指标的组合，例如呼叫等待或响应时间、满意度评分以及提出的问题类型。 父主题： OPS08 度量运营状态和持续改进

问题和检查项 在迈向卓越运营的过程中，推荐使用如下问题寻找自身可以改进的点，并参考检查项/最佳实践进行改进，以下所有的检查项，也是最佳实践建议，将在下一章节进行详细描述。 问题 检查项/最佳实践 OPS01 您是否已经建立持续改进的团队文化和标准化运维体系？ 1. 建立持续学习和改进的文化 2. 规划标准化的运维组织 3. 规划标准化的运维流程与运维工具 OPS02 您是否通过CI/CD实现高效的频繁可逆的小规模变更？ 1. 进行需求管理与迭代开发 2. 关联源代码版本和部署的应用版本，使用代码质量最佳实践 OPS03 你是否有完备的测试验证体系？ 1. 推行开发者测试 2. 使用多个环境进行集成测试，构建和生产环境相同的预生产环境 3. 性能压测 4. 生产环境拔测 5. 混沌测试和演练 OPS04 自动化构建和部署流程是否完备？ 1. 有效落地持续集成 2. 采用持续部署模型 3. 基础设施即代码 4. 自动化工程运维任务 OPS05 是否有运维准备和变更管理体系？ 1. 进行生产准备度评审 2. 进行变更风控 3. 定义变更流程 OPS06 是否建立了完备的可观测体系？ 1.建立可观测体系 2.定义可观测对象 3.制定和实施可观测性指标 4. 规范化应用日志 5. 实施依赖项遥测 6. 实施分布式跟踪 7. 通过可观测性指标引入自动化措施 OPS07 是否进行故障分析与管理？ 1. 创建可操作的告警 2. 创新监控看板 3. 支持事件管理 4. 支持故障恢复流程 OPS08 是否有运营状态度量和持续改进机制？ 1. 使用度量指标衡量运营目标 2. 进行事故复盘和改进 3. 知识管理 父主题： 卓越运营支柱

OPS01-01 建立持续学习和改进的文化 风险等级 高 关键策略 由于系统的独特性和复杂性，没有放之四海皆准的方案，为了达到卓越运营，需要不断改进这些最佳实践，并建立自己的最佳实践。所以，在所有最佳实践的第一条，就是在您的团队中培养持续学习和改进的文化。 而持续学习和改进需要鼓励团队沟通和共享，例如，在您公司/组织中总结的最佳实践应该得到广泛地传播，对已有事故的分析，应该得到记录，确保相关根因都得到充分理解，尤其重要的是制定有效的标准化流程/自动化工具来降低事故再次发生的可能性和影响，这些流程和自动化工具，也需要广而告之，以向团队解释清楚缘由。 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

通过可观测性进行持续改进 可观测性是指通过观察系统的外部输出，推断其内部状态的能力。一般来说，云上应用的可观测性通常使用三种核心手段，一：指标，指标是系统状态的定量度量，例如 TPS、请求延迟、调用量等。二: 日志：日志是系统事件的人可读记录，例如应用程序的运行信息，运行错误、安全事件等。三：跟踪（Trace)，跟踪可以追踪单个请求或事务在系统中的路径，帮助我们了解系统的执行情况。 对于构建在云上的应用，通过可观测性，可以快速发现和解决系统故障，从而提高系统从故障中的恢复速度。进一步地，可以提前发现系统的问题，例如性能，容量瓶颈，提前解决问题。更进一步地，您可以通过联动可观测性带来的告警和上文中的自动化流程，通过主动式响应，包括动态缩扩容，流控，主动切流，节点的迁移等，消灭问题于无形之间。

卓越运营支柱简介 在华为公司，卓越运营代表着质量、效率和可持续的卓越客户体验。它帮助改进设计、开发、测试、部署、发布和运维活动，持续实现高质量的交付结果，推动了持续集成和持续交付（CI/CD）落地；同时助力打造确定性运维体系，让研发团队将更多时间用在构建让客户受益的新功能上，减少用于维护和处理突发事件的时间，从而带来运行良好的系统和平衡的工作负载，尤其是卓越的客户体验。卓越运营支柱融合了这些优秀实践，聚焦如何正确地构建软件，高效地运维软件，持续提供卓越的客户体验，包含：组织团队、设计工作负载、大规模运营工作负载和随时间变化改进工作负载的最佳实践。 父主题： 卓越运营支柱

OPS02-02 关联源代码版本和部署的应用版本，使用代码质量最佳实践 风险等级 高 关键策略 在代码开发阶段，需要开展代码协作设计和管理。使用现代化的代码仓管理代码，确保代码合并后，代码将保持一致，并且不会丢失任何更改。通过正确的版本控制，同时，现代化的代码仓可以方便设置代码版本，关联源代码版本和部署的应用版本，在运维阶段，一旦部署在云上的应用发生任何问题，可以方便回溯到源代码，而且方便使用上一版本的源代码回滚到上一版本的应用。 其次，在软件开发生命周期内，推动开发人员采用代码质量最佳实践，例如，使用代码审查或结对编程等最佳实践来提高代码质量，确保每行代码在合入代码仓时，都有两个以上的工程师审查过，同时，通过设置代码合入策略进行代码控制，确保代码审查规范的执行。最后，建议通过自动化代码检查策略进行代码问题检查。 相关云服务和工具 华为云CodeArts Check服务 华为云CodeArts Artifact服务 华为云CodeArts Repo服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更

通过CI/CD实现高效的频繁可逆的小规模变更 在软件开发过程中，应该尽量使需求分析，设计，开发，测试，部署的开发周期较小，使用频繁的小型迭代进行。一个典型的实践是使用微服务和CI/CD实践，微服务架构是一种更为灵活、可扩展和易于维护的架构风格，已经逐渐成为现代应用开发的主流选择。它通过将应用程序拆分为小的、自治的服务，每个服务都负责执行特定的业务功能，可以使用不同的技术栈，由独立的团队开发，测试，部署和扩展，并通过轻量级通信机制相互交互。而在CI/CD下，同一团队以流水线的方式集成整个微服务的开发，测试和进行不同地域的部署、发布和运维。 对于已经采用DevOps模式的组织，应该更进一步，不仅在软件项目的管理，而是从运维角度来看，小型频发的迭代有助于快速发现问题，一旦发现问题，也易于回滚到软件的上一版本，并降低部署失败时发生大规模问题的风险。

X即代码，尽量自动化所有流程 云上应用和传统应用的一大区别是，您可以将整个云上应用，包含应用程序自身、运行应用的云基础设施、安全策略、以及相应的运维操作视为代码。这意味着整个卓越运营的各种实践，都可以极大地使用代码自动化，例如定义应用的基础设施，部署应用自身，修改应用的配置，设置安全策略，甚至日常的运维操作，故障修复，都可以通过代码实现并执行。 自动化是沉淀运维经验，建立标准运维最重要的一环，通过自动化，可以避免人为错误，标准化流程并提高效率。 即使在部分自动化流程中依然需要人工干预，例如决策点。在决策点前的自动化流程依然可以确认人员权限，向人员提供必要的上下文和信息，以便做出明智的决策，比之纯手工流程，最大程度避免了错误。

建立持续改进的团队文化和标准化运维体系 在卓越运营中，团队文化建设至关重要。运营是一门不断改进的艺术。只有不断从已有事故中学习经验，持续学习和改进，才能最终达到卓越运营。故而，团队应该培养持续学习和改进的文化，此外，在事故发生时，应该以对事不对人的态度，思考系统的改进，而不是惩罚或者指责个人。片面指责个人或者直接处罚的做法很容易引起一系列后果，例如后续的运维团队成员由于担心处罚，会隐瞒事故或者隐藏真正的事故原因，导致后续无法切实改进系统的运维能力和流程。一线的工程师也因为担心处罚，不愿意担责，不愿意做任何系统的改变。部门、组织之间由于担心事故影响部门、组织内部成员，导致了消极应对系统中隐藏的问题或者将问题推给了其他组织，部门。最终，这种文化上的高压导致整个组织和运维流程的僵化，以及系统不能持续迭代更新之后的代码、架构腐化，最终导致无法运维的系统。 故而，文化上，惩前毖后，应重在总结经验，明确改进责任主体组织，不责怪个人。 在总结经验上，应该将相关经验进行标准化的沉淀，即将经验总结成自动化工具，流程以及建立相应的组织体系，我们称之为标准化运维体系。非标是大规模运维的头号天敌，主要表现是运维无序，团队成员依靠自身技术各自为战，处于被动响应和疲于应付的工作状态，效率低下，人为失误多，故障处理难度大。标准化运维体系是对有效经验总结后，运维活动例行化的高效管理。通过对运维活动的标准化、流程化和工具化管理，实现从无序向有序演进，达到运维操作团队运作“最佳秩序”，简化运维交付工作，降低技能依赖，提高运维效率，降低运作成本。

应用管理与运维平台(ServiceStage) 应用管理与运维平台（ServiceStage）是面向企业的应用管理与运维平台，提供应用发布、部署、监控与运维等一站式解决方案。支持Java、Php、Python、Node.js、Docker、Tomcat技术栈。支持Apache ServiceComb Java Chassis（Java Chassis）、Spring Cloud等微服务应用，让企业应用上云更简单。 ServiceStage主要包含如下能力： 应用管理：支持应用生命周期管理、环境管理。 微服务应用接入：支持Java Chassis、Spring Cloud微服务框架。配合微服务引擎可实现服务注册发现、配置管理和服务治理，请参考微服务开发指南。 应用运维：通过日志、监控、告警支持应用运维管理。 父主题： 卓越运营云服务介绍

OPS05-01 进行生产准备度评审（Product Readiness Review） 风险等级 高 关键策略 Production Readiness Review 生产准备度评估基线：从SLI/SLO、可冗余、可容灾、可过载控制、可故障管理、可变更能力、可运维、安全生产等维度，对服务可用性及运维能力提出基线要求。在服务产品开发前端构筑能力，进行相关需求规划、设计和开发工作，并在服务上线前进行生产准入审视。 具备以下核心价值： 1）准确评价产品可用性、维护能力并明确相关上线标准；不满足上云标准的服务，原则上不允许上线。 2）持续导入服务可服务性、运维需求基线，实现标准化、减少例外操作，帮助服务快速上云。 3）持续提升自动化验证能力，减少手工评估，提升产品的交付与运维效率。 相关云服务和工具 COC PRR评审 父主题： OPS05 运维准备和变更管理