华为云用户手册

OPS01-03 规划标准化的运维流程和运维工具 风险等级 高 关键策略 流程和工具是经验的承载，通过标准化的流程，可以大幅降低在运维过程中因为个人的因素受到的影响和无序化。 通过标准化的、统一的运维工具，向运维人员提供集中、统一维护界面及清晰易上手的操作手册，方便运维人员的集中维护，提高运维效率。常见的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。 告警和事件管理流程：适用于开发，生产环境故障等事件的受理、处理、升级流程，确保用户的业务及时得到响应和处理，支撑SLA的达成，需要明确定义企业各类事件的等级，以及处理的职责，规范各类事件响应和处理时限及通报机制，保障业务的安全性和稳定性。 问题和回溯流程：适用于事件复盘分析，识别故障的根因、管理规避方案和已知错误，来降低故障再次发生的可能性和影响。通过有效的问题管理运作，促进产品质量的不断完善，提升产品的质量稳定性，降低产品现网故障数量。 产品可用度评审流程（Product Readiness Review）：对于您云上业务是否在产品环境有问题的审查，以确定产品/应用已做好产品发布准备，在运维阶段是否有问题。 值得注意的是，由于云上应用迭代更新的特性，产品可用度评审不应该只是在产品刚上线时进行审查，而以后则置之不理。由于您的云上应用不断更新，这个流程应该定期/或者由重大事件（比如电商企业的促销）触发。 此外还有类似于企业IT服务的管理，账号的管理等流程，围绕这些流程，您的企业可以使用并标准化一系列云上工具，如流水线，监控报警，日志处理，运维中心。从而将您企业的运维标准化，进而迈向卓越。上文中的一些关键流程的最佳实践（变更管理，告警和事件处理，问题和回溯流程，运维可用度评审流程）也会在本白皮书的其他最近章节详述。 设计建议： 相关云服务和工具 云运维中心 COC 华为云 AOM 服务 云监控服务 CES 华为云LTS服务 应用性能管理 APM 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

通过AOM助力系统运维能力提升，降低运维成本与难度 某平台服务的认证驾驶员用户1000万人，货主用户500万人，集团业务覆盖全国339个主要城市，覆盖线路数量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要 告警通知能力不足：自建运维平台告警通知能力不能完全满足多场景通知的需要，且没有告警降噪能力 解决方案： 业务价值： 降低了运维成本与难度：降低了运维多套系统的难度，减少了客户运维起步的资源投入，降低了运维成本 运营分析能力提升：基于可视化图表和开箱即用的仪表盘等强大功能，快速实现对业务的运营分析 排障能力提升：云端多维度监控实现对业务立体运维，结合自动告警规则达到对故障的快速感知定位处理 父主题： 参考案例

资源编排 服务( RFS ) 资源编排服务是完全支持业界事实标准Terraform（HCL + Provider）的新一代云服务资源终态编排引擎，在 应用编排服务 (AOS)基础上实现了生态、体验、特性的全新升级；资源编排服务基于业界开放生态HCL语法模板，实现云服务资源的自动化批量构建，帮助用户高效、安全、一致创建、管理和升级云服务资源，能有效提升资源管理效率，并降低资源管理变更带来的安全风险。 父主题： 卓越运营云服务介绍

云监控 中心(CES) 云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 云监控服务主要具有以下功能： 自动监控：云监控服务不需要开通，在创建弹性云服务器等资源后监控服务会自动启动，您可以直接到云监控服务查看该资源运行状态并设置告警规则。 主机监控：通过在弹性云服务或裸金属服务器中安装云监控服务Agent插件，用户可以实时采集E CS 或BMS 1分钟级粒度的监控数据。已上线CPU、内存和磁盘等40余种监控指标。有关主机监控的更多信息，请参阅主机监控简介。 灵活配置告警规则：对监控指标设置告警规则时，支持对多个云服务资源同时添加告警规则。告警规则创建完成后，可随时修改告警规则，支持对告警规则进行启用、停止、删除等灵活操作。 实时通知：通过在告警规则中开启 消息通知 服务，当云服务的状态变化触发告警规则设置的阈值时，系统通过短信、邮件通知或发送消息至服务器地址等多种方式实时通知用户，让用户能够实时掌握云资源运行状态变化。 监控面板：为用户提供在一个监控面板跨服务、跨维度查看监控数据，将用户关注的重点服务监控指标集中呈现，既能满足您总览云服务的运行概况，又能满足排查故障时查看监控详情的需求。 OBS转储：云监控服务各监控指标的原始数据的保留周期为两天，超过保留周期后原始数据将不再保存。您可以在 对象存储服务 （Object Storage Service，以下简称OBS）创建存储桶，然后将原始数据同步保存至OBS，以保存更长时间。 资源分组：资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警记录，可以迅速提升运维效率。 站点监控：站点监控用于模拟真实用户对远端服务器的访问，从而探测远端服务器的可用性、连通性等问题。 日志监控：日志监控提供了针对日志内容的实时监控能力。通过云监控服务和 云日志 服务的结合，用户可以针对日志内容进行监控统计、设置告警规则等操作，降低用户监控日志的运维成本，简化用户使用监控日志的流程。 事件监控：事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。 父主题： 卓越运营云服务介绍

软件开发生产线(CodeArts） 软件开发生产线（CodeArts）是一站式、全流程、安全可信的DevSecOps平台，开箱即用，内置华为多年研发最佳实践，助力效能倍增和数字化转型。 CodeArts由以下几个主要服务构成： 需求管理：提供需求管理与团队协作服务，内置多种开箱即用的场景化需求模型和对象类型（需求/缺陷/任务等），可支撑IPD、DevOps、精益看板等多种研发模式，还包含跨项目协同、基线与变更管理、自定义报表、Wiki在线协作、文档管理等功能。 代码托管：基于Git提供分布式代码管理和协同开发能力，包括成员管理、权限控制、代码托管、代码检查、代码审核、代码追溯、持续集成等功能，助力不同规模企业的研发质量和效率提升。 流水线：提供可视化、可定制的持续交付流水线服务，实现缩短交付周期和提升交付质量的效果。 代码检查：为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力，提供全面质量报告、便捷的问题闭环处理帮助企业有效管控代码质量，助力企业成功。 编译构建：基于云端大规模分布式加速，为客户提供高速、低成本、配置简单的混合语言构建能力，帮助客户缩短构建时间，提升构建效率。 部署：支持主机、容器等多种部署形态，部署能力覆盖Tomcat、Springboot等多种语言和技术栈。基于其对部署功能的插件化封装和编排能力，帮助您实现软件的快速、高效发布。 测试计划：覆盖测试计划、测试设计、测试用例、测试执行和测试评估等全流程，旨在帮助企业协同、高效、可信的开展测试活动，保障产品高质量上市。 制品仓库：用于管理源代码编译后的构建产物，支持Maven、Npm等常见制品包类型。可以与本地构建工具和云上的持续集成、持续部署无缝对接，同时支持制品包版本管理、细粒度权限控制、安全扫描等重要功能，实现软件包生命周期管理，提升发布质量和效率。 CodeArts IDE Online：基于云计算的轻量级WebIDE，通过浏览器即可实现环境快速获取和环境访问，完成编码、构建、调试、运行、访问代码仓库和命令执行等工作，支持第三方业务集成，支持插件扩展并提供独立插件市场。 开源镜像站：由华为云提供的开源组件、开源操作系统及开源DevOps工具镜像站，目前已提供Maven、NPM、NuGet、CentOS、Ubuntu、Debian等镜像下载服务。 父主题： 卓越运营云服务介绍

OPS04-01 有效落地持续集成 风险等级 高 关键策略 持续集成是一种软件开发实践，开发人员使用它定期将软件更新集成到源代码控制系统中。当工程师向代码仓提交代码时，持续集成过程就开始了。理想情况下，集成过程会根据多个基线和测试来验证代码。然后，它向提交者提供有关这些测试状态的反馈。如果基线检查和测试进展顺利，集成过程将生成并暂存部署更新软件的资产。这些资产包括编译的代码和容器映像。 持续集成可以通过执行以下操作更快地交付高质量的软件： 针对代码运行自动化测试，以便尽早检测到重大更改。 运行代码分析以确保代码标准、质量和配置。 运行合规性和安全检查以确保软件不存在已知漏洞。 运行验收或功能测试以确保软件按预期运行。 对检测到的问题提供快速反馈。 在适用的情况下，生成包含更新代码的可部署资产或包。 相关云服务和工具 CodeArts Pipeline 父主题： OPS04 自动化构建和部署流程

OPS06-02 定义可观测对象 风险等级 高 关键策略 客户可感知的观测对象分类如下： 可观测分层 功能 / 主要指标 IT 资源监控 IT 资源监控对 IT 资源的性能和容量进行监视和报告，确保您的业务稳定可靠运行 应用监控 应用监控基于应用资源管理对资源实行从应用、业务组件、到环境的分层监控，每一层对应的观测指标均不同。在应用层，主要监控业务层、应用层、中间件层以及基础设施层告警信息，同时通过绑定当前应用的仪表盘，以图表的形式展示指标源、日志源以及系统图表信息。主要关注：WAITING 状态线程数、TIMED_WAITING 状态线程数、可使用内存等指标 进程监控 进程监控是针对主机内活跃进程进行的监控，默认采集活跃进程消耗的 CPU、内存，以及打开的文件数量等信息。当您配置了自定义进程监控，还会监控包含关键字的进程个数。主要关注：运行中进程数、空闲进程数、僵死进程数等指标 日志监控 配置日志服务从日志中提取指定的关键词，便于您使用监控服务对日志中的关键指标进行监控及告警。主要关注：访问日志数量、错误日志数量、日志大小等指标 自定义监控 自定义监控展示用户所有自主定义上报的监控指标。用户可以针对自己关心的业务指标进行监控，将采集的监控数据通过使用简单的 API 请求上报至监控服务进行处理和展示 中间件监控 提供快捷安装配置各类型中间件插件的功能，并提供开箱即用的专属监控大盘，目前支持的中间件插件有以下几种： MYSQL、REDIS、MONGODB、NGINX、NODE、HAPROXY、COMP_EXPORTER、COMP_REDIS_EXPORTER、COMP_MYSQL_EXPORTER 主机监控 主机监控提供了包括基础监控和操作系统监控两种不同监控粒度层次的监控。基础监控为 ECS自动上报的监控指标，操作系统监控通过在ECS中安装Agent插件，为用户提供服务器的系统级、主动式、细颗粒度监控服务。主要关注：CPU_UTIL、DISK_READ_BYTES_RATE、带外网络流入速率等指标 用户线下 组件监控 对用户的线下组件统一监控，主要支持：线下 Grafana 对接、线下自建 Prometheus 对接、业务监控、应用监控、线下 IDC 监控和线下中间件监控 网络性能 管理监控 功能：对客户端 - 网 - 边 - 云全链路网络进行监控，帮助用户及时发现网络故障，全面掌握网络的实时状况。主要关注：应用响应时间、DNS 解析时间、TCP 建连时间、访问流量等指标 父主题： OPS06 可观测性体系

OPS02-01 进行需求管理和迭代开发 风险等级 高 关键策略 您的云上应用要达到卓越运营，从设计和开发阶段就需要保证可用性，可恢复性，同时也需要保证代码的质量。您需要评估和了解软件DFX相关要求，包括可靠性、性能、可服务性、可运维性、可交付性等要求 将监管、行业和内部合规性要求纳入需求范围中，同时在需求排序的时候，给予这些需求足够的时间和重视。 同时从可维护性来看，较之于一次性颠覆性的大范围应用/软件更新，小步快跑，持续迭代地进行云上软件的更新更有利于运维，因为一则小范围的云上软件更新和部署更不容易引起大范围事故，其次，不停地迭代更新也有效地保证了开发，运维团队成员能够时刻处于练兵状态，不至于对运维的流程，最佳实践比较陌生。要保证云上应用进行迭代更新，那么从需求阶段，就要进行迭代规划和跟踪，通过迭代的方式进行开发管理，根据需求划分迭代计划。 相关云服务和工具 华为云CodeArts Req服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更

OPS03-02 使用多个环境进行集成测试，构建和生产环境相同的预生产环境 风险等级 高 关键策略 开发者测试虽然成本低，但是缺乏对生产环境配置以及不同服务和应用之间实际交互的验证。为此，您的组织可以在云上提供多个环境，典型的环境包含测试环境，预生产环境和生产环境。在生产环境部署之前，可以通过测试环境进行联调测试，验证不同团队代码之间的业务交互流程是否正确。但是测试环境和生产环境的配置不尽相同。 而预生产环境使用与生产环境相同的部署配置、安全控制、步骤和程序，在预生产环境中测试发布过程。验证所有部署步骤是否按预期完成，如检查依数据、配置和服务。通过集成功能测试，和各种非功能测试以及运行状况检查等各种监控方法，进一步测试所有更改。 父主题： OPS03 完备的测试验证体系

COST08-02 云原生架构改造 风险等级 中 关键策略 基于云原生架构改造，主要是应用容器化和微服务化的改造，从而发挥云原生的优势，如：自动弹性扩缩容等，容器技术可以提高资源利用率，避免闲置资源，从而降低计算成本，应用微服务化可以降低运维复杂度，从而降低运维成本。 广告电商等在线作业服务SLA要求较高，高峰时段明显，使用资源存在潮汐现象；大数据/转码等离线作业容错性高，计算需求大，可容忍较高的时延。为了保证在线业务的性能和稳定性，通常按波峰时需要申请资源，这样在非波峰时段就有资源浪费。将在线离线业务混合部署，可有效提升整体利用率。 父主题： COST08 进行架构优化

基础概念 名称 名词解释 确定性运维 确定性运维旨在构建可防、可控、可治的运维管理体系。首先是通过高质量的产品开发，严谨的运维流程和制度来降低故障的概率，要挑战零故障，同时也要有技术手段对可能发生的故障，将间隔、影响范围及故障恢复时间做到可防、可控、可治，要把数字化带来的“不确定性”通过运维变成“确定性”。 IaC 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程和设置来配置和支持基础设施的能力。任何应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。 CI/CD 持续集成/持续交付 持续集成是一种编码理念和一套实践，它促使开发团队频繁地实施小的代码更改并将其签入版本控制存储库。大多数现代应用程序都需要使用各种平台和工具来开发代码，因此团队需要一种一致的机制来集成和验证更改。持续集成建立了一种自动化的方式来构建、打包和测试他们的应用程序。拥有一致的集成流程可以鼓励开发人员更频繁地提交代码更改，从而实现更好的协作和代码质量。 持续交付从持续集成结束的地方开始，并自动将应用程序交付到选定的环境，包括生产、开发和测试环境。持续交付是一种将代码更改推送到这些环境的自动化方式。 Telemetering 遥测 遥测是对被测量对象的参数进行远距离测量的一种技术。是将对象参数的近距离测量值传输至远距离的测量站来实现远距离测量的技术，并把测得结果传送到接收地点进行记录、显示和处理的活动。 CMDB 配置管理数据库（configuration management database）简称CMDB，是信息技术基础架构库（ITIL）用语，是组织用来储存软体硬体资产（常称为形态项目，CI）资讯的数据库。用CMDB来追踪资产（例如产品、系统、软体、设备、人员）的状态，例如这些资产在特定的时间点是否存在，以及各资产之间的关系，并通过公开的接口支持IT管理各种业务数据消费。 MTTR MTTR（Mean Time to Repair）平均恢复时长，平均修复时间指从故障发生到验证确认故障恢复的耗时。MTTR 分为三个维度：MTTI（Mean Time To Identify）平均发现时长、MTTK（Mean Time to Know）平均诊断时长、MTTF（Mean Time to Fix）平均修复时长 变更风险控制 在变更作业过程中，建立事前检查、事中拦截和事后验证的能力，防止异常行为。 安全生产 安全生产目的是为了持续保障现网“安全、稳定、高质量”，从人员、工具、产品能力、流程规范等方面在安全预防、过程监控、结果稽查等维度进行端到端管理，减少或防止现网故障的发生，其中如何防止异常行为导致的事件是安全生产的重要目标。 故障快速恢复 故障快恢是以故障模式库为基础，建立应急预案，提升故障恢复效率、降低故障恢复时长，结合混沌工程演练把不确定的恢复时长做到确定的。 资源生命周期管理 指的资源的申请、创建、交付、运维以及最终的销毁释放过程。 故障演练 故障演练指通过沉淀通用的故障场景和可控成本在线上故障重放，以持续性的演练和回归方式的运营来暴露问题，不断验证和推动系统、工具、流程、人员能力的提升，从而提前发现并修复可避免的重大问题，或通过验证故障发现手段、故障修复能力来达到缩短故障修复时长的作用。 运维托管 运维托管服务是一种针对企业或组织的IT基础设施进行全面管理和维护的专业服务，旨在提高IT系统的可用性、可靠性和安全性。该服务涵盖了多个方面，包括系统监控、故障排除、系统优化、安全防护等。 父主题： 卓越运营支柱

云运维中心(COC) 云运维中心（Cloud Operations Center，简称COC）为用户提供安全、高效的一站式智能运维平台，满足客户集中运维诉求。承载华为云确定性运维业务场景，提供变更管理、批量运维等核心特性，实现在安全合规的前提下，提升用户运维能力成熟度和云上运维效率。COC产品介绍： 统一资源管理 应用管理：提供应用和资源关联关系建模能力，满足用户云上资源的集中式管理要求，降低管理成本。 资源管理：同步并纳管用户在云平台上使用的资源实例，构筑资源运维能力底座。 配置管理：提供应用和资源视角的管理能力，以及参数配置集中式看护、全生命周期管理的能力。 合规性管理：资源运维提供批量的补丁扫描修复能力，安全合规先行，兼顾高效。 全方位变更管理 方案评审：支持变更方案标准化（Standard Operating Procedure，简称SOP），将变更方案明确并电子化，经评审后归档。支持规则和流程解耦，保证变更执行过程不走样，同时将变更方案沉淀。 变更审批：按照预设审批流程审批变更单，保障变更方案可靠性、时间合理性、流程合规性。 风险评估：基于场景规则、流程规则、业务规则对变更进行管控，提前识别和拦截变更风险；通过变更日历实现变更冲突检测，降低服务间变更依赖导致的变更风险。 实施保障：按预定方案执行变更，变更步骤标准化、可观测，变更异常及时介入处理，实现变更实施全过程可控、可视、可管。 确定性故障管理 统一事件中心：提供事件发现、事件处理、恢复验证及持续改进的全流程标准化机制。 承载Warroom和故障回溯能力：现网事件智能启动Warroom，缩短故障处理非必要耗时，指挥中心实时观测故障处理进展。故障回溯实现问题总结和经验沉淀，客户问题不重犯，缩短故障恢复MTTR。 支持响应预案：支持客户对已知故障制定响应预案，通过预案自动化帮助客户处理确定性问题，实现已知问题快速恢复。 故障模式：融合专业风险分析方法和专家知识库，积累故障模式库，帮助客户分析云应用存在的潜在风险、传承运维经验。 韧性中心优化 全生命周期风险管理：覆盖部署态和运行态两部分的风险治理，贯穿应用和资源全生命周期，将华为云多年沉淀的动态清零风险管理经验使能用户。 使能主动运维：通过性能压测、应急演练/混沌工程、韧性评估等主动运维手段提升客户关键业务的质量和韧性。 丰富的故障演练武器：沉淀华为云实践经验，内置50个+演练攻击武器，赋能客户模拟复杂多样的业务受损场景并制定应对策略。 降本增效：在不影响用户云上业务的同时，从专业的角度提供优化建议，帮助客户降本、增效和业务调优。 父主题： 卓越运营云服务介绍

基于LTS采集多类端侧日志，问题全链路追踪分析和业务运营分析 某公司核心业务专注于IT信息传播、技术交流、教育培训和专业技术人才服务。拥有超过3200万注册会员、超过1000家企业客户及合作伙伴。 客户痛点： 端侧采集工具不统一，不支持自定义 域名 上报，问题定位复杂 Web、IOS、安卓、百度小程序、微信小程序等多类端侧日志无法使用同一家厂商工具采集，问题定位分析时，需在多个工具间需来回切换，增加了定位复杂度，且无法自定义日志上报的服务端域名，合规性受到部分用户质疑 端侧日志上报慢且易丢失：上报速度小时级，也极易出现丢失，对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难：日志数据无法直接写入 DLI ，需投递到Kafka后，再被DLI消费，链路长，且成本高 解决方案： 业务价值： 端侧日志全面采集接入，自定义域名上报：集成LTS提供的多端SDK，全面采集端侧日志，接入LTS，且支持上报服务端域名自定义，在用户面保持了业务一致性与合规性，降低了问题定位复杂度，提升了运维效率 端侧日志数据毫秒级上报，数据0丢失：端侧采集日志后，毫秒级完成上报，且无数据丢失，支撑客户快速完成从前端到后端对问题做全链路追踪分析，同时，也支持对业务做完整性分析 便捷低成本获取日志，助力业务挖掘分析：DLI-Flink简易集成Connector，定点从LTS实时消费日志，做实时业务计算分析；简易化配置LTS日志转储到OBS，供DLI快速从OBS读取日志，做离线业务计算分析 父主题： 参考案例

问题和检查项 在迈向卓越运营的过程中，推荐使用如下问题寻找自身可以改进的点，并参考检查项/最佳实践进行改进，以下所有的检查项，也是最佳实践建议，将在下一章节进行详细描述。 问题 检查项/最佳实践 OPS01 您是否已经建立持续改进的团队文化和标准化运维体系？ 1. 建立持续学习和改进的文化 2. 规划标准化的运维组织 3. 规划标准化的运维流程与运维工具 OPS02 您是否通过CI/CD实现高效的频繁可逆的小规模变更？ 1. 进行需求管理与迭代开发 2. 关联源代码版本和部署的应用版本，使用代码质量最佳实践 OPS03 你是否有完备的测试验证体系？ 1. 推行开发者测试 2. 使用多个环境进行集成测试，构建和生产环境相同的预生产环境 3. 性能压测 4. 生产环境拔测 5. 混沌测试和演练 OPS04 自动化构建和部署流程是否完备？ 1. 有效落地持续集成 2. 采用持续部署模型 3. 基础设施即代码 4. 自动化工程运维任务 OPS05 是否有运维准备和变更管理体系？ 1. 进行生产准备度评审 2. 进行变更风控 3. 定义变更流程 OPS06 是否建立了完备的可观测体系？ 1.建立可观测体系 2.定义可观测对象 3.制定和实施可观测性指标 4. 规范化应用日志 5. 实施依赖项遥测 6. 实施分布式跟踪 7. 通过可观测性指标引入自动化措施 OPS07 是否进行故障分析与管理？ 1. 创建可操作的告警 2. 创新监控看板 3. 支持事件管理 4. 支持故障恢复流程 OPS08 是否有运营状态度量和持续改进机制？ 1. 使用度量指标衡量运营目标 2. 进行事故复盘和改进 3. 知识管理 父主题： 卓越运营支柱

OPS08-01 使用度量指标衡量运营目标 风险等级 高 关键策略 定义清晰的运营成功的目标和 KPI，设置基线作为参考点并定期重新评估。与业务领导者和利益相关者确定服务的总体目标。确定各个运营团队的任务以及可能面临的挑战。并明确运营目标的关键绩效指标 (KPI)，可能是客户满意度、TTM、平均问题解决时间等等。根据 KPI，识别关键指标和数据源。客户满意度可能是各种指标的组合，例如呼叫等待或响应时间、满意度评分以及提出的问题类型。 父主题： OPS08 度量运营状态和持续改进

卓越运营支柱简介 在华为公司，卓越运营代表着质量、效率和可持续的卓越客户体验。它帮助改进设计、开发、测试、部署、发布和运维活动，持续实现高质量的交付结果，推动了持续集成和持续交付（CI/CD）落地；同时助力打造确定性运维体系，让研发团队将更多时间用在构建让客户受益的新功能上，减少用于维护和处理突发事件的时间，从而带来运行良好的系统和平衡的工作负载，尤其是卓越的客户体验。卓越运营支柱融合了这些优秀实践，聚焦如何正确地构建软件，高效地运维软件，持续提供卓越的客户体验，包含：组织团队、设计工作负载、大规模运营工作负载和随时间变化改进工作负载的最佳实践。 父主题： 卓越运营支柱

OPS02-02 关联源代码版本和部署的应用版本，使用代码质量最佳实践 风险等级 高 关键策略 在代码开发阶段，需要开展代码协作设计和管理。使用现代化的代码仓管理代码，确保代码合并后，代码将保持一致，并且不会丢失任何更改。通过正确的版本控制，同时，现代化的代码仓可以方便设置代码版本，关联源代码版本和部署的应用版本，在运维阶段，一旦部署在云上的应用发生任何问题，可以方便回溯到源代码，而且方便使用上一版本的源代码回滚到上一版本的应用。 其次，在软件开发生命周期内，推动开发人员采用代码质量最佳实践，例如，使用代码审查或结对编程等最佳实践来提高代码质量，确保每行代码在合入代码仓时，都有两个以上的工程师审查过，同时，通过设置代码合入策略进行代码控制，确保代码审查规范的执行。最后，建议通过自动化代码检查策略进行代码问题检查。 相关云服务和工具 华为云CodeArts Check服务 华为云CodeArts Artifact服务 华为云CodeArts Repo服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更

通过CI/CD实现高效的频繁可逆的小规模变更 在软件开发过程中，应该尽量使需求分析，设计，开发，测试，部署的开发周期较小，使用频繁的小型迭代进行。一个典型的实践是使用微服务和CI/CD实践，微服务架构是一种更为灵活、可扩展和易于维护的架构风格，已经逐渐成为现代应用开发的主流选择。它通过将应用程序拆分为小的、自治的服务，每个服务都负责执行特定的业务功能，可以使用不同的技术栈，由独立的团队开发，测试，部署和扩展，并通过轻量级通信机制相互交互。而在CI/CD下，同一团队以流水线的方式集成整个微服务的开发，测试和进行不同地域的部署、发布和运维。 对于已经采用DevOps模式的组织，应该更进一步，不仅在软件项目的管理，而是从运维角度来看，小型频发的迭代有助于快速发现问题，一旦发现问题，也易于回滚到软件的上一版本，并降低部署失败时发生大规模问题的风险。

X即代码，尽量自动化所有流程 云上应用和传统应用的一大区别是，您可以将整个云上应用，包含应用程序自身、运行应用的云基础设施、安全策略、以及相应的运维操作视为代码。这意味着整个卓越运营的各种实践，都可以极大地使用代码自动化，例如定义应用的基础设施，部署应用自身，修改应用的配置，设置安全策略，甚至日常的运维操作，故障修复，都可以通过代码实现并执行。 自动化是沉淀运维经验，建立标准运维最重要的一环，通过自动化，可以避免人为错误，标准化流程并提高效率。 即使在部分自动化流程中依然需要人工干预，例如决策点。在决策点前的自动化流程依然可以确认人员权限，向人员提供必要的上下文和信息，以便做出明智的决策，比之纯手工流程，最大程度避免了错误。

OPS01-01 建立持续学习和改进的文化 风险等级 高 关键策略 由于系统的独特性和复杂性，没有放之四海皆准的方案，为了达到卓越运营，需要不断改进这些最佳实践，并建立自己的最佳实践。所以，在所有最佳实践的第一条，就是在您的团队中培养持续学习和改进的文化。 而持续学习和改进需要鼓励团队沟通和共享，例如，在您公司/组织中总结的最佳实践应该得到广泛地传播，对已有事故的分析，应该得到记录，确保相关根因都得到充分理解，尤其重要的是制定有效的标准化流程/自动化工具来降低事故再次发生的可能性和影响，这些流程和自动化工具，也需要广而告之，以向团队解释清楚缘由。 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

通过可观测性进行持续改进 可观测性是指通过观察系统的外部输出，推断其内部状态的能力。一般来说，云上应用的可观测性通常使用三种核心手段，一：指标，指标是系统状态的定量度量，例如 TPS、请求延迟、调用量等。二: 日志：日志是系统事件的人可读记录，例如应用程序的运行信息，运行错误、安全事件等。三：跟踪（Trace)，跟踪可以追踪单个请求或事务在系统中的路径，帮助我们了解系统的执行情况。 对于构建在云上的应用，通过可观测性，可以快速发现和解决系统故障，从而提高系统从故障中的恢复速度。进一步地，可以提前发现系统的问题，例如性能，容量瓶颈，提前解决问题。更进一步地，您可以通过联动可观测性带来的告警和上文中的自动化流程，通过主动式响应，包括动态缩扩容，流控，主动切流，节点的迁移等，消灭问题于无形之间。

建立持续改进的团队文化和标准化运维体系 在卓越运营中，团队文化建设至关重要。运营是一门不断改进的艺术。只有不断从已有事故中学习经验，持续学习和改进，才能最终达到卓越运营。故而，团队应该培养持续学习和改进的文化，此外，在事故发生时，应该以对事不对人的态度，思考系统的改进，而不是惩罚或者指责个人。片面指责个人或者直接处罚的做法很容易引起一系列后果，例如后续的运维团队成员由于担心处罚，会隐瞒事故或者隐藏真正的事故原因，导致后续无法切实改进系统的运维能力和流程。一线的工程师也因为担心处罚，不愿意担责，不愿意做任何系统的改变。部门、组织之间由于担心事故影响部门、组织内部成员，导致了消极应对系统中隐藏的问题或者将问题推给了其他组织，部门。最终，这种文化上的高压导致整个组织和运维流程的僵化，以及系统不能持续迭代更新之后的代码、架构腐化，最终导致无法运维的系统。 故而，文化上，惩前毖后，应重在总结经验，明确改进责任主体组织，不责怪个人。 在总结经验上，应该将相关经验进行标准化的沉淀，即将经验总结成自动化工具，流程以及建立相应的组织体系，我们称之为标准化运维体系。非标是大规模运维的头号天敌，主要表现是运维无序，团队成员依靠自身技术各自为战，处于被动响应和疲于应付的工作状态，效率低下，人为失误多，故障处理难度大。标准化运维体系是对有效经验总结后，运维活动例行化的高效管理。通过对运维活动的标准化、流程化和工具化管理，实现从无序向有序演进，达到运维操作团队运作“最佳秩序”，简化运维交付工作，降低技能依赖，提高运维效率，降低运作成本。

OPS05-01 进行生产准备度评审（Product Readiness Review） 风险等级 高 关键策略 Production Readiness Review 生产准备度评估基线：从SLI/SLO、可冗余、可容灾、可过载控制、可故障管理、可变更能力、可运维、安全生产等维度，对服务可用性及运维能力提出基线要求。在服务产品开发前端构筑能力，进行相关需求规划、设计和开发工作，并在服务上线前进行生产准入审视。 具备以下核心价值： 1）准确评价产品可用性、维护能力并明确相关上线标准；不满足上云标准的服务，原则上不允许上线。 2）持续导入服务可服务性、运维需求基线，实现标准化、减少例外操作，帮助服务快速上云。 3）持续提升自动化验证能力，减少手工评估，提升产品的交付与运维效率。 相关云服务和工具 COC PRR评审 父主题： OPS05 运维准备和变更管理

应用管理与运维平台(ServiceStage) 应用管理与运维平台（ServiceStage）是面向企业的应用管理与运维平台，提供应用发布、部署、监控与运维等一站式解决方案。支持Java、Php、Python、Node.js、Docker、Tomcat技术栈。支持Apache ServiceComb Java Chassis（Java Chassis）、Spring Cloud等微服务应用，让企业应用上云更简单。 ServiceStage主要包含如下能力： 应用管理：支持应用生命周期管理、环境管理。 微服务应用接入：支持Java Chassis、Spring Cloud微服务框架。配合微服务引擎可实现服务注册发现、配置管理和服务治理，请参考微服务开发指南。 应用运维：通过日志、监控、告警支持 应用运维管理 。 父主题： 卓越运营云服务介绍

成本优化云服务介绍 成本中心是华为云免费向用户提供的 云财务管理 服务，可帮助您收集华为云成本和使用量的相关信息、探索和分析华为云成本使用情况、监控和跟踪华为云成本，及时了解云支出的趋势和动因，减少异常支出，持续成本优化。 费用中心为您提供财务信息、发票、合同、续费、退订和变更等服务，有助于更好的了解您的消费信息。同时费用中心还提供余额预警、资源包预警等服务，可以帮助您及时了解支出情况， 管控支出。 企业中心面向大型企业，提供多账号环境下的财务管理服务，帮助企业以多层级组织的方式管理人、财、物，满足企业IT治理诉求。支持财务托管和财务独立两种多账号财务关联模式。理 企业项目管理 EPS为客户提供单账号下的人财物权管理，用户可以根据组织架构规划企业项目，将企业分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 标签管理TMS是一种快速便捷将标签集中管理的可视化服务，提供跨区域、跨服务的集中标签管理和资源分类功能。 优化顾问结合华为云最佳实践与用户的配置和使用情况进行分析，为客户提供包括可靠性、安全、性能、成本等维度的自助检查与优化建议，从而帮助客户实现高效运营与成本节约。 父主题： 成本优化支柱

OPS03-03 进行性能压测 风险等级 高 关键策略 性能压测主要通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。通常把性能测试、负载测试、压力测试等统称为性能压测。广义而言，是为保证系统运行后的性能可以满足用户需求，而开展的一系列测试组织工作。 在应用系统上线发布之前，通过性能压测，测试应用系统能承受的最大并发、响应速度、以及稳定性是否满足设计要求。同时通过压测合理配置基础设施资源，提高资源利用率。性能压测主要目的是检查各项指标是否符合系统的业务要求，主要的测试分类包括： 负载测试：是指在一定的软件、硬件及网络环境下，运行一种或多种业务，在不同虚拟用户数量的情况下，测试环境的性能指标是否在用户的要求范围内，以此确定系统所能承载的最大用户数、最大有效用户数以及不同用户数下系统响应时间及硬件设备或云服务的资源利用率，负载测试强调的是在一定的环境下系统能够达到的峰值指标。 压力测试：指在一定的软件、硬件及网络环境下，模拟大量的虚拟用户向测试环境产生负载，使测试环境处于极限状态下并长时间连续运行，以测试硬件设备或云服务在高负载情况下是否能够稳定工作。压力测试强调在极端情况下系统的稳定性。 容量测试：指在一定的软件、硬件及网络环境下，构造不同数量级别的测试数据及记录，运行一种或多种业务，在一定虚拟用户数量的情况下，获取不同数量级别的硬件设备或云服务性能指标，以确定业务系统的最佳容量和最大容量。 并发测试：测试多个用户同时访问同一个应用、同一个模块或者数据记录时是否存在死锁或者其他性能问题，所以几乎所有的性能测试都会涉及一些并发测试。因为并发测试对时间的要求比较苛刻，通常并发用户的模拟都是借助于工具，采用多线程或多进程方式来模拟多个虚拟用户的并发性操作。 配置测试：指在一定的软件、硬件及网络环境下，模拟一定数量的虚拟用户运行一种或多种业务，将测试结果作为基线数据，在系统调优或系统评测的过程中，通过运行相同的业务场景比较测试结果，确定调优的结果是否达到预期效果或者为系统的选择提供决策数据。 在性能压测过程中，需要模拟或者还原现实业务场景进行测试，这就必须借助特定测试工具达到相应的要求。不同类别的性能压测工具适用场景与测试能力各不相同，有的基于静态与动态资源测试能力，有的具备加压与负载测试能力，有的针对端到端业务请求与响应具备计时与计量能力，有的针对平台网站具有Web应用、移动应用和API测试能力，所以性能压测工具是要依据业务测试场景来选择。 相关云服务和工具 参考华为云CodeArts PerfTest工具 父主题： OPS03 完备的测试验证体系

OPS04-02 采用持续部署模型 当部署出问题时，通过使用持续部署模型来实现尽早发现问题，减少对最终用户的影响。 金丝雀部署是持续部署的常见模型，通过一小群内部或外部用户首先部署新功能，当新版本没有问题后，陆续部署到更大的组，直到所有用户群体都运行新版本。 另一种常见的部署模型是蓝绿部署，通过部署了两组相同的工作负载实例，分别处理完整的生产负载。第一个（蓝色）实例处理所有工作负载。第二个（绿色）实例已使用新功能进行更新并进行了内部测试。经过内部测试后，生产流量的子集从蓝色实例路由到绿色实例。与金丝雀部署一样，当您引流更多流量转移到绿色实例时，引流是渐进的。完成转出后，更新实例将变为蓝色实例，绿色实例已准备好进行下一次部署。这两个实例在逻辑上彼此分离，以防止发生故障。 风险等级 高 关键策略 选择这两种模型时，部署的每个阶段之间的时间应该足够长，以便能够监控工作负载的运行状况指标。应该提供充足的部署间隔时间（即部署组之间的时间），以确保来自不同区域的用户或执行不同任务的用户有时间使用工作负载。间隔时间应以小时和天而不是分钟来衡量。每个部署组的间隔时间也应该增加，以便考虑不同的时区和使用模式。 相关云服务和工具 CodeArts Deploy 父主题： OPS04 自动化构建和部署流程

LTS助力某公司高效完成日常业务运维与等保合规 某公司是一家拥有IT，汽车及新能源三大产业群的新技术民营企业。2022年8月，公司入选2022年《财富》世界500强排行榜。 客户痛点： 业务部门较多，日志量较大，项目管理较为困难 云服务资源种类数量较多，监控指标和运维日志不熟悉，运维难度大 等保合规要求日志长时间存储，运维部门较多，人员不足，自建ELK成本高 解决方案： 业务价值： 全量日志接入：汽车APP、软件开发、流量平台等170个业务系统接入云日志服务，全面覆盖业务、应用、中间件和基础设施。 分钟级问题定界：秒级日志查询和分钟级日志监控，可配置告警和多渠道通知，90%问题感知与定位分析控制在30分钟。 存储时长满足等保要求：支持存储时长最大为365天，满足等保合规要求，智能冷热存储可降低存储成本，且提供便捷检索能力。 父主题： 参考案例

云堡垒机 (CBH) 云 堡垒机 （Cloud Bastion Host，CBH）是华为云的一款统一安全管控平台，为企业提供集中的账号（Account）、授权（Authorization）、认证（Authentication）和审计（Audit）管理服务。 云堡垒机提供云计算安全管控的系统和组件，包含部门、用户、资源、策略、运维、审计等功能模块，集单点登录、统一资产管理、多终端访问协议、文件传输、会话协同等功能于一体。通过统一运维登录入口，基于协议正向代理技术和远程访问隔离技术，实现对服务器、云主机、数据库、应用系统等云上资源的集中管理和运维审计。 父主题： 卓越运营云服务介绍

COST08-04 Serverless探索 风险等级 低 关键策略 Serverless是下一代云原生范式，无服务计算带来简化的开发运维、更少的资源成本，Serverless架构最大限度计算、存储、网络等资源，提升整体资源利用率、缩短需求发布周期，提高应用的研发效率。 用户可以通过云监控服务监控Serverless实例的CPU使用率、内存使用率，当满足一定条件，自动触发Serverless算力扩容和缩容，从而提供资源使用率，降低成本。 相关服务和工具 华为云以Serverless形态存在的产品，存储类的对象存储服务（Object Storage Service，OBS），应用类的云应用引擎（Cloud Application Engine， CAE），容器类的云容器实例（Cloud Container Instance，CCI）以及计算类的 函数工作流 （FunctionGraph） 父主题： COST08 进行架构优化