华为云用户手册

PERF04-06 建立性能可观测性体系 风险等级 中 关键策略 可观测性体系是指在云原生架构中通过使用各种工具和技术来实现对应用程序和基础设施的监控告警、日志、故障排除等功能的一套完整的解决方案。性能可观测体系在此基础上突出了性能指标，通过收集和分析性能数据，可以识别系统瓶颈、优化资源分配等，找到性能优化方向。 性能监控对象：服务器、操作系统、数据库、应用程序、网络设备、云服务。 常见性能指标：包括资源CPU、内存，硬盘等，及程序的响应时间、吞吐量、并发数等。 父主题： 建立性能可观测性体系

应用性能管理 ( APM ) 华为云应用性能管理服务（Application Performance Management，简称APM）帮助运维人员快速发现应用的性能瓶颈，以及故障根源的快速定位，为用户体验保驾护航。 您无需修改代码，只需为应用安装一个APM Agent，就能够对该应用进行全方位监控，帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈，从而大幅提升线上问题诊断的效率。目前支持JAVA、Python、Node.js、Go、Php和.Net应用，具体的应用监控能力概览如下表。 父主题： 卓越运营云服务介绍

COST04-02 主动监控成本 风险等级 中 关键策略 不要只在出账后或收到异常通知时再查看成本和用量，应使用工具定期检查成本。定期监控和主动分析成本，有助于您及时识别成本趋势，避免异常发生。 相关服务和工具 创建预算提醒，将预算设置为提醒阈值，在预测或实际成本超出预算时，及时获取超预算通知，防止潜在成本超支。 创建成本监控，华为云成本中心的成本监控引入机器学习，对客户历史消费数据进行建模，对于不符合历史数据模型的成本增长，识别为异常成本记录，同时提供异常增长的Top潜在原因。客户可设置监控提醒，定期获取影响成本高的异常记录提醒，进而快速做出反应，维持预期的成本支出。 在费用中心设置可用额度监控，在可用额度余额低于阈值时预警，避免客户额度耗尽，业务中断。 使用资源包监控，在资源包剩余不足预警，避免资源包用尽自动转为按需计费。 使用成本分析预置报告或创建常用的成本分析报告，定期快速了解成本分布和趋势。 父主题： COST04 持续进行成本治理

OPS05-02 进行变更风控 风险等级 高 关键策略 根据不同变更场景构建风险控制能力，通过风险数字化度量分析和评估风险影响程度，并采取风险控制措施削减或规避风险，保障变更成功。变更风险指现网各要素增、删、改及状态改变（如版本迭代、配置改变、节点扩缩容等）时引发的业务中断风险及变更失败可能导致的业务受损风险。 设计建议 变更风控衡量指标：变更风控衡量指标为变更导致事件密度和变更引入重大事件数。 变更导致事件密度定义：每月变更导致对客户造成影响的事件数与总变更数的比值。 计算公式：变更导致事件密度=变更导致对客户造成影响的事件数/总变更数。 变更引入重大事件数定义：每月变更引入对客户产生重大影响的事件次数。 相关云服务和工具 COC 变更管理 父主题： OPS05 运维准备和变更管理

OPS05-03 定义变更流程 风险等级 高 关键策略 在建立标准的变更管理流程前，清晰明白变更各个流程的定义： 变更发起：在变更发起前，需明确变更内容与变更原因等信息。信息的明确可减轻变更评估人的工作量，同时明确变更的意义。变更信息包括： 基本信息：标题、时间、变更人、原因等。 变更信息：变更系统、变更场景、变更类型等。 变更方案：变更实施方案、回滚方案、验证方案等。 变更审批：由于变更系统相关的负责人进行审核，确保变更风险级别，若无法控制或无法预测，则建议明确变更方案或禁止变更。变更审批流程可由多人进行组合，包括：业务负责人、团队TL、技术TL等，变更涉及的人员可根据变更的影响程度以及影响范围等因素确定。 变更执行：通过发起时确认的执行人来进行执行工作的分派，以确保执行变更的是与变更内容相关的技术人员，从而确保变更的准确执行。 变更验证：在变更完成后，对变更对象与变更内容进行检查，确保变更并未影响实际业务，检查完成后，发布变更结果。 变更关闭：在变更完成后，关闭变更任务。对变更记录进行留存，便于后续变更数据的运营与分析。 设计建议 父主题： OPS05 运维准备和变更管理

OPS07-03 支持事件管理 风险等级 高 关键策略 事件(incidents)是需要干预的事情。当发生事故(incidents)时，通过流程来处理。如何与团队沟通活动的状态？谁负责响应处置？使用哪些工具来缓解该事件？这些都是流程中需要回答的问题，并需要获得可靠的响应过程。流程必须中心化，并且可供参与工作负载的任何人使用。如果没有wiki 或文档存储，可以使用源代码版本控制机制。 优先通过自动化响应事件，避免占用业务交付和创新的时间。首先构建一个可重复的流程来缓解问题，然后关注自动缓解或解决根本问题以提升效率。 华为云相关云服务和工具 云监控服务 CES 云运维中心 COC 父主题： OPS07 进行故障分析和管理

OPS06-01 建立可观测性体系 可观测性（observability）最初是系统理论中的一个概念，指系统的状态能否被外部观察到和重现。随着云原生、微服务架构的发展，IT系统对可观测性的需求日益增强。业界对可观测性的定义：通常是指基于对复杂系统外部输出的了解，能够了解其内部状态或状况的程度。系统越可观测，定位问题根本原因的过程就越快速越准确，而无需进行额外的测试或编码。 风险等级 高 关键策略 可观测体系是围绕确定性恢复命题展开的，决定了确定性恢复能力构建与 SLO 达成。可观测体系能够直接决定一些故障的恢复时长，如下图所示，MTTR 平均恢复时长由平均发现时长、平均定界时长和平均处置时长三部分构成，而可观测能决定的是发现时长和定界时长（经验值占比 1/2 左右）。在一个事件里，MTTR 的恢复时长越短，那么它的整体 SLO 达成可能性就越高。 MTTR平均恢复时长=平均发现时长+平均定界时长+平均处置时长 设计建议 面向 MTTR的可观测体系设计的核心逻辑就是寻找最短恢复路径。如下图所示案例，在故障恢复 MTTR 的逻辑中，当业务发生故障，从故障发现、到故障定级和影响面分析、再到故障定界定位和故障恢复，几乎全部依赖人工处理。要想缩短时间，本质上是监控即发现、监控即定级、监控系统定界、定界即恢复——如果能达成这样的设计就能够形成 MTTR 的最短路径。 父主题： OPS06 可观测性体系

应用运维管理 ( AOM 2.0) 应用运维管理（Application Operations Management，简称AOM）是云上应用的一站式立体化运维管理平台，融合 云监控 、 云日志 、应用性能、真实用户体验、后台链接数据等多维度可观测性数据源，提供应用资源统一管理、一站式可观测性分析和自动化运维方案，帮助用户及时发现故障，全面掌握应用、资源及业务的实时运行状况，提升企业海量运维的自动化能力和效率。 父主题： 卓越运营云服务介绍

OPS04-03 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程来管控基础设施的能力。 应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。 风险等级 高 关键策略 使用声明式工具：与命令式工具相比，声明式工具是部署和管理 IaC 的更好的整体选择。声明性工具对其定义文件使用更简单的语法，仅定义部署完成后所需的环境状态。命令式工具需定义达到所需最终状态所需的步骤，因此文件可能比声明性文件复杂得多。声明性定义文件还有助于减少维护命令式代码（例如部署脚本）的技术债务，这些技术债务会随着时间的推移而增加。 使用云平台工具和其他经过行业验证、集成到平台中的工具：云平台提供的工具可以使 IaC 的部署变得简单直接。利用这些工具而不是开发自己的解决方案。云平台包含满足您大多数需求的内置功能，并且由平台提供商不断更新，随着平台的发展而变得更加有用。 标准化模块化方案：模块可以使基础设施部署可重复，标准化有助于确保模块的构建能够满足特定目标。建议使用模块来封装复杂的配置或资源组合。此外，在开发新模块时非敏感场景可以适当使用开源模块。 标准化人工步骤：如果存在与部署和维护相关的人工步骤，要尽可能减少这类活动。在运维指南和标准操作程序中，清楚地记录人工步骤，并实现标准化，以确保安全、一致地执行任务。 回收闲置资源：由于配置管理工具及其限制等原因，有时 IaC 工具无法自动删除资源。例如，假设需要从虚拟机迁移到 PaaS 服务，而 IaC 工具没有删除闲置资源的逻辑。如果忘记手动删除这些资源，这些资源可能会成为孤立资源。为了处理这些场景，需要标准化扫描闲置资源并明确删除策略。 相关云服务和工具 资源编排 服务 RFS 父主题： OPS04 自动化构建和部署流程

OPS04-04 自动化工程运维任务 在日常开发工作中，尽可能自动化一切，以减轻管理负担并最大限度地减少人为错误。为了最大限度地提高自动化投资的价值，优先考虑简单、程序化且长期的任务。应用自动化并不是一种全有或全无的策略。即使需要人工干预的工作流(例: 决策点)，也可以从自动化中受益。 风险等级 高 关键策略 优先考虑从自动化中受益最多的任务： 专注于高度程序化且容易出现人为错误的任务：这些任务被明确定义，高度自动化，没有增加复杂性的变量，并且作为正常路径的一部分执行。示例包括：重新启动服务器、创建帐户以及将日志传输到数据存储。这些任务可能会按计划发生，作为对事件或监视警报的响应，或者根据外部因素的需要而发生。 可以解放运维工程师的任务：为应用的DevOps团队提供自动服务，通过运行的脚本自动执行运维操作步骤。例如，客户引入多租户解决方案时，数据库管理员经常收到创建新数据库的请求。如果为运营人员构建自助服务门户，则可以让他们自己安全地创建空数据库。 通过自动化显著提升效率的任务：高价值的自动化需要最少的管理开销，并显着提高效率。例如，如果可以通过自动化数据库条目每天为运营团队节省一个小时，那么就可以有更多时间实现自动化做持续改进。 设计建议 管道定义、执行和管理：使用持续集成和持续交付 (CI/CD) 工具（例如 华为云CodeArts Pipeline）自动定义管道及其运行方式. 部署：使用华为云资源编排服务 RFS、Terraform 和 Ansible 等工具来自动化工作负载开发和发布流程。通过使用基础架构即代码 (IaC) 方法，可以使用相同的自动化平台部署并优化基础架构。 测试：许多工具可用于自动化测试过程。这些工具可以减轻质量保证团队的重大负担，并确保测试标准化且可靠。 扩展：使用平台提供的功能和其他工具（例如: 资源编排服务 RFS），在负载增加或减少时自动扩展基础架构。 监控和警报：使用云运维中心 COC和云监控服务 CES提供的工具自动注册新部署的资源并配置警报触发的操作，以帮助在出现问题时加快修复速度。 自我修复：使用云监控服务 CES生成的警报来自动执行操作并恢复出现故障的组件或作业。 配置管理：使用编排和策略工具确保所有资源运行相同的配置，并在整个工作负载中强制执行合规性要求。 其他管理任务：使用脚本自动执行重复性任务，例如更新数据库记录或 DNS 记录。 审批：使系统能够根据预定义规则自动做出审批决策，以提高具有审批关口的工作流程的效率。这种方法鼓励使用标准化表格和模板，从而提高流程的效率。在高环境下自动批准可能存在风险。密切关注并测试您的自动批准，以确保定义特定标准来授予批准。 新用户和新员工入职：您可以自动执行与新应用程序用户或新员工入职相关的许多任务，例如数据库更新和凭据创建。 相关云服务和工具 资源编排服务 RFS CodeArts Pipeline CodeArts Deploy 云运维中心 COC 云监控服务 CES 华为云命令行工具服务 KooCLI 父主题： OPS04 自动化构建和部署流程

OPS06-03 制定和实施可观测性指标 风险等级 高 关键策略 指标是对时间周期内的测量数据的数值表示。可观测性指标是围绕发现率、定级准确率、定界时长、覆盖率、有效率、 一致率打造可观测能力，将可观测设计规范统一发布，统一设计要求与运维管理要求。 设计建议 整体技术方案会变成标准并进行发布，各个业务系统架构师在设计时遵循这套标准，这样可以保证能力能够从设计态开始，包括运行态、高可用架构等场景中得到应用。 可观测指标可以通过监控工具来实现，并允许在发生异常时发送警报。有很多监控工具可以使用，例如Prometheus、Grafana、Zabbix等，以及华为云提供的云监控服务CES。这些工具可以定期收集指标，提供可视化的指标报告，并且可以发送警报，以帮助组织及时发现问题。 可参考CES的最佳实践，https://support.huaweicloud.com/bestpractice-ces/ces_14_0002.html。 父主题： OPS06 可观测性体系

OPS08-02 进行事故复盘和改进 事故分析的目的是：规范和指导重大事故发生后，优化事故的输入、输出，确保事故回溯工作有效开展，回溯报告中发现的问题有效整改，总结的经验有效推广。 风险等级 高 关键策略 故障发生后，通过对现网重大故障处理过程 Review 及根因进行分析和改进总结，规范整个恢复过程，实现对可用性和技术能力的提升。故障复盘的技术过程按照 RASA 法、Review（回顾）、Analyze（分析）、Summary（总结）、Action（行动）。 Review（回顾）：完整记录故障的发生、发现、根因定位、决策、处理、预案执行、回滚、故障解决等的关键人与关键时间点，保证信息尽可能的客观、准确。 Analyze（分析）：分析故障的根本原因及故障处理过程中优化点。 Summary（总结）：总结本次故障及处理故障的过程。进行故障定性、故障定责及总结本次故障带来的经验教训并举一反三。 Action（行动）：确定上面分析总结的结论，进行改进、优化及落地实施。 父主题： OPS08 度量运营状态和持续改进

OPS06-04 规范化应用日志 日志是随时间推移发生的不可变、记录时间戳的离散事件。系统需要记录关键事件和故障，以帮助诊断问题和解决故障。 风险等级 高 关键策略 对于一个系统来说，日志是非常重要的。它可以记录在系统中发生的一切，包括成功的操作、错误的操作、警告信息等等。因此，日志记录是可观测性设计中最基本的需求之一。通过将事件和错误信息记录到日志文件或数据库中，可以方便地进行故障排除和问题诊断。但是，仅仅记录日志并不足够，还需要对日志进行有效的管理和分析。如果日志太多，将会成为一个负担，因为它们需要占用存储空间，并且需要花费很长时间来查找有用的信息。因此，需要对日志进行过滤和归档，以便更好地管理它们。 设计建议 可参考LTS最佳实践 父主题： OPS06 可观测性体系

OPS07-01 创建可操作的告警 风险等级 高 关键策略 收到告警时，一般需要做出响应，消除无须响应的告警。 比如磁盘IO 量瞬间飙升，CPU 使用率瞬间飙高，这类告警无需做出响应，对业务而言，意义就不大了。 遵循可操作性原则能避免很多误报。并且要定期统计和分析告警频率，识别高频告警，解决告警问题，清除明确的告警误报。 设计建议 优化告警阈值：适当提高 内存／CPU／网络 IO 告警阈值。 优化日志级别：优化不合理的日志级别，把部分 ERROR 级别的日志调整为 WARNING。 屏蔽某些日志：对难以调整日志级别的应用，根据关键字屏蔽某些频繁的日志告警。 预警增强：对于某些影响业务方的操作，提供预警。 增强紧急预警：有些硬件故障会出现反应在 /var/log/messages 中，根据关键字匹配硬件类告警，以便及时处理。 相关云服务和工具 应用运维管理 AOM 云运维中心 COC 云监控服务 CES 父主题： OPS07 进行故障分析和管理

云日志服务(LTS) 云日志服务（Log Tank Service，简称LTS）是高性能、低成本、功能丰富、高可靠的日志平台，提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能，满足应用运维、等保合规和运营分析等应用场景需求。 云日志服务提供多种接入方式实现海量日志接入LTS，支持日志搜索引擎、SQL分析引擎、日志加工引擎，详细请参考下图。 端云全场景日志接入：40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚，满足全场景客户丰富的日志接入需求。 海量日志存储搜索：百亿日志秒级搜索，千亿日志迭代搜索，PB级智能冷存储。 SQL统计和可视化图表：100+SQL函数、多种可视化图表、10多种开箱即用仪表盘。 实时日志告警：自定义告警内容，短信/邮件/微信/钉钉/HTTP多渠道通知。 一站式日志加工：200＋函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服务间集成：日志转储OBS/DWS/DIS/ DLI /DMS，助力用户快速构建水平解决方案。 父主题： 卓越运营云服务介绍

多活高可用(MAS) 多活高可用(MAS)的混沌工程（ChaosEngineering）是一种通过主动注入故障识别并修复系统未知隐患的工程实践。MAS-CAST混沌工程服务提供丰富的故障模式库，通过混沌实验编排攻击目标、攻击策略进行故障注入，支持添加背景流量和资源监控，同时在故障注入能力的基础上，通过体系化的流程和规范来创建故障演练，从而验证和提升系统可靠性和技术团队应急响应能力。 父主题： 卓越运营云服务介绍

OPS01-03 规划标准化的运维流程和运维工具 风险等级 高 关键策略 流程和工具是经验的承载，通过标准化的流程，可以大幅降低在运维过程中因为个人的因素受到的影响和无序化。 通过标准化的、统一的运维工具，向运维人员提供集中、统一维护界面及清晰易上手的操作手册，方便运维人员的集中维护，提高运维效率。常见的运维流程有： 变更管理流程：适用于生产环境软、硬件的变更活动管理，减少变更导致服务意外中断或服务质量下降，确保企业的环境安全、稳定地运行，并最大化的提升系统的可用性，满足所承诺的服务水平。 告警和事件管理流程：适用于开发，生产环境故障等事件的受理、处理、升级流程，确保用户的业务及时得到响应和处理，支撑SLA的达成，需要明确定义企业各类事件的等级，以及处理的职责，规范各类事件响应和处理时限及通报机制，保障业务的安全性和稳定性。 问题和回溯流程：适用于事件复盘分析，识别故障的根因、管理规避方案和已知错误，来降低故障再次发生的可能性和影响。通过有效的问题管理运作，促进产品质量的不断完善，提升产品的质量稳定性，降低产品现网故障数量。 产品可用度评审流程（Product Readiness Review）：对于您云上业务是否在产品环境有问题的审查，以确定产品/应用已做好产品发布准备，在运维阶段是否有问题。 值得注意的是，由于云上应用迭代更新的特性，产品可用度评审不应该只是在产品刚上线时进行审查，而以后则置之不理。由于您的云上应用不断更新，这个流程应该定期/或者由重大事件（比如电商企业的促销）触发。 此外还有类似于企业IT服务的管理，账号的管理等流程，围绕这些流程，您的企业可以使用并标准化一系列云上工具，如流水线，监控报警，日志处理，运维中心。从而将您企业的运维标准化，进而迈向卓越。上文中的一些关键流程的最佳实践（变更管理，告警和事件处理，问题和回溯流程，运维可用度评审流程）也会在本白皮书的其他最近章节详述。 设计建议： 相关云服务和工具 云运维中心 COC 华为云AOM服务 云监控服务 CES 华为云LTS服务 应用性能管理 APM 父主题： OPS01 建立持续改进的团队文化和标准化的运维体系

OPS03-05 进行混沌测试和演练 混沌工程（Chaos Engineering）是通过故障注入，验证故障快速恢复能力及系统可靠性的实践活动。 风险等级 高 关键策略 通过混沌工程的方法模拟可能出现的故障，进而综合验证系统在不同故障场景下的容错能力、监控能力、应急响应能力、定界定位、快速恢复等确定性恢复能力。 验证高可用设计：业务系统在规划设计阶段进行架构高可用设计、监控设计，在上线前进行生产准备度评审 (PRR)、性能压测，确保系统能够持续提供稳定、可靠的服务。混沌工程从应用部署架构、服务容量、监控告警、应用高可用等多维度设计演练场景，先测试、后攻防、再突袭逐步递进式的开展演练。通过持续演练，对架构高可用、监控、PRR 等能力做“在线验证”，实现持续性的动态风险治理。混沌演练和高可用设计共同成为系统稳定性的“双引擎”。 系统风险消减、业务快速恢复：分析系统潜在风险（故障场景），制定应急预案，验证故障场景的覆盖率和命中率，验证应急预案的质量和执 行效率，做到“少出事”和“出了事快速恢复”，实现确定性恢复的目的。 少出事：尽量挖掘潜在风险，区分等级和危害，通过执行演练检验业务风险消减能力。 出了事快速恢复：通过主动制造故障，让运维和研发熟悉故障场景，验证应急恢复预案，从而加快恢复速度。 混沌工程度量指标 故障场景的覆盖率：分析故障场景的覆盖率，例如容灾场景覆盖 80%，过载场景覆盖 60%。 故障场景的命中率：分析故障场景中，真实发生的比率。 应急预案的质量：用于度量应急预案有效性和执行效率。 风险发现个数与等级：定期评估分析（季度或年度）主动发现的风险数量和级别。 风险消减个数、等级与类型：风险降级的数量，风险消减的数量，增加预案的数量，改进监控项的数量。 故障恢复时长提升率：对应故障场景经过混沌工程演练，平均恢复速度提升的比率。 故障数量相比上年减少数量：本年度故障数量相比上年度减少多少。 相关云服务和工具 MAS 混沌工程 COC 故障演练 父主题： OPS03 完备的测试验证体系

资源编排服务(RFS) 资源编排服务是完全支持业界事实标准Terraform（HCL + Provider）的新一代云服务资源终态编排引擎，在 应用编排服务 (AOS)基础上实现了生态、体验、特性的全新升级；资源编排服务基于业界开放生态HCL语法模板，实现云服务资源的自动化批量构建，帮助用户高效、安全、一致创建、管理和升级云服务资源，能有效提升资源管理效率，并降低资源管理变更带来的安全风险。 父主题： 卓越运营云服务介绍

云监控中心(CES) 云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 云监控服务主要具有以下功能： 自动监控：云监控服务不需要开通，在创建弹性云服务器等资源后监控服务会自动启动，您可以直接到云监控服务查看该资源运行状态并设置告警规则。 主机监控：通过在弹性云服务或裸金属服务器中安装云监控服务Agent插件，用户可以实时采集E CS 或BMS 1分钟级粒度的监控数据。已上线CPU、内存和磁盘等40余种监控指标。有关主机监控的更多信息，请参阅主机监控简介。 灵活配置告警规则：对监控指标设置告警规则时，支持对多个云服务资源同时添加告警规则。告警规则创建完成后，可随时修改告警规则，支持对告警规则进行启用、停止、删除等灵活操作。 实时通知：通过在告警规则中开启 消息通知 服务，当云服务的状态变化触发告警规则设置的阈值时，系统通过短信、邮件通知或发送消息至服务器地址等多种方式实时通知用户，让用户能够实时掌握云资源运行状态变化。 监控面板：为用户提供在一个监控面板跨服务、跨维度查看监控数据，将用户关注的重点服务监控指标集中呈现，既能满足您总览云服务的运行概况，又能满足排查故障时查看监控详情的需求。 OBS转储：云监控服务各监控指标的原始数据的保留周期为两天，超过保留周期后原始数据将不再保存。您可以在 对象存储服务 （Object Storage Service，以下简称OBS）创建存储桶，然后将原始数据同步保存至OBS，以保存更长时间。 资源分组：资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警记录，可以迅速提升运维效率。 站点监控：站点监控用于模拟真实用户对远端服务器的访问，从而探测远端服务器的可用性、连通性等问题。 日志监控：日志监控提供了针对日志内容的实时监控能力。通过云监控服务和云日志服务的结合，用户可以针对日志内容进行监控统计、设置告警规则等操作，降低用户监控日志的运维成本，简化用户使用监控日志的流程。 事件监控：事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。 父主题： 卓越运营云服务介绍

通过AOM助力系统运维能力提升，降低运维成本与难度 某平台服务的认证驾驶员用户1000万人，货主用户500万人，集团业务覆盖全国339个主要城市，覆盖线路数量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要 告警通知能力不足：自建运维平台告警通知能力不能完全满足多场景通知的需要，且没有告警降噪能力 解决方案： 业务价值： 降低了运维成本与难度：降低了运维多套系统的难度，减少了客户运维起步的资源投入，降低了运维成本 运营分析能力提升：基于可视化图表和开箱即用的仪表盘等强大功能，快速实现对业务的运营分析 排障能力提升：云端多维度监控实现对业务立体运维，结合自动告警规则达到对故障的快速感知定位处理 父主题： 参考案例

软件开发生产线(CodeArts） 软件开发生产线（CodeArts）是一站式、全流程、安全可信的DevSecOps平台，开箱即用，内置华为多年研发最佳实践，助力效能倍增和数字化转型。 CodeArts由以下几个主要服务构成： 需求管理：提供需求管理与团队协作服务，内置多种开箱即用的场景化需求模型和对象类型（需求/缺陷/任务等），可支撑IPD、DevOps、精益看板等多种研发模式，还包含跨项目协同、基线与变更管理、自定义报表、Wiki在线协作、文档管理等功能。 代码托管：基于Git提供分布式代码管理和协同开发能力，包括成员管理、权限控制、代码托管、代码检查、代码审核、代码追溯、持续集成等功能，助力不同规模企业的研发质量和效率提升。 流水线：提供可视化、可定制的持续交付流水线服务，实现缩短交付周期和提升交付质量的效果。 代码检查：为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力，提供全面质量报告、便捷的问题闭环处理帮助企业有效管控代码质量，助力企业成功。 编译构建：基于云端大规模分布式加速，为客户提供高速、低成本、配置简单的混合语言构建能力，帮助客户缩短构建时间，提升构建效率。 部署：支持主机、容器等多种部署形态，部署能力覆盖Tomcat、Springboot等多种语言和技术栈。基于其对部署功能的插件化封装和编排能力，帮助您实现软件的快速、高效发布。 测试计划：覆盖测试计划、测试设计、测试用例、测试执行和测试评估等全流程，旨在帮助企业协同、高效、可信的开展测试活动，保障产品高质量上市。 制品仓库：用于管理源代码编译后的构建产物，支持Maven、Npm等常见制品包类型。可以与本地构建工具和云上的持续集成、持续部署无缝对接，同时支持制品包版本管理、细粒度权限控制、安全扫描等重要功能，实现软件包生命周期管理，提升发布质量和效率。 CodeArts IDE Online：基于云计算的轻量级WebIDE，通过浏览器即可实现环境快速获取和环境访问，完成编码、构建、调试、运行、访问代码仓库和命令执行等工作，支持第三方业务集成，支持插件扩展并提供独立插件市场。 开源镜像站：由华为云提供的开源组件、开源操作系统及开源DevOps工具镜像站，目前已提供Maven、NPM、NuGet、CentOS、Ubuntu、Debian等镜像下载服务。 父主题： 卓越运营云服务介绍

OPS02-01 进行需求管理和迭代开发 风险等级 高 关键策略 您的云上应用要达到卓越运营，从设计和开发阶段就需要保证可用性，可恢复性，同时也需要保证代码的质量。您需要评估和了解软件DFX相关要求，包括可靠性、性能、可服务性、可运维性、可交付性等要求 将监管、行业和内部合规性要求纳入需求范围中，同时在需求排序的时候，给予这些需求足够的时间和重视。 同时从可维护性来看，较之于一次性颠覆性的大范围应用/软件更新，小步快跑，持续迭代地进行云上软件的更新更有利于运维，因为一则小范围的云上软件更新和部署更不容易引起大范围事故，其次，不停地迭代更新也有效地保证了开发，运维团队成员能够时刻处于练兵状态，不至于对运维的流程，最佳实践比较陌生。要保证云上应用进行迭代更新，那么从需求阶段，就要进行迭代规划和跟踪，通过迭代的方式进行开发管理，根据需求划分迭代计划。 相关云服务和工具 华为云CodeArts Req服务 父主题： OPS02 通过CI/CD实现高效的频繁可逆的小规模变更

OPS03-02 使用多个环境进行集成测试，构建和生产环境相同的预生产环境 风险等级 高 关键策略 开发者测试虽然成本低，但是缺乏对生产环境配置以及不同服务和应用之间实际交互的验证。为此，您的组织可以在云上提供多个环境，典型的环境包含测试环境，预生产环境和生产环境。在生产环境部署之前，可以通过测试环境进行联调测试，验证不同团队代码之间的业务交互流程是否正确。但是测试环境和生产环境的配置不尽相同。 而预生产环境使用与生产环境相同的部署配置、安全控制、步骤和程序，在预生产环境中测试发布过程。验证所有部署步骤是否按预期完成，如检查依数据、配置和服务。通过集成功能测试，和各种非功能测试以及运行状况检查等各种监控方法，进一步测试所有更改。 父主题： OPS03 完备的测试验证体系

OPS04-01 有效落地持续集成 风险等级 高 关键策略 持续集成是一种软件开发实践，开发人员使用它定期将软件更新集成到源代码控制系统中。当工程师向代码仓提交代码时，持续集成过程就开始了。理想情况下，集成过程会根据多个基线和测试来验证代码。然后，它向提交者提供有关这些测试状态的反馈。如果基线检查和测试进展顺利，集成过程将生成并暂存部署更新软件的资产。这些资产包括编译的代码和容器映像。 持续集成可以通过执行以下操作更快地交付高质量的软件： 针对代码运行自动化测试，以便尽早检测到重大更改。 运行代码分析以确保代码标准、质量和配置。 运行合规性和安全检查以确保软件不存在已知漏洞。 运行验收或功能测试以确保软件按预期运行。 对检测到的问题提供快速反馈。 在适用的情况下，生成包含更新代码的可部署资产或包。 相关云服务和工具 CodeArts Pipeline 父主题： OPS04 自动化构建和部署流程

OPS06-02 定义可观测对象 风险等级 高 关键策略 客户可感知的观测对象分类如下： 可观测分层 功能 / 主要指标 IT 资源监控 IT 资源监控对 IT 资源的性能和容量进行监视和报告，确保您的业务稳定可靠运行 应用监控 应用监控基于应用资源管理对资源实行从应用、业务组件、到环境的分层监控，每一层对应的观测指标均不同。在应用层，主要监控业务层、应用层、中间件层以及基础设施层告警信息，同时通过绑定当前应用的仪表盘，以图表的形式展示指标源、日志源以及系统图表信息。主要关注：WAITING 状态线程数、TIMED_WAITING 状态线程数、可使用内存等指标 进程监控 进程监控是针对主机内活跃进程进行的监控，默认采集活跃进程消耗的 CPU、内存，以及打开的文件数量等信息。当您配置了自定义进程监控，还会监控包含关键字的进程个数。主要关注：运行中进程数、空闲进程数、僵死进程数等指标 日志监控 配置日志服务从日志中提取指定的关键词，便于您使用监控服务对日志中的关键指标进行监控及告警。主要关注：访问日志数量、错误日志数量、日志大小等指标 自定义监控 自定义监控展示用户所有自主定义上报的监控指标。用户可以针对自己关心的业务指标进行监控，将采集的监控数据通过使用简单的 API 请求上报至监控服务进行处理和展示 中间件监控 提供快捷安装配置各类型中间件插件的功能，并提供开箱即用的专属监控大盘，目前支持的中间件插件有以下几种： MYSQL、REDIS、MONGODB、NGINX、NODE、HAPROXY、COMP_EXPORTER、COMP_REDIS_EXPORTER、COMP_MYSQL_EXPORTER 主机监控 主机监控提供了包括基础监控和操作系统监控两种不同监控粒度层次的监控。基础监控为 ECS自动上报的监控指标，操作系统监控通过在ECS中安装Agent插件，为用户提供服务器的系统级、主动式、细颗粒度监控服务。主要关注：CPU_UTIL、DISK_READ_BYTES_RATE、带外网络流入速率等指标 用户线下 组件监控 对用户的线下组件统一监控，主要支持：线下 Grafana 对接、线下自建 Prometheus 对接、业务监控、应用监控、线下 IDC 监控和线下中间件监控 网络性能 管理监控 功能：对客户端 - 网 - 边 - 云全链路网络进行监控，帮助用户及时发现网络故障，全面掌握网络的实时状况。主要关注：应用响应时间、DNS 解析时间、TCP 建连时间、访问流量等指标 父主题： OPS06 可观测性体系

基础概念 名称 名词解释 确定性运维 确定性运维旨在构建可防、可控、可治的运维管理体系。首先是通过高质量的产品开发，严谨的运维流程和制度来降低故障的概率，要挑战零故障，同时也要有技术手段对可能发生的故障，将间隔、影响范围及故障恢复时间做到可防、可控、可治，要把数字化带来的“不确定性”通过运维变成“确定性”。 IaC 基础设施即代码 基础设施即代码（IaC）是指使用代码而不是手动流程和设置来配置和支持基础设施的能力。任何应用程序环境都需要许多基础设施组件，例如操作系统、数据库连接和存储。 开发人员必须定期设置、更新和维护基础设施，以开发、测试和部署应用程序。 手动管理基础设施既耗时又容易出错，尤其是在大规模管理应用程序时。 CI/CD 持续集成/持续交付 持续集成是一种编码理念和一套实践，它促使开发团队频繁地实施小的代码更改并将其签入版本控制存储库。大多数现代应用程序都需要使用各种平台和工具来开发代码，因此团队需要一种一致的机制来集成和验证更改。持续集成建立了一种自动化的方式来构建、打包和测试他们的应用程序。拥有一致的集成流程可以鼓励开发人员更频繁地提交代码更改，从而实现更好的协作和代码质量。 持续交付从持续集成结束的地方开始，并自动将应用程序交付到选定的环境，包括生产、开发和测试环境。持续交付是一种将代码更改推送到这些环境的自动化方式。 Telemetering 遥测 遥测是对被测量对象的参数进行远距离测量的一种技术。是将对象参数的近距离测量值传输至远距离的测量站来实现远距离测量的技术，并把测得结果传送到接收地点进行记录、显示和处理的活动。 CMDB 配置管理数据库（configuration management database）简称CMDB，是信息技术基础架构库（ITIL）用语，是组织用来储存软体硬体资产（常称为形态项目，CI）资讯的数据库。用CMDB来追踪资产（例如产品、系统、软体、设备、人员）的状态，例如这些资产在特定的时间点是否存在，以及各资产之间的关系，并通过公开的接口支持IT管理各种业务数据消费。 MTTR MTTR（Mean Time to Repair）平均恢复时长，平均修复时间指从故障发生到验证确认故障恢复的耗时。MTTR 分为三个维度：MTTI（Mean Time To Identify）平均发现时长、MTTK（Mean Time to Know）平均诊断时长、MTTF（Mean Time to Fix）平均修复时长 变更风险控制 在变更作业过程中，建立事前检查、事中拦截和事后验证的能力，防止异常行为。 安全生产 安全生产目的是为了持续保障现网“安全、稳定、高质量”，从人员、工具、产品能力、流程规范等方面在安全预防、过程监控、结果稽查等维度进行端到端管理，减少或防止现网故障的发生，其中如何防止异常行为导致的事件是安全生产的重要目标。 故障快速恢复 故障快恢是以故障模式库为基础，建立应急预案，提升故障恢复效率、降低故障恢复时长，结合混沌工程演练把不确定的恢复时长做到确定的。 资源生命周期管理 指的资源的申请、创建、交付、运维以及最终的销毁释放过程。 故障演练 故障演练指通过沉淀通用的故障场景和可控成本在线上故障重放，以持续性的演练和回归方式的运营来暴露问题，不断验证和推动系统、工具、流程、人员能力的提升，从而提前发现并修复可避免的重大问题，或通过验证故障发现手段、故障修复能力来达到缩短故障修复时长的作用。 运维托管 运维托管服务是一种针对企业或组织的IT基础设施进行全面管理和维护的专业服务，旨在提高IT系统的可用性、可靠性和安全性。该服务涵盖了多个方面，包括系统监控、故障排除、系统优化、安全防护等。 父主题： 卓越运营支柱

云运维中心(COC) 云运维中心（Cloud Operations Center，简称COC）为用户提供安全、高效的一站式智能运维平台，满足客户集中运维诉求。承载华为云确定性运维业务场景，提供变更管理、批量运维等核心特性，实现在安全合规的前提下，提升用户运维能力成熟度和云上运维效率。COC产品介绍： 统一资源管理 应用管理：提供应用和资源关联关系建模能力，满足用户云上资源的集中式管理要求，降低管理成本。 资源管理：同步并纳管用户在云平台上使用的资源实例，构筑资源运维能力底座。 配置管理：提供应用和资源视角的管理能力，以及参数配置集中式看护、全生命周期管理的能力。 合规性管理：资源运维提供批量的补丁扫描修复能力，安全合规先行，兼顾高效。 全方位变更管理 方案评审：支持变更方案标准化（Standard Operating Procedure，简称SOP），将变更方案明确并电子化，经评审后归档。支持规则和流程解耦，保证变更执行过程不走样，同时将变更方案沉淀。 变更审批：按照预设审批流程审批变更单，保障变更方案可靠性、时间合理性、流程合规性。 风险评估：基于场景规则、流程规则、业务规则对变更进行管控，提前识别和拦截变更风险；通过变更日历实现变更冲突检测，降低服务间变更依赖导致的变更风险。 实施保障：按预定方案执行变更，变更步骤标准化、可观测，变更异常及时介入处理，实现变更实施全过程可控、可视、可管。 确定性故障管理 统一事件中心：提供事件发现、事件处理、恢复验证及持续改进的全流程标准化机制。 承载Warroom和故障回溯能力：现网事件智能启动Warroom，缩短故障处理非必要耗时，指挥中心实时观测故障处理进展。故障回溯实现问题总结和经验沉淀，客户问题不重犯，缩短故障恢复MTTR。 支持响应预案：支持客户对已知故障制定响应预案，通过预案自动化帮助客户处理确定性问题，实现已知问题快速恢复。 故障模式：融合专业风险分析方法和专家知识库，积累故障模式库，帮助客户分析云应用存在的潜在风险、传承运维经验。 韧性中心优化 全生命周期风险管理：覆盖部署态和运行态两部分的风险治理，贯穿应用和资源全生命周期，将华为云多年沉淀的动态清零风险管理经验使能用户。 使能主动运维：通过性能压测、应急演练/混沌工程、韧性评估等主动运维手段提升客户关键业务的质量和韧性。 丰富的故障演练武器：沉淀华为云实践经验，内置50个+演练攻击武器，赋能客户模拟复杂多样的业务受损场景并制定应对策略。 降本增效：在不影响用户云上业务的同时，从专业的角度提供优化建议，帮助客户降本、增效和业务调优。 父主题： 卓越运营云服务介绍

COST08-02 云原生架构改造 风险等级 中 关键策略 基于云原生架构改造，主要是应用容器化和微服务化的改造，从而发挥云原生的优势，如：自动弹性扩缩容等，容器技术可以提高资源利用率，避免闲置资源，从而降低计算成本，应用微服务化可以降低运维复杂度，从而降低运维成本。 广告电商等在线作业服务SLA要求较高，高峰时段明显，使用资源存在潮汐现象；大数据/转码等离线作业容错性高，计算需求大，可容忍较高的时延。为了保证在线业务的性能和稳定性，通常按波峰时需要申请资源，这样在非波峰时段就有资源浪费。将在线离线业务混合部署，可有效提升整体利用率。 父主题： COST08 进行架构优化

基于LTS采集多类端侧日志，问题全链路追踪分析和业务运营分析 某公司核心业务专注于IT信息传播、技术交流、教育培训和专业技术人才服务。拥有超过3200万注册会员、超过1000家企业客户及合作伙伴。 客户痛点： 端侧采集工具不统一，不支持自定义 域名 上报，问题定位复杂 Web、IOS、安卓、百度小程序、微信小程序等多类端侧日志无法使用同一家厂商工具采集，问题定位分析时，需在多个工具间需来回切换，增加了定位复杂度，且无法自定义日志上报的服务端域名，合规性受到部分用户质疑 端侧日志上报慢且易丢失：上报速度小时级，也极易出现丢失，对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难：日志数据无法直接写入DLI，需投递到Kafka后，再被DLI消费，链路长，且成本高 解决方案： 业务价值： 端侧日志全面采集接入，自定义域名上报：集成LTS提供的多端SDK，全面采集端侧日志，接入LTS，且支持上报服务端域名自定义，在用户面保持了业务一致性与合规性，降低了问题定位复杂度，提升了运维效率 端侧日志数据毫秒级上报，数据0丢失：端侧采集日志后，毫秒级完成上报，且无数据丢失，支撑客户快速完成从前端到后端对问题做全链路追踪分析，同时，也支持对业务做完整性分析 便捷低成本获取日志，助力业务挖掘分析：DLI-Flink简易集成Connector，定点从LTS实时消费日志，做实时业务计算分析；简易化配置LTS日志转储到OBS，供DLI快速从OBS读取日志，做离线业务计算分析 父主题： 参考案例