验证所有部署步骤是否按预期完成,如检查依数据、配置和服务。通过集成功能测试,和各种非功能测试以及运行状况检查等各种监控方法,进一步测试所有更改。 父主题: OPS03 完备的测试验证体系
OPS06-05 实施依赖项遥测 风险等级 高 关键策略 依赖项遥测可以监控工作负载所依赖的外部服务和组件的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。
一般通过运维知识库系统承载,运维人员可以轻松地查找和获取各种运维知识,包括网络配置、服务器管理、数据库维护等方面的知识。下面将介绍运维知识库系统的五个主要功能和优势。 丰富的知识资源:运维知识库系统收集整理了大量的运维知识和经验,涵盖了各个领域和层次的内容。
韧性支柱简介 韧性支柱旨在帮助企业构建具有高可用的应用系统架构,提高工作负载的韧性,使之在面对各种异常场景时仍能提供和维持可接受的服务水平。
应用系统可设计为使用分布在多个可用区中的资源池,并利用云服务实例本身具备或应用自身支持的跨AZ数据复制与切换能力,在多个AZ之间复制数据、负载均衡和跨AZ故障切换,从而使应用系统具备应对可用区故障的能力。 父主题: RES03 跨AZ容灾
RES03-03 对接容灾仲裁,支持自动切换 针对有状态的主备类型业务,在跨AZ部署并支持自动切换时,需要对接容灾仲裁,以避免出现双主或双备,从而在AZ间链路中断的情况下,业务能自动切换到一个AZ提供服务而不受影响;对于集群类业务不涉及。
相关云服务和工具 云专线 DC 虚拟专用网络 VPN 父主题: RES05 网络高可用
相关云服务和工具 虚拟私有云VPC:安全组 弹性负载均衡器 ELB NAT网关 NAT Web云防火墙 WAF 父主题: RES05 网络高可用
风险等级 中 关键策略 对于被依赖项本身,为减少由于服务故障或运行缓慢对依赖它的组件的影响,需要考虑使用以下技术和原则: 减少被依赖项本身的外部依赖。 优化性能,减少消息响应时延和负载。 使用优先队列,优先处理高优先级用户的请求,以便在流量过载时不影响应用系统的核心功能。
RES09-01 API及命令调用需要设计为可重试 在进行重试处理时,API及命令调用会重复发送,服务方会多次重复执行,需要保证重复执行多次的结果不变。
RES09-02 客户端需要根据综合评估是否要重试 当客户端请求超时或收到错误响应时,客户端需要决定是否重试;重试有助于客户端在请求失败时,通过重复消息来获得预期的结果,避免业务失败,但也会消耗更多的服务器时间来获取所需的成功响应。
风险等级 高 关键策略 客户端进行重试处理时,建议: 增加指数回退和抖动方法,以避免对服务端造成流量压力;采用指数回退重试时,每次重试之间的间隔会逐渐延长,并在两次重试之间引入抖动,以随机调整重试间隔,避免同时出现造成重试峰值。
相关云服务和工具 华为云合规中心 华为云信任中心 华为云等保合规安全解决方案:华为云依托自身安全能力与安全合规生态,为客户提供一站式的安全解决方案,帮助客户快速、低成本完成安全整改,轻松满足等保合规要求。
相关云服务和工具 虚拟专用网络 VPN 云专线 DC 云连接服务 CC 数据快递服务 DES 云证书管理 CCM 父主题: SEC07 通用数据安全
应用系统SLO分解:综合系统SLO、故障频次、云服务SLA,分解得出应用组件的中断时长要求,进一步分解得出故障检测、人工介入、干预恢复的时长要求。 针对应用系统内薄弱环节进行增强: 当云服务SLA无法满足要求时,需要应用层进行额外的保护和增强。
相关云服务和工具 部署 CodeArts Deploy:提供可视化、自动化部署能力,提供丰富的部署步骤,有助于用户制定标准的部署流程,降低部署成本,提升发布效率。 微服务引擎 CSE:支持灰度发布。 应用服务网格 ASM:支持灰度发布。 父主题: RES15 升级不中断业务
华为云提供了MAS-CAST故障注入服务、CodeArts PerfTest性能测试服务、MAS多活高可用服务,可用于故障注入测试、压力负荷测试、长稳测试以及灾难演练。 父主题: RES11 可靠性测试
建议:使用分布式的调用链技术,可以识别多个服务和组件之间请求链路;通过收集调用链数据实现数据流端到端的分析,产品阻塞瓶颈点或者效率低下的请求片段,从而进行针对性的优化。 相关云服务和工具 应用运维管理 AOM 应用性能管理 APM 云日志服务LTS 父主题: 性能数据采集
相关云服务和工具 华为云CodeArts Check服务 华为云CodeArts Repo服务 父主题: OPS02 通过CI/CD实现高效的频繁可逆的小规模变更
相关服务和工具 客户可通过统一身份认证服务IAM的细粒度权限管理,精细化控制账号下用户的资源访问权限,实施最小授权。 对于多账号场景,客户可通过Organization的服务控制策略(Service Control Policy),集中控制每个账号可执行的操作。