华为云用户手册
-
使用标签策略 制定了标签键值规范之后,需要强制所有用户严格按照这个规范对云资源打标签,否则很容易造成资源标签的混乱,影响标签的使用效果。华为云提供的标签策略可帮助您在华为云账号中对云资源添加的标签进行规范化管理。 例如,标签策略规定为某资源添加的标签需要遵循标签策略中定义的大小写规则和标签键值规范。若标签使用的大小写、标签键值不符合标签策略的要求,则资源将会被标记为不合规。 标签策略当前的应用方式为事前拦截,即标签策略开启强制执行后,则会阻止在指定的资源类型上完成不合规的标记操作。 标签策略可以绑定到组织的根、OU和账号。当绑定到根和OU时,所有子OU和子账号都继承该标签策略。账号继承的所有标签策略和直接绑定到账号上的所有标签策略,根据继承运算符最终聚合为有效标签策略。
-
标签命名限制和要求 每个资源最多可以有20个用户创建的标签。注意:以 _sys_开头的系统创建标签将保留供华为云系统使用,并且不计入此限制 对于每个资源,每个标签键都必须是唯一的,每个标签键只能有一个值 标签键必须包含1到128个Unicode字符,并且以UTF-8格式表示 标签值必须包含0到255个Unicode 字符,并且以UTF-8格式表示 标签键和值区分大小写,建议利用标签策略在所有资源类型中一致地实施该策略。例如,决定是使用 HuaweiCloud、huaweicloud 还是 Huaweicloud,应保持相同的规则。
-
用户组和权限规划 您可以参照之前CCoE的角色划分来规划 IAM 身份中心的用户组,将对应的员工加入与其职责匹配的用户组,下表为推荐的用户组划分方式,基于这些用户组的职责,按照最小授权原则,下表也推荐了应该给这些用户组设置访问哪些账号的哪些权限,您可以将其作为起点,精细化规划符合企业要求的用户组和权限。 表1 IAM身份中心的用户组 用户组 用户组的职责 多账号访问权限的设置建议 财务管理组 统一管理成员账号的账单、成本、折扣、发票等财务元素 管理账号的BSS Administrator,BSS Finance等 IT治理组 创建和管理组织单元、成员账号和SCP策略 管理账号的Organizations FullAccess等 身份权限管理组 集中创建和管理用户、用户组,并集中配置权限、委托和SSO 管理账号的IdentityCenter FullAccess,Security Administrator权限 所有其他账号的Security Administrator权限 安全管理组 统一管控整个企业的安全策略、安全规则和安全资源,为其他账号设置安全配置基线,对整个企业的信息安全负责 所有账号下安全资源( 安全云脑 、HSS、DSC、DBSS等)的管理权限 合规审计组 统一查看所有账号的审计日志和安全相关的日志(如VPC流日志和OBS访问日志等) 日志账号的Tenant Administrator权限 所有其他账号下的Tenant Guest权限 网络管理组 集中部署和管理企业的网络连接资源,如ER、VPN、DC、NATG等,统一创建和管理各个账号的VPC、子网和NACL;集中部署和管理网络边界安全防护资源,如WAF,CFW等 网络运营账号的Tenant Administrator权限 所有其他账号下的VPC、子网和NACL等网络资源的管理权限 网络运营账号的网络安全资源(WAF、CFW等)的管理权限 IaaS管理组 也叫云基础设施管理员,统一管理各个账号下的IaaS资源 所有账号下IaaS资源的管理权限 所有其他账号下的运维监控服务( AOM , CES , APM 等)的管理权限 PaaS管理组 也叫中间件管理员,统一管理各个账号下的中间件资源 所有账号下中间件资源的管理权限 所有其他账号下的运维监控服务(AOM,CES,APM等)的管理权限 自动化运维组 统一监控和运维各个账号下的资源 运维监控账号的Tenant Administrator权限 所有其他账号下的运维服务COC的管理权限 数据管理组 集中部署和管理企业数据平台,将其他成员账号的业务数据统一采集到数据平台进行存储、处理和分析 数据平台账号的Tenant Administrator权限 公共服务管理组 集中部署和管理企业的公共资源、服务和应用系统,并共享给其他所有成员账号使用 公共服务账号的Tenant Administrator权限 应用开发组 负责应用的开发工作和开发环境的管理工作 开发账号的Tenant Administrator权限 DevOps账号下的开发人员权限 应用测试组 负责应用的测试工作和测试环境的管理工作 测试账号的Tenant Administrator权限 DevOps账号下的测试人员权限
-
权限设置 主账号的根用户或Admin用户属于管理员,拥有最大的权限,该用户的密码建议由企业的CIO或IT主管直接保管,日常管理和运维不要用Admin来执行,包括创建用户和配置权限也不应该由Admin来执行。我们建议先使用主账号的Admin在IAM身份中心创建出身份权限管理组和对应的用户,授予其完成职责所需要的权限,然后再由身份权限管理组的用户创建出其他的用户和用户组并授予权限。如下图所示。 图2 权限设置最佳实践
-
其他身份和权限管理的最佳实践 遵守最小授权原则,只授予完成职责所需的最小权限,如果用户组的职责产生变化,应该及时调整用户组的权限。 授权时建议按照用户组而不是用户进行授权,简化授权操作。 权限设置、权限使用和权限审计三权分立,由三个不同的人(自然人或者团队)分别承担职责,且这三个人不属于利益共同体。 敏感操作(删除和更新关键资源、大额资金使用等操作)要进行二次认证。 不要将用户密码共享给他人,而是为每个管理或使用华为云资源的人创建一个单独的用户并分配相应的权限,这样每个人在华为云的操作都能被追踪审计。 主账号根用户(与账号同名)的密码建议由企业的CTO或CIO保管,子账号根用户的密码建议由所属业务单元的负责人保管。 根用户(与账号同名)的权限很大,建议不要直接使用根用户访问华为云,而是创建一个或多个普通用户,并按照最小授权原则授予相应的权限,以使用这些普通用户代替根用户进行日常管理工作。 通过服务控制策略来约束子账号根用户的权限。
-
权限使用 Landing Zone为了实现统一管控的目标,IT管理人员需要通过IAM身份中心的多账号授权方式访问和管理其他账号下的云资源。例如,IaaS管理员和PaaS管理员需要统一管理企业范围内各个账号的IaaS资源和中间件资源,这就需要采用IAM身份中心提供的多账号授权方式访问部署在其他账号下的IaaS资源和中间件资源,如下图所示。 图3 – IaaS管理员和PaaS管理员统一管理多个账号的IaaS资源和中间件资源
-
集中身份和权限管理 企业自己的身份管理系统能更好更及时地匹配员工的入职、转岗和离职流程,避免转岗和离职人员继续拥有访问华为云的访问权限。建议您使用企业自己的身份管理系统与华为云IAM身份中心(IAM Identity Center)进行联邦身份认证,基于SCIM(System for Cross-domain Identity Management)协议将企业自己的身份管理系统中的用户同步复制到华为云的IAM身份中心。您还可以在IAM身份中心对这些用户集中配置访问多个账号内资源的权限。配置完成后,前者的用户可以通过SSO(Single Sign-on)登录到华为云控制台,可以看到该用户有权限访问的账号清单,点击“访问控制台”即可登录到该账号内部访问其中的云资源。 图1 统一身份和权限管理
-
安全配置基线 安全配置是信息系统的最小安全保障, 云安全 配置是云环境最基本的安全保证,是开展安全防护和安全运营的基础。 如果云服务没有达到安全配置基线要求,云上业务及资产将面临巨大安全风险。为了帮助客户提高云环境的安全防护能力,华为云为客户提供了华为云安全配置基线指南。该指南包括身份与访问管理、日志与监控、虚拟机与容器、网络、存储、数据库、企业智能等方面的安全配置,但并不是所有可能的安全配置的详尽列表。建议您将该指南作为一个起点,并根据实际需要在此基础上进行补充或裁剪。 按照华为云安全配置基线指南,您可以手工检查当前的云服务的安全配置是否满足基线要求,如果不满足,进一步按照指南提供的修复方法进行修复。您也可以使用华为云安全云脑提供的基线检查功能完成自动化检查。 父主题: 安全运营
-
安全责任共担 华为云把安全合规作为首要任务,安全是华为云和客户的共同责任。在云服务模式下,华为云与客户共同承担云环境的安全保护责任,为明确双方的责任,确定责任边界,华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全,涵盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。这不但包括华为云基础设施和各项云服务的安全功能和性能,也包括对这些云基础设施和各项云服务进行安全运维和运营,以及保障华为云平台和云服务遵从相关的合规性要求。 华为云一方面确保各项云技术的安全开发、配置和部署;另一方面,华为云负责所提供云服务的运维运营安全,例如,对安全事件实现快速发现、快速隔离、快速响应,确保云服务的快速恢复。同时采用适合云服务的漏洞管理机制,对云服务安全漏洞及时应急响应,保证适合 CS P 运维周期的快速发布和不影响租户服务的持续部署,包括不断优化云服务的默认安全配置、补丁装载前置于研发阶段和简化安全补丁部署周期等措施。另外,华为云的安全责任还表现在开发有强大市场竞争力、简单易用的云原生安全服务。 华为云将其基础设施的安全与隐私保护视为运维运营安全的重中之重。基础设施主要包括支撑云服务的物理环境,华为自研的软硬件,以及运维运营包括计算、存储、网络、数据库、平台、应用、身份管理和高级安全服务等各项云服务的系统设施。同时,华为云深度集成第三方安全技术或服务,并负责对其进行安全运维。 华为云还负责其支撑的各项云服务的自身安全配置和版本维护。 华为云对租户数据提供机密性、完整性、可用性、持久性、认证、授权、以及不可否认性等方面的全面数据保护功能,并对相关功能的安全性负责。但是,华为云只是租户数据托管者,租户对其数据拥有所有权和控制权。华为云绝不允许运维运营人员在未经授权的情况下访问租户数据。华为云关注内外部合规要求的变化,负责遵从华为云服务所必需的安全法律法规,开展所服务行业的安全标准评估,并且向租户分享我们的合规实践,保持应有的透明度。 华为云携手云安全商业合作伙伴向租户提供咨询服务,例如协助租户对虚拟网络、虚拟机(包括 虚拟主机 和访客虚拟机)进行安全配置;对系统和数据库进行安全补丁管理;对虚拟网络防火墙、API 网关(API GW)和高级安全服务进行定制配置;以及协助租户进行DoS/DDoS 攻击防范演练、租户安全事件的应急响应及灾难恢复演练。 租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类各项云服务内部的安全配置进行有效管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 租户的安全责任细节由最终所使用的云服务来决定,具体到租户负责执行什么默认和定制的安全配置。对于华为云的各项云服务,华为云只提供租户执行特定安全任务所需的资源、功能和性能,而租户需负责各项租户可控资源的安全配置工作。 租户负责部署配置:(1)其虚拟网络的防火墙,网关和高级安全服务等的策略配置;(2)租户的虚拟网络、虚拟主机和访客虚拟机和容器等云服务所必需的安全配置和管理任务(包括更新和安全补丁)、 容器安全 管理(包括容器集群、节点和容器的安全配置、访问控制安全配置等)、大数据分析等平台服务的租户配置;(3)其他各项租户租用的云服务内部的安全配置等;(4)其自行部署在华为云的任何应用程序软件或实用程序进行安全管理。 在配置云服务时,租户负责各项安全配置,在部署到生产环境前应做好充分测试,以免对其应用和业务造成负面影响。对大多数云服务的安全性而言,租户只需配置账户对资源的访问控制并妥当保管账户凭证。少数云服务需要执行其他任务,才能达到应有的安全性。各项监控管理服务和高级安全服务具有较多安全配置选项,租户可寻求华为云和其合作伙伴的技术支持,以确保安全性。 以华为云 MapReduce服务 ( MRS )为例,租户应负责:(1)管理其购买的MRS大数据集群的弹性IP、虚拟网络防火墙等策略配置;(2)配置访问控制策略,如弹性IP绑定的端口仅对信任的网络或主机开放,避免大数据集群直接暴露在互联网;(3)负责大数据集群的用户管理、大数据组件的安全配置,并且妥当保管相关的账户凭证;(4)以及对其部署在大数据集群上的应用进行安全管理。 再以数据库服务为例,租户应负责:数据库引擎的生命周期管理及数据库安全管理,包括(1)缺省使用最新的实例版本、及时根据官网提示和漏洞通告升级版本等;(2)梳理资产分类及制定数据库实例防护策略,如数据库主备及集群设计、数据灾备及恢复策略、VPC及安全组配置、互联网访问配置、访问通道加密配置、数据库认证和鉴权配置、数据库审计配置以及其他安全配置。 无论使用哪一项华为云服务,租户始终是其数据的所有者和控制者。租户负责各项具体的数据安全配置,对其保密性、完整性、可用性以及数据访问的身份验证和鉴权进行有效保障。在使用 统一身份认证 服务(IAM)和 数据加密 服务(DEW)时,租户负责妥善保管其自行配置的服务登录账户、密码和密钥,并负责执行密码密钥设定、更新和重设规则的业界优秀实践。租户负责设置个人账户和多因子验证 (MFA),规范使用安全传输协议与华为云资源通信,并且设置用户活动日志记录用于监测和审计。 租户负责对其自行部署于华为云上、不属于华为云提供的各项应用和服务所必需的合规遵从,并自行开展所服务行业的安全标准评估。 华为云提供安全基线配置指南,供租户配置参考。 需要注意的是,云计算的服务类型(IaaS、PaaS和SaaS)、云计算的服务模式(云服务交付、云软件交付等)、安全厂商的引入,都会影响各自的安全责任范围,为此华为云与中国信通院在2024年联合发布了《云安全责任共担模型》,该份白皮书详细介绍了云安全责任共担2.0体系,同时提供了云安全责任共担机制的实施参考。 父主题: 安全架构设计
-
成本计划 匹配企业管理模型,确保未来成本可追溯 云财务管理 的基础是树立成本责任制,让各部门、各业务团队、各负责人参与进来,为各自消耗云服务产生的成本负责。 华为云为客户提供了多种工具,以帮助客户合理规划组织,确保成本可追溯。 大型企业或集团公司可以使用企业组织+多账号的方式,通过账号隔离资源和成本,方便业务快速拓展。 中小型企业以及单账号客户,建议优先使用人财物权管理相对完善的企业项目来映射组织。如果存在更多维度、更细粒度规划的诉求,可以使用标签作为组织规划的补充。比如用标签来区分资源归属的产品团队和负责人。 综上所述,无论是采用哪种方式,您都需要尽早完成组织规划,并确保规划的规则能始终如一的执行下去。 通过智能预测和估算,预估未来成本 随着企业深度上云,企业云上支出持续高速增长,如何预估未来云成本对企业的规划至关重要。企业未来用云成本通常包含两类,一是已经上云的业务持续产生的云成本,另外一类是因为新规划业务产生的云成本,如新上云业务或者出海等在其他区域提供服务产生的云成本。由于云支出是可变的,没有一种预测方法可以适用所有场景, 结合基于趋势(已上云业务的历史支出作为输入)的预测和基于业务驱动因素(例如新业务上云或区域扩张)的预 测,可以有效改进并提升企业的财务预测准确率。 使用成本中心的成本分析,可以根据客户的历史支出预测未来时间范围的成本。成本分析的成本和使用量预测,会参考不同的计费模式特征,结合机器学习和基于规则的模型来分别预测所有消费模式的成本和使用量。 使用成本分析确定基于趋势的预测之后,您还可以利用华为云的价格计算器,根据新业务上云或区域扩展所需的产品和使用量,自主搭配产品进行未来成本的估算。 通过预算管理,跟踪未来资源用量和费用执行 预算超支是管理云成本核心难题之一。完成组织和成本的规划后,企业可以为各业务团队制定预算,并跟踪各业务团队预算执行情况。通过预算跟踪,确保各业务团队及时看到预算执行情况,并根据实际成本和预算的差异及时控制,避免预算超支。 华为云提供了通用的预算管理工具,您可以根据企业实际规划的预算,用预算管理工具跟踪起来,并可以设置细粒度的过滤条件,精细化跟踪具体产品、团队、项目的成本。 除了在成本中心查看预算进展外,您还可以为指定预算设置预算提醒,当实际使用或预测使用达到提醒阈值时,及时接收系统发出的短信或邮件预警,从而及时采取下一步措施。 您还可以设置预算报告,定期将指定预算的执行情况以日报、周报、月报的形式周知给企业内部相关角色,比如业务部门、财务、CTO,达到成本透明的目的。 父主题: FinOps
-
组织分级分域管理 组织分级分域管理是一种在现代企业治理中至关重要的方法,特别是在云计算环境下,随着业务的扩展和多样性的发展,这种管理方式变得越来越重要。 您可以按照业务架构的不同层次和领域,基于华为云Organizations服务构建一个清晰、有序、易于管理的云上组织架构,然后将企业的不同业务单元(如子公司、业务系统、产品线、部门、项目等)部署在各自独立的云账号中。 这种方式不仅能够与公司现有的治理架构完美匹配,还能够实现高效的故障和安全隔离,将单个业务单元的故障和风险限制在其自身的范围内,减少“减少爆炸半径”。 首先,分级分域管理可以很好地反映和匹配公司的治理架构。企业往往由多个业务单元组成,每个业务单元都有其特定的目标、团队和运营模式。通过将这些业务单元分配到不同的云账号中,企业可以在云环境中重现其组织结构。这不仅有助于清晰地界定各个业务单元的责任和权限,还方便了资源的分配和管理。例如,某家公司可能有多个子公司,每个子公司都有自己的产品线和项目团队。通过将每个子公司的资源部署在独立的云账号中,可以确保每个子公司拥有自主的管理权限,同时又可以按照公司的整体策略进行统一的监管。 其次,分级分域管理在故障和安全隔离方面具有显著的优势。在云环境中,共享资源虽然带来了便利和效率,但也可能增加了风险。如果所有的业务单元都在同一个云账号中运行,那么一个业务单元的故障或安全问题可能会影响到其他业务单元,甚至整个系统。而通过将不同的业务单元部署在独立的云账号中,企业可以有效地隔离故障和风险,防止问题的扩散。举个例子,如果某个业务系统遭遇了安全攻击,攻击者可能只能够接触到该业务系统所在的云账号中的资源,无法进一步影响到其他业务单元。这种隔离机制大大提高了整个企业的安全性和稳定性。 此外,各个业务单元只能查看和管理自己的云账号内的资源、数据和应用,这种权限管理方式可以确保业务数据的安全性和保密性。业务单元之间的数据隔离,可以防止因人为错误或恶意行为导致的数据泄露和篡改。同时,这也有助于各个业务团队专注于自己的业务发展,减少不必要的干扰和冲突。 公司IT部门可以对各个业务单元进行一定程度的集中管理,实现分统结合的管理模式。在这种模式下,虽然业务单元在各自的云账号中独立运行,但IT部门可以通过统一的策略和工具,对全公司的云资源进行监控、监管和优化。例如,IT部门可以制定统一的安全策略,确保所有的云账号都符合公司的安全标准;可以通过自动化工具,对各个云账号的资源使用情况进行监控,及时发现和解决潜在的问题。这种分统结合的管理方式,在业务灵活性和中央管控之间达成了平衡。业务单元拥有足够的自主权,可以根据自身的需求灵活调整资源和策略,快速响应市场变化。而IT部门则可以从全局角度出发,确保公司的整体安全性、合规性和资源利用效率。 最后,组织分级分域管理还有助于成本的精细化控制。通过对各个云账号的独立计费,企业可以清晰地了解每个业务单元的资源消耗和成本支出。这为成本优化和预算管理提供了有力的支持。业务单元可以根据自身的预算,合理规划和调整资源的使用,而公司层面也可以根据整体的财务目标,制定和调整各业务单元的预算和成本策略。 父主题: 精益化治理
-
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源,比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等,也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务,将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。 图1 资源共享方案 基于网络的共享:通过ER或VPC Peering将账号之间的网络打通,在此基础上进行资源共享,该方式仅限于拥有租户可见IP地址的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。 基于 RAM 的共享:通过华为云RAM服务设置资源共享,授权其他组织单元和账号使用该共享资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考支持共享的云服务和资源类型。 基于资源策略的共享:通过资源策略授予其他账号访问资源的权限,如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。 父主题: Landing Zone参考架构
-
精细化权限控制 在安全合规要求日趋严格的情况下,企业需要采用精细化权限控制手段授予用户足够履行其职责的最小权限。企业利用这些细粒度授权方法可以精确设置访问控制的5 个要素:Who、What、How、Where、When。Who 表示谁可以访问云资源,What 表示可以访问哪些云资源,How 表示有权执行该资源的哪些操作,Where 表示允许用户从哪里访问,When 则表示允许访问的时间段。细粒度授权体现在以下三个方面: 细粒度资源:授权时可以指定特定的资源组甚至单个资源,而不是把租户内所有的资源都授权出去,这个可以通过企业项目、标签等方式来限定授权的资源范围。如果需要授权特定资源,可以先把这些资源归集到一个企业项目或者打上一个标签,然后按照企业项目或标签来设置权限。 细粒度操作:将云资源的读、写、列表等操作进一步细化,对其细化操作进行鉴权,并将这些细化操作变成可供用户配置的权限操作。以云主机为例,将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作,这些细粒度操作在用户配置权限的时候是可以自由选择的,这样就可以将权限控制到用户所需的最小操作集合。 细粒度属性:ABAC(Attribute-based Access Control)相比 RBAC(Role-Based Access Control)更加灵活和精细,您可以在权限设置的时候附加各种基于属性的条件,在权限判定的时候检查当前的访问请求是否满足这些属性所对应的条件,满足条件时才允许访问。这些属性通常包含五大类:一是身份属性,比如用户姓名、是否启用 MFA 、是否根用户等;二是网络属性,比如源IP地址、源VPC ID等;三是资源的属性,比如资源的标签、资源名称等;四是时间属性,比如访问时间、Token的签发时间等;五是环境属性,比如访问请求来自哪个账号,目标资源位于哪个账号等。 您可以在SCP语法介绍查看华为云当前支持的全局级条件键和服务级条件键。通过 ABAC 可以更细粒度地设置访问控制的权限,例如运维人员张三只有启用了 MFA 认证后并且只能在晚上 12 点后、凌晨 4 点之前对指定的ECS实例进行关机和重启操作。 父主题: 精益化治理
-
接入层迁移实施 EIP EIP不涉及到迁移,EIP通常需要在目标端华为云环境中重新购买,如果EIP需要对华为云以外的地方提供服务,那么该EIP需要在当地信管局进行服务 域名 和对应EIP的备案,备案通过后,方可对外提供服务。 EIP购买和使用方法,请参照华为云弹性公网IP服务。 备案是中国大陆的一项法规,使用大陆节点服务器提供互联网信息服务的用户,需要在服务器提供商处提交备案申请。不同备案类型的备案流程略有区别。 负载均衡 迁移到华为云ELB:源端的负载均衡可能是硬件负载均衡器或者是负载均衡软件,都可以使用华为云的ELB云服务替代,在目标端开通ELB服务,然后参考源端策略配置目标端 ELB负载均衡 策略。 具体部署流程,请参照华为云弹性负载服务ELB。 迁移到ECS上部署的软件负载均衡:如果源端是服务器上自建的负载均衡,迁移到华为云上仍然采用ECS自建负载均衡的场景,也可以使用 SMS 工具迁移。 VPN VPN需要在目标端华为云重新部署,具体部署流程请参照华为云 虚拟专用网络 VPN。 父主题: 迁移
-
成本控制 通过预算管理,跟踪未来资源用量和费用执行 云资源按需灵活扩展,云成本在用云过程中不再固定不变。为了避免意外账单,需要在用云过程中精细化控制,对风险事项建立监控预警机制和应对机制,一旦产生预警则及时应对,避免产生异常高成本。在发生异常时,分析根因也至关重要。如发现异常成本时,需要确认是业务发展导致,还是资源过度配置或资源闲置导致,并根据根因进行扩大预算或者优化资源使用。 使用成本中心的成本监控,您可以及时识别成本的异常增长。 成本监控引入机器学习,对客户历史消费数据进行建模,对于不符合历史数据模型的成本增长,识别为异常成本记录,同时提供异常增长的Top潜在原因。 客户可设置监控提醒,定期获取影响成本高的异常记录提醒,并根据系统提供的潜在原因,结合成本分析和业务情况进行深入分析,进而快速做出反应,维持预期的成本支出。 通过账单核对支出,个性化对账提高对账效率 多样化的费用图表可以帮助您快速了解账单情况,完成账单的多维度对账。 华为云为客户提供多种维度的账单介绍,您可以重点关注总体的消费走势、Top产品类型、Top企业项目、Top区域、Top计费模式,从而快速评估月度消费是否符合预期。您还可以获取流水账单和明细账单,按月度查看资金流水和资源扣费的详细信息。消费总计、付款情况、账单的明细数据等。 客户可以将华为云导出的账单和公司自己财务生成的账单进行多维度对账,以确认资源的购买、使用和账户的实际支出是否一致。 资金监控和资源包预警 华为云分别从账户资金余额和资源包剩余使用量的角度跟踪是否有异常支出,避免产生额外消费。 开启可用额度预警,您可以及时接收系统发出的可用额度不足预警,从资金账户的角度跟踪支出是否存在异常。 如果您购买了资源包,可使用费用中心的资源包管理功能,及时了解已购买资源包的剩余用量情况;并开启资源包的剩余使用量预警,在资源包用尽前及时接收预警,从而通过限制按需使用或补充购买新资源包的方式,避免意外按需消费的产生。 父主题: FinOps
-
数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考MRS帮助文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。HBase自带的一些机制和工具命令也可以实现数据搬迁,例如:通过导出Snapshots快照、Export/Import、CopyTable方式等,可以参考Apache官网相关内容。 也可以使用华为云 CDM 云迁移服务进行HBase数据搬迁,详细操作指导请参考MRS帮助文档。 图2 HBase数据迁移 Hive数据迁移到华为云MRS服务 使用华为云CDM服务可以很方便将IDC机房或者其他公有云Hive集群中的数据迁移到华为云MRS服务。 详细操作指导请参考MRS帮助文档。 图3 Hive元数据迁移 使用BulkLoad向HBase中批量导入数据 企业经常面临向HBase中导入大量数据的情景,向HBase中批量加载数据的方式有很多种,最直接方式是调用HBase的API使用put方法插入数据;另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高,因为HBase频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源,并且RegionServer压力也比较大。使用华为云MRS服务时,推荐的方法是使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。 详细操作指导请参考MRS帮助文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移 服务(CDM)可以轻松将外部数据源(关系数据库、 对象存储服务 、文件系统服务等)加载到Hive分区表。 详细操作指导请参考MRS帮助文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS,详细操作指导请参考MRS帮助文档。 任务迁移 大数据任务迁移是指将大数据任务从一个调度平台迁移到另一个调度平台的过程,主要涉及Jar类任务、SQL类任务、脚本类任务,以下简要介绍这三类任务的迁移实施方法。 Jar类任务迁移 迁移Jar类任务需要深入了解源端任务的源代码和依赖库,重新编译代码以生成适用于云环境的可执行Jar文件,并进行充分的验证和调优。可以参考以下步骤进行: 图4 Jar类任务迁移流程 前提:Jar类任务调试依赖的数据已完成迁移,迁移方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置,修改源代码,例如版本、依赖库、数据库连接串,以及本地开发环境的库依赖配置等。 编译源代码,生成云上环境可执行的Jar包。 上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。 如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 按业务需要的时间配置调度任务。 您如果使用华为云的 DataArts Studio 作为大数据任务调度平台,可以参考DataArts Studio帮助文档进行Jar作业的配置。 SQL类任务迁移 迁移SQL类任务时,主要工作是对SQL脚本进行适配改造,可参考如下步骤: 图5 SQL类任务迁移流程 前提:SQL类任务调试依赖的数据已完成迁移,迁移方法请参考前面的数据迁移部分的内容。 源端SQL脚本导出:从源端任务调度平台导出SQL脚本。 修改SQL脚本:根据云上调度平台的语法及资源配置修改SQL脚本。 目标云平台导入SQL脚本:在云上任务调度平台配置SQL类任务,导入SQL脚本。 SQL任务运行和测试:执行SQL调度任务,通过日志和运行结果检查任务运行情况。 SQL任务调优:如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 SQL任务发布:按业务需要的时间配置调度任务,配置正确的任务依赖关系。 您如果使用华为云的DataArts Studio作为大数据任务调度平台,可以参考DataArts Studio帮助文档进行SQL作业的开发和配置。 脚本类任务(Python、Shell等)迁移 迁移脚本类任务时,同样面临云上环境适配问题,可以参考如下步骤进行: 图6 脚本类任务迁移流程 前提:脚本类任务调试依赖的数据已完成迁移,迁移方法请参考前面的数据迁移部分的内容。 源端脚本导出:从源端调度平台拷贝调度任务的可执行脚本。 修改脚本:根据云上环境配置,修改脚本,例如数据库连接串,资源配置,输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测试:执行调度任务,并根据日志和执行结果检查脚本运行情况。 脚本任务调优:如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 脚本任务发布:按业务需要的时间配置调度任务,配置正确的任务依赖关系。 您如果使用华为云的DataArts Studio作为大数据任务调度平台,可以参考DataArts Studio帮助文档进行Shell脚本和Python脚本的开发和配置。
-
迁移工具部署 华为云提供的迁移工具有:迁移中心(Migration Center, MgC)、资源发现与评估工具(RDA)、 主机迁移 工具(SMS)、数据复制工具(DRS)、Redis数据迁移工具、云数据迁移工具(CDM)、 对象存储迁移 工具( OMS )等。 迁移中心(MgC):是一站式迁移平台,集成了华为云的各个迁移工具,内置了由最佳实践总结而来的迁移工作流模板,您可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流。 具体功能及使用方法请查看MgC帮助文档。 资源发现与评估工具(RDA):是一个部署在Windows主机上的工具,用于评估上云驱动力和准备度,发现应用基础设施(例如虚拟机规格信息,CPU,内存利用率性能数据,网络拓扑数据等),并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务 (SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上。 具体使用方法请查看SMS帮助文档。 数据复制服务 (DRS):用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。 具体功能及使用方法请查看DRS帮助文档。 Redis数据迁移服务:用于自建Redis或其它云Redis服务(要求源端Redis已放通SYNC和PSYNC命令)向华为云上Redis(DCS服务或自建Redis)数据迁移. 具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务(CDM):支持近20种常用数据源,满足数据在云上和云下的不同迁移场景。 具体使用方法请查看CDM帮助文档。 对象存储迁移服务(OMS):可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象存储服务(OBS)。 具体使用方法请查看OMS帮助文档。 资源发现与评估工具(RDA)需要部署在华为云VPC内的 ECS云服务器 (Windows操作系统)上;对象存储迁移工具(OMS)为公共服务,不占用VPC内网IP资源,如果通过专线迁移数据,则需要部署离线OMS工具在华为云VPC内的ECS云服务器上;其它工具均会暂时占用VPC内网IP资源。 父主题: 部署
-
数据验证 数据验证标准 迁移完成后,需要对源端和目的端数据做一致性比对,对于数据一致性比对的精度,不同的场景有不同的要求。一般来说,核心业务的数据库表要求源端和目的端100%一致;对于大数据类业务中的部分场景,例如用户画像计算等,可以约定原始数据90%一致。如下是一个参考标准,可根据实际情况调整: 表1 数据校验标准参考 分类 数据一致性要求 业务举例 核心业务 100% 电商系统的核心会员数据、交易数据、支付数据等,数据是用户最核心的资产,涉及到真实的财产金额等。所以这部分核心业务对于数据一致性要求是100%。建议进行数据的行数对比和对象对比,抽样内容对比。 非核心业务 99.9% 电商系统的用户购物车商品数据、客服沟通消息数据等,作为非核心业务的数据,如果有微量损失,并不会影响客户的业务使用和体验。建议若切换时间有限,可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等,如果有一部分损失,并不会影响客户的业务使用可体验。建议进行表级的的行数对比,抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具可批量执行,执行效率较高。 库和表级对象对比 DRS工具 对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具,可批量执行,执行效率较高。 库和表级行数对比 DRS工具 对比表的行数是否一致,只查询表的行数,对比速度较快 python脚本 批量脚本,创建N个并发任务线程,遍历所有表进行逐一COUNT,输出对比结果到xlsx文件中,相比于工具可批量执行,执行效率较高。 中间件数据一致性验证的方法如下表所示: 表3 中间件一致性对比方式 对比项 工具 描述 Keys数量对比 redis-cli 通过redis-cli命令info keyspace查看keys参数和expires参数的值,对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,则表示Keys数量一致,迁移正常。 Key-value内容对比 开源Redis-Full-Check工具 通过全量对比源端和目的端redis中的数据内容的方式来进行数据校验,其工具实现方式会多次抓取源和目的端的数据进行差异化比较,记录不一致的数据进入下轮对比。然后通过多轮比较不断收敛。最后sqlite中存在的数据就是最终的差异结果,无内容则表示数据内容完整,迁移正常。 文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。 文件存储 文件数量 rclone Rclone迁移工具,使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。 rsync rsync迁移工具,使用MD5哈希值来验证文件的完整性,如果校验和不匹配,则rsync会重新传输该文件,以确保数据一致性。同步后会再对比源端和目的端文件数量。 文件大小 python脚本 迁移完成后,通过对比源端和目的端总文件大小判断是否一致。 文件内容 python脚本 迁移完成后,通过计算源端和目的端文件的哈希值,比较两个文件的哈希值是否一致。 父主题: 验证
-
设计任务迁移方案 大数据的任务包括三类:Jar类任务、SQL类任务、脚本类任务(Python、Shell),可以根据不同的任务类型选择合适的迁移方案。 表4 任务类型和迁移方案 任务类型 迁移方案 JAR类任务 所有Jar类任务都需要根据云上集群版本重新编译jar包,适配云上环境 SQL类任务 同版本: Hive大版本相同,可平迁SQL类任务 不同版本:Hive大版本不同,先平迁SQL类任务,然后根据版本语法变动,微调SQL语句以适配云上版本语法 脚本类任务 (Python、Shell) 同调度平台:平迁脚本类任务 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境
-
设计数据校验标准 在大数据迁移过程中,并不是所有数据类型都要求100%的数据一致,需要根据业务需求和数据的重要性来确定数据一致性的要求,并采取相应的数据迁移策略和技术手段来保证数据的正确性和完整性。 从数据类型来看:对于包含事务性数据(例如银行交易记录),通常需要确保迁移过程中的数据一致性。这意味着在迁移完成后,源数据和目标数据需要精确匹配,以避免数据不一致引发的问题。而对于非事务性数据,一些微小的数据差异可能是可以接受的。 从数据重要性来看:关键业务数据对于迁移过程中的数据一致性要求更高,这些数据可能包含了企业核心业务的重要信息,因此在迁移过程中需要确保数据的准确性和完整性。而对于非关键性业务数据,一些小的数据差异可能可以被容忍。 因此在数据迁移实施前,企业需要确定不同数据的校验标准,可以参考如下模板: 表3 数据类型和校验标准 数据类型 校验标准 详细表名 X类数据 100%一致 A表、B表、C表… Y类数据 误差小于0.01% D表、E表、F表… … 自定义标准 …
-
设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化 增量数据 数据定期更新 这3类数据的迁移方法如下: 表2 大数据三类数据的迁移方式 数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务 使用Hbase快照方式,迁移Hbase数据到华为云MRS服务 增量数据 Hive增量数据 根据源端元数据查询每日变化数据,识别出需要迁移的数据目录,使用华为云CDM工具迁移增量数据上云 Hbase增量数据 使用华为云CDM工具迁移所有增量数据(根据时间戳)到华为云MRS服务 企业可以根据不同的数据类型选择合适的迁移方案,CDM是数据迁移阶段主要使用的工具。大数据的数据迁移通常按照如下顺序执行: 图1 大数据的数据迁移顺序 元数据迁移 首先,进行元数据的迁移。元数据是描述数据的数据,包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段,需要将原始数据的元数据信息导出,并在目标系统中重新建立或导入元数据,以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完成之后,进行历史数据的迁移。历史数据是指在过去某个时间段内生成的数据,它们需要被迁移到目标系统中进行后续的分析和处理。历史数据迁移可能涉及将数据从原始存储位置导出,并按照预定的规则和格式加载到目标系统中。 增量数据迁移 当历史数据迁移完成后,进行增量数据的迁移。增量数据是在历史数据迁移之后生成的新数据,需要实时或定期迁移到目标系统中。增量数据迁移通常通过数据同步或数据传输的方式进行,确保新数据能够及时和准确地被目标系统所使用。
-
Runbook参考模板 Runbook Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关 - 是 - - - 环境清单核对 应用清单检查并刷新应用启停顺序 研发相关 - 是 - - - - 研发相关 - 是 - - - 环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - - - 大数据检查项 大数据相关 - 是 - - - 大数据相关 - 是 - - - 应用检查 运维相关 - 是 - - - 执行脚本检查 运维相关 - 是 - - - 运维相关 - 是 - - - 日志系统检查 运维相关 - 是 - - - Runbook操作步骤参考 此外,还可能包含的项,例如:实际开始时间、实际结束时间、实际耗时等条目。 表2设置样例,具体表格内容请参考实际业务情况后填写。 表2 Runbook操作步骤参考样例 序号 任务 步骤顺序 子任务 步骤 详细操作指导 决策 详细清单 操作人 确认人 计划开始时间 计划结束时间 1 XXX 1.1 - - - 必须解决 - - - - - 2 1.1 - - - 必须解决 - - - - - 3 1.2 - - - 必须解决 - - - - - 4 1.3 - - - 必须解决 - - - - - 5 1.3 - - - 必须解决 - - - - - 6 1.3 - - - 必须解决 - - - - - 7 XXX 1.4 - - - 非阻塞 - - - - - 8 1.4 - - - 非阻塞 - - - - - 9 回退决策1:时间点XX前完成上述步骤,否则决策是否回退。 - 回退-决策点1 - - 10 XXX 21.1 - - - 阻塞执行 - - - - - 11 21.2 - - - 阻塞执行 - - - - - 父主题: 设计Runbook
-
成本预算计划 企业上云过程中,可以利用华为云的成本中心进行成本预算计划和管理。通过华为云的成本中心,企业可以实现对云开支的全面预算管理和监控,提高资源利用率,降低不必要的支出。合理的预算计划和持续的成本优化将有助于企业在云环境中获得更高的投资回报,实现业务的数字化转型目标。 制定预算计划时,可以参考以下内容: 基于历史成本数据进行预测:使用成本中心的成本分析功能,根据历史支出预测未来时间范围的成本。 基于业务驱动因素进行预测:基于未来的业务需求(如扩容、大促、新业务上线等),进行未来成本的变动估算。 基于历史数据和未来业务需求,制定出最终的预算计划。 华为云成本中心为您提供了预算模板,简化您的预算创建流程,您可快速创建成本预算,同时用户可以为预算任务创建预算报告,华为云会在报告日为您发送预算情况报告。 详情请参考华为云成本中心帮助文档。 父主题: 方案设计
-
简介 标签是用于标识和分类云资源,通常由键(Key)和值(Value)组成。当用户拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,用户为每个云资源分配了两个标签,每个标签都包含自定义的一个“键”和一个“值”,一个标签使用键为“所有者”,另一个使用键为“用途”,每个标签都拥有相关的值。 图1 资源标签示例 华为云提供的标签管理服务(Tag Management Service,简称TMS)是一种快速便捷将标签集中管理的可视化服务,提供跨区域、跨服务的集中标签管理和资源分类功能,为客户提供统一的控制台与API接口,并最终实现用户对资源的使用权限、计费与管理高效结合。 关于TMS的具体功能和使用说明请参考官网文档。 父主题: 设计标签方案
-
基于华为云搭建IDP 华为云提供了丰富的云服务可以帮助您快速构建企业的内部开发平台。 应用平台(AppStage)是基于平台工程理念打造的下一代应用全生命周期管理和AI原生应用生命周期管理平台,帮助客户快速高效地实现传统应用及AI原生应用全生命周期管理,为应用构建、运维和运营等生命周期管理活动提供自助式服务能力,目标是通过标准化和自动化的服务来提升用户体验 ,促使客户可以专注于交付应用逻辑和云上业务创新。 软件开发生产线(CodeArts)是面向开发者提供的一站式云端平台,即开即用,随时随地在云端交付软件全生命周期,覆盖需求下发、代码提交、代码检查、代码编译、验证、部署、发布,打通软件交付的完整路径,提供软件研发流程的端到端支持。 应用管理与运维平台(ServiceStage)是面向企业的应用管理与运维平台,提供应用发布、部署、监控与运维等一站式解决方案。支持Java、Php、Python、Node.js、Docker、Tomcat技术栈。支持Apache ServiceComb Java Chassis(Java Chassis)、Spring Cloud等微服务应用。 微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,支持华为云贡献到Apache社区的注册配置中心Servicecomb引擎、开源增强的注册配置中心Nacos引擎和应用网关。您可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。 云应用引擎(Cloud Application Engine,CAE)是一个面向WEB、微服务应用的Serverless托管服务,提供极速部署、极低成本、极简运维的一站式应用托管方案。支持从源码、软件包、镜像包快速发布应用,秒级弹性伸缩、按量付费。可做到基础设施免运维,根据可观测的运行指标对应用进行生命周期管理。
-
持续迭代和优化 平台工程的建设是一个持续优化的过程,需要根据使用情况和技术发展,不断地改进和完善。定期与开发、测试、运维等团队进行沟通,收集他们对平台的建议和意见。利用监控数据分析平台的性能指标,识别性能瓶颈,优化资源配置。 同时,关注云原生、容器化、微服务和Serverless等新技术的发展,评估其在平台中的应用价值。选择适合的项目进行新技术试点,验证效果后逐步推广。完善平台的使用手册、API文档和最佳实践等,方便新成员快速上手。定期组织培训,提升团队对平台的理解和使用水平。
-
沉淀公共服务 您需要对企业内部的公共组件和服务进行梳理和沉淀,这是提升平台工程价值的关键。首先,您需要识别企业内部被多个应用系统共用的软件组件,例如认证组件、日志组件、消息组件等,对这些组件进行标准化,确定接口定义、数据格式和错误处理机制,确保组件的一致性和可复用性。然后,将这些公共组件封装成独立的微服务,部署在CSE之上。通过CSE的服务注册中心,实现微服务的自动注册和发现,其他应用系统可以通过调用这些微服务来使用这些公共组件,避免重复开发,提高开发效率,并保证代码质量的一致性。利用CSE的服务治理功能,您还可以进一步提升公共组件的可靠性和性能。您需要编写详细的组件使用文档和API说明,方便开发者查阅和使用。并且需要建立组件的版本管理机制,规范组件的升级和维护流程,确保组件的持续优化和迭代。
-
明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台(IDP),优化软件交付和生命周期管理,提高开发效率和交付速度。为此,您需要详细分析企业当前的开发流程和痛点,确定哪些环节需要优化。例如,可能存在环境配置复杂、部署流程繁琐、资源获取周期长等问题。通过与各个团队的沟通,收集需求,明确需要哪些服务、工具和功能来支持开发人员的工作。通过需求分析,制定平台工程的目标,包括但不限于: 提供统一的应用开发、测试和部署平台。 实现自动化的持续集成和持续交付(CI/CD)流水线。 沉淀和复用企业内的公共组件和服务。 建立完善的监控和运维机制。 确保平台的安全性和合规性。
-
基础设施部署 基础设施部署主要是部署Landing Zone,有三种部署Landing Zone的方式。 由实施人员手动在华为云上部署Landing Zone,这种方式非常灵活,不受自动化工具的功能限制,但部署周期比较长。 基于资源治理中心完成自动化部署Landing Zone,具体步骤请参考官网文档。 但资源治理中心部署的是最小化Landing Zone,不一定符合企业的实际需求,还需要在此基础上通过手工或自动化的方式进一步设置Landing Zone。 使用华为云提供的 资源编排 服务 RFS 或第三方自动化工具(如Terraform等)实现Landing Zone的自动化部署和管理。华为云资源编排服务(Resource Formation Service,简称RFS)是完全支持业界事实标准Terraform(HCL + Provider)的新一代云服务资源终态编排引擎。基于业界开放生态HCL语法模板,实现云服务资源的自动化批量构建,帮助用户高效、安全、一致创建、管理和升级云服务资源,能有效提升资源管理效率,并降低资源管理变更带来的安全风险。具体请参考华为云官网文档。 图1 华为云RFS编排示例 父主题: 采用实施
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- ...
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333