云服务器内容精选

  • 步骤二:创建指标 在“指标仓库”页面,单击已创建的逻辑主体。 单击逻辑主体页面的“新建指标”,选择“新建单个指标”。 配置指标参数,参数说明如表2所示,配置完成后,单击“创建”。 表2 配置指标参数说明 参数名称 参数说明 类型 选择指标类型。 英文名称 自定义英文名称。 中文名称 自定义中文名称。 指标等级 选择指标等级。 描述 输入描述信息。 开放名称 - 指标类型 根据指标的类型分为RequestCount、DelayTime、SuccessRate、FailureRate、Speed、Bandwidth。 逻辑主体 选择指标来源的逻辑主体。 标签列表 - 指标责任人 - 开放状态 - 抽象指标 - 是否多聚合字段 - 聚合类型 选择指标的统计方式。 聚合字段 指标的度量对象。 过滤器 依据业务限定条件,给指标设置过滤规则,支持AND、OR多层嵌套过滤条件,节点类型为NODE。 举例:有5个过滤条件ABCDE,过滤条件汇总后为(A AND B)OR (C AND D AND E),ABCDE即为NODE节点。
  • 步骤二:创建指标 在“指标仓库”页面,单击已创建的逻辑主体。 单击逻辑主体页面的“新建指标”,选择“新建单个指标”。 配置指标参数,参数说明如表2所示,配置完成后,单击“创建”。 表2 配置指标参数说明 参数名称 参数说明 类型 选择指标类型。 英文名称 自定义英文名称。 中文名称 自定义中文名称。 指标等级 选择指标等级。 描述 输入描述信息。 开放名称 - 指标类型 根据指标的类型分为RequestCount、DelayTime、SuccessRate、FailureRate、Speed、Bandwidth。 逻辑主体 选择指标来源的逻辑主体。 标签列表 - 指标责任人 - 开放状态 - 抽象指标 - 是否多聚合字段 - 聚合类型 选择指标的统计方式。 聚合字段 指标的度量对象。 过滤器 依据业务限定条件,给指标设置过滤规则,支持AND、OR多层嵌套过滤条件,节点类型为NODE。 举例:有5个过滤条件ABCDE,过滤条件汇总后为(A AND B)OR (C AND D AND E),ABCDE即为NODE节点。
  • 概述 支持将应用部署到AppStage,对于Spring Cloud框架开发的服务,需要在代码中添加相应的依赖和配置。本章以开发SpringCloudDemo为例,演示如何开发业务代码及IaC部署脚本。您可以下载Demo源码,结合本章内容进行理解。 SpringCloudDemo包含DemoOrgidLogin、DemoServiceAService与DemoServiceBService三个微服务,其中DemoOrgidLogin是集成OrgID登录功能的微服务,DemoServiceAService为用户管理微服务、DemoServiceBService为订单管理微服务,其包含了完整的源代码以及构建好的容器镜像。 我们采用Cloud Map来实现微服务注册发现及微服务之间的调用,使用STS进行微服务身份认证及敏感信息管理,WiseDBA提供数据库管理功能,SLB管理路由转发负载均衡。接下来将介绍如何集成STS、Cloud Map、WiseDBA、SLB以及OrgId的登录功能。 父主题: 代码开发
  • 更多操作 创建版本完成后,您还可以执行如下表2所示的操作。 表2 更多操作 操作 说明 编辑版本 说明: 可编辑未发布的版本,不可编辑已发布的版本。 在“版本管理”页面的版本列表中,单击“操作”列的“编辑”。 在“编辑版本”页面,可编辑版本描述、版本类型、产能、版本开始时间和版本发布时间。 单击“提交”。 删除版本 说明: 可删除未发布的版本,不可删除已发布的版本。 删除版本后其名下全部内容将同步被清空,此操作无法恢复,请谨慎操作。 在“版本管理”页面的版本列表中,单击“操作”列的“删除”。 在“删除版本”对话框,根据界面提示在文本框输入“确定删除”,并勾选“我已知悉,强制删除”。 单击“确定”。
  • IaC目录规划 IaC脚本开发规范请参考应用平台IaC部署代码开发,本实践中,IaC包结构规划如下: 表1 IaC Spec包结构说明 位置 描述 iacspec IaC压缩包 └── global/ 全局默认的IaC描述,包含完整文件结构。 │ └── meta.yaml 变更策略描述 └── specs/ 环境特定的IaC描述,结构与global相同,但仅包含与global有差异的文件。 │ └── cn_green_cbu_default/ 研发联调环境,命名采用站点级Cloud Map的名称,可以在环境管理界面查看可选的站点级Cloud Map名称列表。 │ └── DemoOrgidLogin/ 微服务DemoOrgidLogin。 │ └── config/ DemoOrgidLogin的配置目录。 │ └── aiops_sidecar_param.json 接入AIOps服务的配置文件。 │ └── config_records.yaml DemoOrgidLogin的业务配置项。 │ └── config_schema.yaml 声明DemoOrgidLogin的业务配置项属性,敏感业务配置项需要声明,非敏感配置项可以不声明。 │ └── envs.yaml 用于配置和管理DemoOrgidLogin的环境变量。 │ └── hosts.yaml 配置主机域名映射。 │ └── resources.yaml DemoOrgidLogin的资源列表。 │ └── values.yaml 定义DemoOrgidLogin的资源列表中使用的变量。 │ └── DemoServiceAService/ 微服务DemoServiceAService │ └── config/ ServiceA的配置目录。 │ └── aiops_sidecar_param.json 接入AIOps服务的配置文件。 │ └── config_records.yaml ServiceA的业务配置项。 │ └── config_schema.yaml 声明ServiceA的业务配置项属性,敏感业务配置项需要声明,非敏感配置项可以不声明。 │ └── envs.yaml 用于配置和管理ServiceA的环境变量。 │ └── hosts.yaml 配置主机域名映射。 │ └── resources.yaml ServiceA的资源列表。 │ └── values.yaml 定义ServiceA的资源列表中使用的变量。 │ └── DemoServiceBService/ 微服务DemoServiceBService。 │ └── config/ ServiceB的配置目录。 │ └── aiops_sidecar_param.json 接入AIOps服务的配置文件。 │ └── config_records.yaml ServiceB的业务配置项。 │ └── config_schema.yaml 声明ServiceB的业务配置项属性,敏感业务配置项需要声明,非敏感配置项可以不声明。 │ └── envs.yaml 用于配置和管理ServiceB的环境变量。 │ └── hosts.yaml 配置主机域名映射。 │ └── resources.yaml ServiceB的资源列表。 │ └── values.yaml 定义ServiceB的资源列表中使用的变量。 └── package.json 包描述文件。
  • FileBeat采集端汇聚 采集端汇聚是在采集端清洗的基础上实现的,针对资源受限而日志总量大,单节点流量可控,需要优先保证统计分析数据正常上报的场景,前置汇聚可以很明显的缓解统计分析告警延迟的问题,同样可以更进一步节省整体资源占用。 采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。 图1 数据汇聚 开启汇聚:选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇聚。 开启后需要配置汇集相关参数。 汇聚粒度:开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。 汇聚时间戳:仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。 时间戳格式:选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。 汇聚维度:结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。 汇聚度量:设置对日志字段以COUNT、SUM、MAX、MIN进行度量。 原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。
  • 背景信息 随着业务数量增多,业务的数据开发需求也逐渐增多, 数据开发人员不能快速支撑业务的开发需求,了解业务的人员设计和开发业务的数据资产可以使数据发挥最大价值,因此需要业务人员来主导业务的数据治理开发工作。 数据治理的核心就是管理好业务的数据资产,随着业务特性和业务复杂度快速增长,面临的不再是无数据的时代,面临的问题是如何在数据世界中获取到准确且有价值的信息,例如同一个指标在不同的应用场景,哪个才是准确的?这么多数据我的业务监控是否都覆盖了?以及是否有无价值和未合理使用的数据等,因此如何有效管理数据资产成了当前重点关注的问题。
  • 解决方案 本章节介绍如何通过AppStage运维中心完成对业务实时数据的接入、处理、开发与应用。 图1 数据开发与应用流程 数据接入 AppStage运维中心支持接入虚拟机日志和容器日志,您可以根据日志类型选择日志接入方式。 虚拟机日志接入:通过日志配置下发任务部署filebeat,并根据日志采集配置设置,通过filebeat采集虚拟机上的业务日志。 容器日志接入:安装daemonset插件,通过daemonset实现容器日志接入。 数据处理 数据清洗:采集日志时,可以使用清洗算子的方式得到JSON格式数据 数据汇聚:当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。 数据开发 可以使用存入数据库中的数据进行报表开发、实时监控或者异常告警等应用,可以直接写SQL,但是不同数据源写SQL的方式有差异,且有一定难度,AppStage支持使用运维数仓的方式,会自动根据不同数据源生成对应的SQL。 创建逻辑主体:使用运维数仓时首先需要创建逻辑主体。 创建指标:逻辑主体创建成功后,需要创建数据指标。 创建视图:为需要计算的指标创建查询视图,也可以在查询视图的基础上创建持久化视图或长期存储视图。 数据应用 使用报表对业务进行实时监控:使用运维数仓中的指标或视图创建业务报表,实时监控业务数据。 通过日志检索进行问题定位:对已接入的实时日志进行检索定位业务异常问题。 数据异常告警:支持通过异常检测上报告警和配置虚拟机异常告警,根据业务需要进行配置。
  • 操作步骤 在华为云控制台,完成如表1所示的资源购买。 表1 资源列表 资源名称 说明 参考文档 CCE集群 购买1个CCE集群。 根据业务需要选择规模,本实践中选择集群规模为50节点。 购买集群 ECS服务器 购买1个ECS服务器,容灾场景下购买2个ECS服务器。 根据业务需要选择规格,本实践中选择规格为:通用计算增强型/2vCPUs/4GiB/c6.large.2 购买ECS服务器 启用环境并录入账号信息,具体请参见环境配置及账号录入。 完成资源接入,具体请参见资源接入。 在微服务容器化部署前,需要在微服务平台为环境绑定CCE集群,用于在环境下部署和运行微服务。具体请参见环境配置。
  • 步骤二:创建日志空间 在“虚拟机日志接入”页面,选择左侧导航栏的“日志空间”。 单击“申请实时日志空间”。 根据界面提示填写日志空间参数。 配置实时日志空间信息,参数说明如表2所示,配置完成后,单击“下一步”。 表2 实时日志空间信息参数说明 参数名称 参数说明 空间名称 自定义日志空间名称,建议包含日志类型语义。 空间描述 输入日志空间描述,非必填项。 日志类型 选择需接入的日志类型。 日志大小 预计一天的日志量,默认为1GB。 开启日志检索 如果需要使用日志检索功能,可以打开该开关。 检索空间类型 选择ClickHouse。 原索引名称(ClickHouse) 可选择现有的ClickHouse,如果不填会自动生成。 TTL 日志索引的生命周期,即可以检索的日志时间范围。 配置实时日志字段信息,参数说明如表3所示,配置完成后,单击“下一步”。 表3 实时日志字段信息参数说明 参数名称 参数说明 自定义字段 勾选需要接入的日志字段,包括通用字段、容器字段和虚机字段。 新增自定义环境变量 如需添加自定义环境变量,请选择环境变量名,然后单击“添加”。虚机暂无可选自定义环境变量。 清洗规则 选择日志清洗规则。 请优先使用算子清洗模式采样,原始日志采样清洗只适用于单纯采样,不需要清洗的场景。 日志样例 输入日志样例。 解析脚本 配置解析脚本,将日志样例清洗为字段显示。 说明: 配置解析脚本时字段命名不支持使用中划线“-”,支持使用下划线“_”。 清洗字段 配置解析脚本后单击“配置解析脚本”,自动生成清洗字段,查看字段是否符合预期。 开启汇聚 选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇集。 开启后需要配置汇集相关参数。 汇聚粒度 开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。 汇聚时间戳 仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。 时间戳格式 选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。 汇聚维度 结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。 汇聚度量 设置对日志字段以COUNT、SUM、MAX、MIN进行度量。 原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。 输出原始日志 选择是否需要输出原始日志。如果打开输出原始日志,原始日志也会上报。 日志字段确认,确认日志字段配置是否达到预期,达到预期后可单击单击“下一步”。 其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。 申请日志空间共享,如果需要其他自有服务共用这个空间进行日志下发和日志检索,可以添加共享服务。配置完成后,单击“保存”。
  • 步骤三:创建日志采集配置 在“虚拟机日志接入”页面,选择左侧导航栏的“日志采集配置”。 单击“创建日志采集配置”。 配置日志采集参数,配置完成后,单击“确定”。 新创建的采集配置默认为草稿状态,展示在“草稿”页签下,当配置被微服务使用后,状态会更新为“已下发”,并展示到“已下发”页签下。 表4 日志采集配置参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目,相同服务的不同日志使用同一个日志项目 日志空间 选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式,采集的日志须满足对应格式。 配置名称 自定义日志采集配置名称。 配置类型 选择日志采集配置类型,建议选择“FILEBEAT”。 日志类型 输入采集日志类型。 日志路径 填写实际日志路径,可使用通配符进行匹配。 说明: 接入容器日志需要根据通配符匹配完成。 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件,会导致filebeat进程异常。 日志TPS TPS表示单实例每秒日志条数,请准确填写,用于推荐资源自动计算。 如果采集路径是单个日志,则按照单个日志单台机器(pod)的TPS值填写,且按照高峰期计算。 如果采集路径配置了通配符,则将采集的日志TPS累加,累加计算高峰期单台机器(pod)的TPS,建议按近期业务增长预期填写。 日志模式 选择日志采集模式,是单行模式还是多行模式。 是否支持软连接 当填写的日志路径为链接路径时,需要开启支持软连接。 首行正则表达式 日志模式选择多行模式时,需要输入首行正则表达式。 日志提取规则 根据填写的配置参数会自动生成提取规则。
  • 步骤四:创建日志配置下发任务 在“虚拟机日志接入”页面,选择左侧导航栏的“任务管理”。 单击页面右上角的“新建任务”。 配置任务参数,参数说明如表5所示,配置完成后,单击“确定”。 表5 日志配置下发任务参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目。 任务名称 自定义任务名称。 任务类型 选择任务类型。 配置类型 选择日志采集配置类型。 配置列表 选择需要下发的配置。 用户名称 选择已规划并拥有日志读取权限的业务账号。 选择主机 选择需要下发配置的主机。 已选主机 显示已选主机。 在任务列表中查看已创建的任务,单击任务所在行“操作”列的“执行”。 执行完成后,状态为成功即表示日志配置内容已下发成功,即会按照配置将日志接入AppStage。
  • 解决方案 本文将以Spring Cloud Demo项目为例,带您体验使用AppStage的开发中心、运维中心及运行时引擎进行工程创建、代码开发、打包发布,部署上线的全过程。 图1 应用上云流程 工程创建 创建产品/服务/微服务信息:企业资源接入AppStage前,需要先将企业产品/服务/微服务信息录入AppStage系统中,信息录入成功后,AppStage将同步产品/服务/微服务信息至AppStage的开发中心、运维中心等各个中心。 添加开发中心用户:开发中心的用户数根据购买规格有相应的用户数量限制,组织管理员通过用户的添加或删除来合理管理开发中心的使用人员。 创建团队:在开发中心进行服务开发前,需要组织管理员先创建一个团队,将团队关联需要开发的服务。 配置服务信息:将团队关联服务后,还需将团队关联的服务关联CodeArts项目,后续的服务开发管理过程中才能正常使用CodeArts服务的代码托管、流水线、编译构建功能。 添加团队成员:在团队多用户协作开发过程中,不同角色成员执行各自权限和责任事项,因此需要在团队中添加协作开发的各角色成员(项目经理、开发人员、测试人员等),实现统一有序的成员信息管理。 创建版本:为服务创建版本,进而在版本管理活动中进行流水线和发布流程等有序开发和特定发布过程管理。 代码开发 创建代码仓库:开发人员进行代码开发前,需要先创建代码仓库用于托管代码。本实践中使用代码托管 CodeArts Repo服务提供的模板创建,适用于本地没有仓库,希望按模板初始化一个仓库的场景。 下载代码到本地:开发人员进行代码文件的操作前,需要使用Git Bash客户端和TortoiseGit客户端下载代码仓库文件到本地环境中。 开发业务代码和编写IaC脚本:开发人员在本地开发业务代码以及IaC部署脚本。 提交代码到代码仓库:开发人员在本地完成业务代码和IaC脚本后,需要提交代码文件至代码仓库。 打包发布 创建/配置/执行流水线:通过流水线配置代码打包发布的编译构建自动化任务(包括添加业务包构建、IaC自动部署包构建任务),对这些自动化任务进行自定义编排后,一次配置后即可一键自动化触发调度执行,最终生成代码构建产物。 发布流水线构建的包到运维中心:版本开发及编译构建完成,且发布准入检查项均通过后,将版本软件包发布到运维中心的软件仓库。 部署上线 安装部署软件包:完成环境准备,并将发布在运维中心的软件包进行安装部署。 业务验证:软件包部署完成后,验证是否部署成功。
  • 背景信息 Spring Cloud为微服务开发提供了一套完整的解决方案,大幅简化了分布式系统中基础设施如服务发现与注册、配置管理、负载均衡、数据监控以及分布式调用链等的开发工作。通过Spring Cloud提供的简易框架,开发者能够基于Spring Boot轻松实现微服务项目的构建。 然而,除了开发阶段的便捷性外,我们还需要关注应用的部署、运维和监控等方面,以确保微服务应用在生产环境中的稳定性和性能。应用平台(AppStage)是基于平台工程理念打造的下一代应用全生命周期管理平台,帮助客户快速高效地实现应用全生命周期管理,为应用构建、运维和运营等生命周期管理活动提供自助式服务能力。 原生Spring Cloud应用仅需引入AppStage组件依赖并进行简单配置,即可轻松接入AppStage。接入后,用户即可体验到平台所提供的丰富功能,如服务注册与发现、智能运维、应用监控、服务治理、应用运营等。
  • 步骤二:下载代码 下载代码是AppStage集成代码托管CodeArts Repo服务的能力,基于Git的代码托管服务,支持将仓库文件下载到本地进行文件的操作。该操作需要具备开发人员角色权限,权限申请方法请参见申请权限。 在开发中心左侧导航栏,选择“代码仓管理”。首次将仓库克隆/下载到本地的方式主要分为以下三种: 使用SSH协议克隆代码托管仓库到本地。 使用HTTPS协议克隆代码托管仓库到本地。 从浏览器下载代码包。