实践场景

某电商运维人员在定位分析应用、资源及业务的实时运行状况时,发现系统上报的告警数量过大,重复性告警过多,需要从众多告警中快速及时发现故障,全面掌握应用。

解决方案

AOM通过设置告警规则,实时监控环境中主机、组件等资源使用情况。当产品自身或外部服务存在异常情况时,立即触发告警。并提供告警降噪功能,支持发送告警通知前按告警降噪规则对告警进行处理,处理完成后再发送通知,帮助用户快速识别重点问题,避免产生告警风暴。

告警降噪功能分为分组、去重、抑制、静默四部分:

使用分组规则,您可以从告警中筛选出满足条件的告警子集,然后按分组条件对告警子集分组,告警触发时同组告警会被汇聚在一起发送一条通知。

使用抑制规则,您可以抑制或阻止与某些特定告警相关的其他告警通知。例如:当严重级别的告警产生时,可以抑制与其相关的低级别的告警。或当节点故障发生时,抑制节点上的进程或者容器的所有其他告警。

使用静默规则,您可以在指定时间段屏蔽告警通知,静默规则一旦创建完成,即刻生效。

去重为内置策略,服务后台会自动检验告警内容是否一致实现去重的效果,用户无需手动创建规则。

下面以监控ELB业务层全量指标为例说明。

步骤一:创建分组规则

建一个分组规则,当产生AOM的紧急、重要告警时,触发“Monitor_host”行动规则,且告警按照告警源合并分组。

登录AOM 2.0控制台。

在菜单栏选择“监控中心”,进入“监控中心”界面。

在左侧导航栏中选择“告警管理 > 告警降噪”。

在“分组规则”页签下单击 “创建分组规则”,设置规则名称、分组条件等信息。

表1 告警合并规则说明

方式
说明

通知合并方式

根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。

合并方式包括:

按告警源:由相同告警源触发的告警,合并为一组发送告警通知。

按告警源 + 严重度:由相同告警源触发的告警,且其严重度相同时,合并为一组发送告警通知。

按告警源 + 所有标签:由相同告警源触发的告警,且其标签相同时,合并为一组发送告警通知。

首次等待

首次创建告警合并集合后,等待多久发送第一次告警通知。通常设置为秒级别的时间,便于告警合并后再发送,避免告警风暴。

取值范围:0s-10min,推荐设置为 15s。

变化等待

合并集合内的告警数据发生变化后,等待多久发送告警通知。通常设置为分钟级别的时间。如果您需要尽快收到告警通知,也可设置为秒级时间。

此处的变化是指新增告警或告警状态改变。

取值范围:5s-30min,推荐设置为60s。

重复等待

合并集合内的告警数据重复后,等待多久发送告警通知。通常设置为小时级别的时间。

此处的重复是指无新增告警和状态变化,仅其他属性(例如标题、内容等)改变。

取值范围:0min-15day,推荐设置为1h。

步骤二:创建全量指标告警规则

通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警,当没有指标数据上报时产生数据不足事件。

按照配置方式的不同,创建指标告警规则可分为三种:按资源类型创建、按全量指标创建和按Prometheus命令创建。下面的操作以按全量指标创建为例说明,创建一个监控ELB业务层全量指标的告警规则。

说明:如果需要将上报的告警数据在应用监控页页面显示,则创建指标告警规则时,只能选择按全量指标创建。

1、登录AOM 2.0控制台。

2、在菜单栏选择“监控中心”,进入“监控中心”界面。

3、在左侧导航栏中选择“告警管理 > 告警规则”。

4、在“规则列表”页签下单击 “创建告警规则”。

5、设置告警规则的规则名称等基本信息。

6、设置告警规则的详细信息

7、设置告警通知策略。告警通知策略有两种方式,此处选择告警降噪方式。

告警降噪:对告警信息自动匹配告警降噪分组规则后再发送告警,防止产生告警风暴。

8、单击“立即创建”,完成创建。创建完成后,单击“返回告警规则列表”可查看已创建的告警规则。

应用运维管理AOM 常见问题

应用运维管理AOM 常见问题

  • 如何处理界面“ICAgent状态”为“离线”的问题?

    ICAgent安装完成后,界面“ICAgent状态”为“离线”。

    问题分析

    原因:AK/SK配置不正确或30200、30201端口未连通。

    影响:ICAgent无法正常使用。

    解决办法

    以root用户登录安装ICAgent的服务器。

    执行以下命令,检查AK/SK配置是否正确。

    配置AK/SK后,重新安装ICAgent。如果仍未安装成功,请执行4。

    查询端口连通性。


  • Agent安装失败相关类

    Agent安装机和目标机器网络不通,报错提示“[warn] ssh connect failed, 1.2.1.2:22”如何解决?

    答:安装之前先在安装页面单击连接测试,选择网络能通的安装机。

    Agent安装成功后,后续的心跳和注册都失败,代理机网络不通,如何解决?

    答:在目标机器上执行“telnet 代理机ip”,检查代理机和目标机器间的网络连通性。


  • 安装文件包提示没有OBS权限怎么办?

    自动化运维需要访问凭证授权访问OBS,用来获取OBS中的文件包。请在“设置 > 访问凭证”页面检查是否已创建访问凭证,如果没有创建访问凭证,请参考访问凭证新建凭证;

    如果已创建访问凭证依然提示没有OBS权限,请参考如何对OBS进行访问权限控制,添加OBS访问权限。


  • 编排好的作业,能否在执行时再选择执行机,填入脚本参数等内容?

    在创建作业时,如需在每次执行作业时填入脚本参数,确认执行目标实例等,则需要配置全局参数,并在作业步骤中引用。

    操作步骤

    1、登录AOM 2.0控制台,在菜单栏单击“自动化运维”,进入“自动化运维”界面。

    2、在左侧导航栏中选择“作业管理”,单击右上角的“新建作业”。

    设置“添加全局参数”,创建参数类型为“字符串”的参数 param1, 创建参数类型为“主机列表”的参数param2,并保存。

    3、创建作业步骤,如创建脚本执行步骤时,可在“脚本参数”中通过 ${param1} 引用字符串参数,可在选择“目标实例”时选择“全局参数”,并通过下拉框选择 param2,保存作业步骤即可生效。

    4、作业创建完成后,可以在每次执行时填入 param1 的值,并选择执行目标实例,即确定 param2 的值。