应用平台 APPSTAGE-异常检测告警调优:调优策略

时间:2024-06-07 17:54:48

调优策略

最常见告警

长时间低(高)于阈值线告警,如图1所示。
图1 常见告警
  • 告警进入条件:一般8分钟内有7个点异常告警进入。
  • 告警退出条件:20分钟内有18个点正常则告警退出。
  • 调优方法:
    • 调节sensitivity敏感度参数,可以使小幅度下降的异常不告警,针对阈值线过紧的情况,图1的异常通过敏感度调节不了,因为阈值线相对是合理的
    • 配置count_threshold参数,如果不关注请求量很少的异常,可以配置该参数,建议非必要情况下不要配置该参数,可能会出现遗漏告警的情况。

毛刺告警

两三个显著的毛刺点异常,如图2所示。
图2 毛刺告警
  • 告警进入条件:穿过阈值线的毛刺异常程度,最快在第2个毛刺点告警。
  • 告警退出条件:20分钟内有18个点正常则告警退出。
  • 调优方法:
    • 如果对请求量很少的接口,毛刺异常不关注,可以配置low_count_threshold参数,如图2中告警的曲线请求量不超过30,可以配置改参数为30。
    • 如果不管请求量多少,都不需要毛刺类告警,则可以配置alert_by_spikes参数。毛刺类告警最快可以将告警时间缩短为2分钟,如果屏蔽掉这类告警,则按照其他的告警类型会有一定的延迟(一般7分钟)。

突变告警

突变告警只针对请求量类指标,特点是请求量曲线发生突变(突增或者突降)同时指标曲线没有触及阈值线,如图3所示。
图3 突变告警
  • 告警进入条件:局部看曲线发生突变(默认突变20%),或者长期看相比历史降低或升高。
  • 告警退出条件:数据平稳后告警退出,一般会持续18分钟。
  • 调优方法:

    通过配置alert_by_chain参数可以控制是否加入突变检测。突变告警可以防止阈值线学习宽松条件下指标突变的漏告警,但对于不关注阈值线之上数据突变的指标会产生一些不必要的告警。

波动性告警

波动性告警只针对非请求量类指标,这类告警的特点是指标曲线没有触及阈值线,如图4所示。
图4 波动性告警
  • 告警进入条件:局部看曲线波动变大,或者长期看相比历史数据持续降低或升高。
  • 告警退出条件:数据恢复到历史同期水平,持续18分钟则告警退出。
  • 调优方法:
    • 对于小幅度的波动和下降(上升)告警可以通过调节sensitivity敏感度来减少部分告警。
    • 如果不关注这类异常,可以通过配置alert_by_std参数来实现。波动性告警可以防止阈值线学习宽松条件下指标小幅波动的漏告警,但对于不关注阈值线之上数据波动的指标会产生一些不必要的告警。

长时间掉0告警

长时间掉0告警只针对请求量类指标,特点是阈值线为0,测量值长时间掉0,如图5所示。
图5 长时间掉0告警
  • 告警进入条件:历史同时期没有掉0,或者掉0时间持续28分钟。
  • 告警退出条件:数据恢复到正常水平则告警退出。
  • 调优方法:

    如果这类告警频繁出现,可以通过配置alert_by_drop_to_0参数屏蔽。长时间掉0告警可以防止阈值线为零的情况下指标长时间掉零的漏告警。

support.huaweicloud.com/usermanual-appstage/appstage_04_2119.html