日志分析功能

多种结构化拆分和模板

日志分析需要将数据进行结构化分析,结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与日志分析。

标准SQL查询语法

LTS支持使用SQL语句(其中包括了聚合函数和数学函数)对结构化后的日志进行日志分析查询。例如,使用MIN函数计算num列中的最小值。

新版SQL查询功能是原有功能的升级版本,功能更强大。

多样式图表和Dashboard

仪表盘能够在云日志服务中实现实时日志分析,SQL语句查询分析出的日志结果可由多种图表表示,并能将多张统计图表同步保存到仪表盘中。

云日志服务提供内置的仪表盘模板,有APIG仪表盘模板、DCS仪表盘模板、DDS仪表盘模板、ELB仪表盘模板、NGINX仪表盘模板和CFW仪表盘模板。

日志实时告警

云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态从而实现日志分析。

日志分析应用场景

日志分析统计

统计日志分析

日志通常以固定的格式按条输出,将日志按照指定规则拆分成键值对,即可对日志进行统计分析

优势

  • 多种结构化解析



    支持JSON、分隔符、nginx、正则和云服务(ELB/VPC/CTS等日志)格式结构化解析

  • SQL聚合

    支持标准的SQL,查询语法丰富,学习成本低

  • 可视化图表

    提供曲线、柱状、饼图等多种图表,同时支持仪表盘全屏展示

日志分析使用限制

日志采集到搜索时延

从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)

关键词个数

关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。

操作并发数

您在1个华为云账号下支持的最大查询操作并发数为200个。

查询结果排序

默认按照秒级时间从最新开始展示。

模糊查询

在查询语句单个词长度小于255字符,星号(*)或问号(?)不能用在词的开头。long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询

操作并发数

您在1个华为云账号下日志分析并发数为15个。

数据量

日志分析单个日志流单次最大分析24GB数据。

数据生效机制

日志分析的日志结构化只对新增结构化配置之后写入的数据生效。

字段值大小

日志分析的结构化字段最大大小为16KB,超过部分不参与分析。

超时时间

日志分析操作的最大超时时间为60秒。

IP函数时效性

IP函数是可以通过日志分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。

云日志服务应用场景

日志采集与分析

主机和云服务的日志数据,不方便查阅并且会定期清空。云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行日志分析查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于实时日志分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志分析,可以输出详细的运营数据。

合理优化业务性能

网站服务(数据库、网络等)的性能和服务质量是衡量用户满意度的关键指标,通过用户的拥塞记录日志分析发现站点的性能瓶颈,以提示站点管理者改进网站缓存策略、网络传输策略等,合理优化业务性能。例如:

日志分析历史网站数据,构建业务网络基准。

及时发现业务性能瓶颈,合理扩容或流量降级。

日志分析网络流量,优化网络安全策略。

快速定位网络故障

网络质量是业务稳定的基石,将日志上报至云日志服务,确保问题发生时能及时进行日志分析、定位问题,助力您快速定位网络故障,进行网络回溯取证。例如:

快速定位问题根源的云服务器,例如带宽过度使用的云服务器。

通过日志分析,判断业务是否遭到了攻击、非法盗链和不良请求等,及时定位并解决问题。

云日志服务日志分析视频帮助

结构化配置

06:20

结构化配置

仪表盘配置

05:13

仪表盘配置

日志接入

03:36

日志接入

日志告警

03:46

日志告警