云日志服务 LTS-基本概念:日志消费与加工

时间:2025-06-11 10:58:33

日志消费与加工

表5 关于日志消费与加工的术语

术语

说明

DSL加工

DSL(Domain Specific Language)加工是 云日志 服务数据加工使用的一种Python兼容的脚本语言。

更多信息请参考DSL加工概述

DSL加工语法

数据加工语法,云日志服务DSL编排的逻辑代码的集合。通过DSL加工语法,用于日志数据的规整、富化、脱敏和过滤。

更多信息请参考DSL数据加工语法

消费组

消费组是一组消费者的逻辑集合,它们共同消费一个或多个Topic的消息,但每条消息只会被组内的一个消费者处理,从而实现负载均衡。

云日志服务LTS 支持通过消费组消费数据,一个消费组只能对应一个日志流且消费这个日志流的数据。

更多信息请参考创建消费组

指标

指标(Metric) 是用于衡量系统、服务、业务或资源状态的数值数据,例如CPU 利用率、内存使用率、访问吞吐量等。指标一般以时间序列的形式存储,用于监控、分析和告警,帮助理解系统的运行状况和性能表现。

生成指标规则

生成指标规则就是通过在LTS设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到 AOM 的Prometheus实例。

更多信息请参考日志生成指标

定时SQL

使用标准的SQL语法分析源日志流的日志内容,按照调度规则周期性执行 日志分析 ,然后将分析结果存储到LTS日志流或AOMPrometheus实例或。通过SQL加工,实现日志数据的转换、聚合、可视化。

更多信息请参考使用定时SQL进行日志加工

函数加工

使用FunctionGraph服务提供的函数模板或自定义函数进行日志加工。

更多信息请参考使用FunctionGraph服务提供的函数模板进行日志加工

support.huaweicloud.com/productdesc-lts/lts-03204.html