云日志服务 LTS-LTS新版SQL引擎(管道符搜索分析)的优势:新版SQL引擎的特点和优点
新版SQL引擎的特点和优点
特点:
搜索和SQL分析支持联动,由搜索语句和SQL分析语句组成,两者通过管道符 | 联动:搜索语句 | SQL分析语句。
例如统计日志中包含error关键词的日志有多少条,可以使用如下语句来统计。
error* | select count(*) as cnt
优点:
- 新版SQL引擎性能更好:当原始日志的数量是海量时,通过先过滤后分析的方式,计算效率高一个数量级。
例如统计日志中包含error关键词的日志有多少条,旧版引擎(SQL分析方式)是对全量数据一条条进行模糊匹配,效率很低,参考如下语法:
select count(*) as cnt where status like "%error%"
新版引擎先通过倒排索引快速过滤含有error关键字的日志,然后再统计,效率高很多,参考如下语法:
status : "error" | select count(*) as pv
使用管道符方式搜索error与索引配置中的分词符有关,只能搜索到被分词符分割后能完整保留的关键词error,更多规则请参考搜索语法介绍。
- 新版SQL引擎函数更丰富:新版SQL引擎支持300+SQL函数,旧版SQL引擎只有100+SQL函数。
- 新版SQL引擎语法更标准:新版SQL语法设计兼容SQL92标准,SQL语法更加标准,更易理解。