云日志服务 LTS-创建LTS日志索引:配置字段索引

时间:2025-06-06 15:54:01

配置字段索引

创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。

  1. 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。
  2. 自动配置字段索引。在索引配置页面的字段索引下方,单击“自动配置”, 云日志服务LTS 会根据近15分钟的第一条日志内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。

    • 在索引配置页面单击“自动配置”时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。
    • 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。
    • E CS 接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。
    • CCE接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。

  3. 单个添加字段索引。在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表3

    • 字段索引的参数配置仅对该字段生效。
    • 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。
    表3 自定义字段索引配置参数

    参数

    说明

    字段名称

    日志字段名称,例如示例日志中的level。

    • 字段名称只支持输入英文、数字、中划线、下划线及小数点,不能以小数点开头或结尾且不能以双下线结尾。
    • 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段
    • 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。

    执行操作

    显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。

    • 显示新增的字段不支持修改执行操作。
    • 修改类型、别名、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。
    • 索引配置单击确定后,不会保存执行操作为“删除”的字段。
    • 在字段索引下方的搜索框,支持按字段名称、执行操作、类型搜索字段。
    • 勾选多个字段后,单击“批量配置”,支持批量配置如下操作:执行操作、类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析。

    类型

    • 日志字段值(Value)的数据类型,可选值为string、long、float、json。
    • long类型和float类型不支持设置大小写敏感、包含中文、分词符。

    别名

    支持为字段名称设置别名,合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。

    设置别名后,只支持使用别名进行SQL搜索分析,不支持使用别名进行关键字搜索。

    说明:

    该功能仅支持华北-北京四、华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域,其他局点暂不支持该功能。

    大小写敏感

    查询时是否区分英文字母的大小写。

    • 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。
    • 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOWmessage:know都能查到该日志。

    自定义分词符

    根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。

    如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。

    例如示例日志message字段内容为:I Know 今天是星期一

    • 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志
    • 如果设置分词符为空格,则原始日志被拆分为IKnow今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Knowmessage:今天是星期一

    特殊分词符

    单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值和控制字符

    包含中文

    查询时是否区分中英文。

    • 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。
      • 一元分词是指将中文字符串拆分为单个独立的中文字。
      • 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。
      • 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。
    • 关闭包含中文开关后,按照分词符的设置拆分所有内容。

    例如示例日志message字段内容为:I Know 今天是星期一

    • 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为IKnow今天是星期一,您可以通过message:Knowmessage:今天是星期一查找该日志。
    • 打开包含中文开关后,日志服务后台分词器将日志拆分为IKnow,您通过message:Knowmessage:今天等词都可以查找到该日志。

    快速分析

    默认为开启状态,开启后,可以对字段值做采样统计,请参见创建快速分析

    • 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。
    • 快速分析的字段长度最大为2000字节。
    • 快速分析字段展示前100条数据。

    操作

    单击,删除添加的自定义字段。

  4. 完成后,单击“确定”。
support.huaweicloud.com/usermanual-lts/lts_05_0008.html