云服务器内容精选

  • 内置保留字段 在采集日志时, 云日志 服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中,这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时,请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 云日志服务为日志数据增加的内置保留字段当前免费。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__,否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为collectTime创建字段索引,索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为time创建字段索引,索引数据类型为long类型。该字段不支持查询。 日志时间,指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334",转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间,也支持自定义日志时间。 lineNum 整型 索引设置:开启索引后,日志服务默认为lineNum创建字段索引,索引数据类型为long类型。 行号(偏移量),用来排序日志。 非高精度日志会根据collectTime生成,默认是collectTime * 1000000 + 1,高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置:开启索引后,日志服务默认为category创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入category: xxx。 日志类型,表示该日志的来源。 例如ICAgent采集的日志该字段为LTS,某云服务例如D CS 上报的日志该字段为DCS。 clusterName 字符串 索引设置:开启索引后,日志服务默认为clusterName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterName: xxx。 集群名称,k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置:开启索引后,日志服务默认为clusterId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterId: xxx。 集群ID,k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置:开启索引后,日志服务默认为nameSpace创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入nameSpace: xxx。 命名空间,k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置:开启索引后,日志服务默认为appName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入appName: xxx。 组件名称,k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置:开启索引后,日志服务默认为serviceID创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入serviceID: xxx。 工作负载ID,k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置:开启索引后,日志服务默认为podName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podName: xxx。 POD名称,k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置:开启索引后,日志服务默认为podIp创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podIp: xxx。 pod的ip,k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置:开启索引后,日志服务默认为containerName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入containerName: xxx。 容器名称,k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日志服务默认为hostId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostId: xxx。 主机ID,ICAgent所在主机的id,该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置:开启索引后,日志服务默认为hostIP创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIP: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv4场景) 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置:开启索引后,日志服务默认为hostIPv6创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIPv6: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv6场景) 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置:开启全文索引后,会使用全文索引定义的分词符对content字段的value进行分词;不支持将content字段配置到字段索引中。 日志原文, 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。 上报日志的服务端时间,相当于LTS采集端接收到日志的时间。 __client_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__client_time__创建字段索引,索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置:开启索引后,日志服务默认为_content_parse_fail_创建字段索引,索引数据类型为string类型,分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。
  • 配置字段索引 创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。 自动配置字段索引。在索引配置页面的字段索引下方,单击“自动配置”, 云日志服务LTS 会根据近15分钟的第一条日志内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。 在索引配置页面单击“自动配置”时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 CCE接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 单个添加字段索引。在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表3。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称,例如示例日志中的level。 字段名称只支持输入英文、数字、中划线、下划线及小数点,不能以小数点开头或结尾且不能以双下线结尾。 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。 执行操作 显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、别名、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。 索引配置单击确定后,不会保存执行操作为“删除”的字段。 在字段索引下方的搜索框,支持按字段名称、执行操作、类型搜索字段。 勾选多个字段后,单击“批量配置”,支持批量配置如下操作:执行操作、类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析。 类型 日志字段值(Value)的数据类型,可选值为string、long、float、json。 long类型和float类型不支持设置大小写敏感、包含中文、分词符。 别名 支持为字段名称设置别名,合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。 设置别名后,只支持使用别名进行SQL搜索分析,不支持使用别名进行关键字搜索。 说明: 该功能仅支持华北-北京四、华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域,其他局点暂不支持该功能。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格,则原始日志被拆分为I、Know、今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值和控制字符。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志message字段内容为:I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为I、Know、今天是星期一,您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一,您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态,开启后,可以对字段值做采样统计,请参见创建快速分析。 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击,删除添加的自定义字段。 完成后,单击“确定”。
  • 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 例如以下日志示例,如果配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level:error的方式精确搜索level字段值为error的所有日志。 例如以下日志示例,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。 以下是一条典型日志示例,content字段值是日志原文,使用分隔符逗号将原始日志解析成3个字段level、status、message。 示例日志中的hostName、hostIP、pathFile是常见的内置保留字段,详细内置字段请参考内置保留字段。 { "hostName":"epstest-xx518", "hostIP":"192.168.0.31", "pathFile":"stdout.log", "content":"error,400,I Know XX", "level":"error", "status":400, "message":"I Know XX" }
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作!
  • 配置全文索引 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志流详情页面。 在“日志搜索”页面,单击快速分析旁边的进入“索引配置”页面。 图1 配置索引 在索引配置页面中,默认开启“全文索引”按钮,参考表2配置各参数信息。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关,表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志含有Know,那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志含有Know,那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为error、400、I、Know、今天是星期一,您可以通过error或今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一,您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”,查看分词预览效果。 例如示例日志内容为: error,400,I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词error,400,I Know 今天是星期一,您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号(,),则原始日志被拆分为error、400、I Know 今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如error、400、I Kn*、今天是*。 如果设置分词符为逗号(,)和空格,则原始日志被拆分为error、400、I、Know、今天是星期一5个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值和控制字符。 全文索引配置完成后,单击“确定”。 如果没有开通管道符方式,需要使用SQL 日志分析 功能,请开启“日志分析”。 图2 日志分析 “日志分析”功能即将下线,建议直接使用管道符方式进行分析,详细请参考日志搜索与分析(管道符方式-邀测)。 开通管道符方式后,新建的日志流在索引配置页面不显示“日志分析”开关。
  • 日志结构化 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置。结构化后的数据具有统一的长度和格式,能够显著提升搜索与分析的效率和准确性。 日志数据可分为结构化数据和非结构化数据。 结构化数据是指能够用数字或统一的数据模型描述的数据,具有严格的长度和格式,便于存储和分析。 非结构化数据是指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,缺乏预定义的数据模型,难以直接进行分析。 日志结构化是以日志流为单位,通过特定的提取方式,将日志流中格式固定或相似度较高的日志提取出来,同时过滤掉不相关的日志。结构化后的日志可以方便的使用SQL语法进行查询与分析。 日志结构化解析是将非结构化或半结构化的日志数据转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 云日志服务支持两种日志结构化解析方式:ICAgent结构化解析和云端结构化解析,且一个日志流只能配置一种结构化方式,例如选择ICAgent结构化解析后,不能再选择云端结构化解析,需要删除后,才能重新选择。更多信息请参考图1。 若用户在日志接入时已经配置ICAgent结构化解析,则无需再配置云端结构化解析。 ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式,更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式
  • 云日志服务地址说明 云日志服务首页,基础URL为: https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer_rightsidebar#/cts/manager/groups 表3 参数说明表 参数名称 必填 类型 描述 regionId 是 String 区域ID,登录console页面后在浏览器的地址栏中获取。 日志搜索界面,基础URL为: https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer_rightsidebar#/cts/logEventsLeftMenu/events?groupId={groupId}&topicId={topicId}&epsId={epsId}&hideHeader={hideHeader}&fastAnalysisCollapsed={fastAnalysisCollapsed}&hideDashboard={hideDashboard}&hideFeedback={hideFeedback}&isFoldLabel={isFoldLabel}&hideStreamName={hideStreamName}&showK8sFilter={showK8sFilter}&clusterId={clusterId}&hideBarChart={hideBarChart}&hideTabs={hideTabs}&condition={condition} 表4 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID,登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID,若无企业项目,值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表,如需隐藏,该参数值为true。 使用iframe内嵌场景才会生效,不使用iframe内嵌场景则不生效。 fastAnalysisCollapsed 否 Boolean false 是否收起快速分析,如需默认收起,该参数值为true。 hideDashboard 否 Boolean false 是否隐藏创建仪表盘图标,如需隐藏,该参数值为true。 hideFeedback 否 Boolean false 是否隐藏评价按钮,如需隐藏,该参数值为true。 isFoldLabel 否 Boolean true 控制日志表格中的label字段是否换行,如需换行展示,该参数值为true。 hideStreamName 否 Boolean false 是否隐藏日志流名称,如需隐藏,该参数值为true。 showK8sFilter 否 Boolean false 是否展示容器日志筛选,容器日志搜索场景下,可选择该参数为true,控制是否展示容器日志筛选条件。 clusterId 否 String 无 集群ID,showK8sFilter参数为true时,该参数必填。 hideBarChart 否 Boolean false 是否默认收起日志条数统计图,如需默认收起,该参数值为true。 hideTabs 否 Boolean false 是否隐藏“日志搜索、日志分析、实时日志”标签tabs,默认不隐藏。如需隐藏,该参数值为true。 hideShare 否 Boolean false 是否隐藏“分享”按钮,默认不隐藏。如需隐藏,该参数值为true。(当前仅华北-北京四局点支持该参数) keepOnline 否 Boolean false 是否保持登录状态。如需一直保持登录状态,不退出登录,该参数值为true。 hideDocAndAccessLog 否 Boolean false 是否隐藏日志表格无数据时的“前往查看日志接入”和“更多搜索语法”链接。如需隐藏,该参数值为true。 condition 否 String 无 日志查询条件,如name:a and age:12 and addr:xx。 非必填 单个关键词形式为key:value 多个关键词用 and 隔开 关键词中不能包含英文分号(;)、英文冒号(:) 关键词中含有其他特殊字符如(+、=、?、#、%、&)需转换为十六进 图6 参数与界面对应关系图(仅供参考) 可视化日志搜索界面,基础URL为: https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer_rightsidebar#/cts/logEventsLeftMenu/events?visualization=true&groupId={groupId}&topicId={topicId}&epsId={epsId}&sql={sql} 表5 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID,登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID,若无企业项目,值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表,如需隐藏,该参数值为true。 sql 否 String 无 SQL查询语句,如SELECT count (*)。 图7 参数与界面对应关系图(仅供参考) 仪表盘界面,基础URL为: https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer_rightsidebar#/cts/manager/dashboard?dashboardId={dashboardId}&hideDashboardList={hideDashboardList}&showCurrentdashboardGroup={showCurrentdashboardGroup}&streamId={streamId}&streamDisabled={streamDisabled}&readonly={readonly}&filter=key1:value1,value2;key2:value3,value4&autoFresh={autoFresh} 表6 参数说明表 参数名称 必填 类型 默认值 描述 示例 regionId 是 String 无 区域ID,登录console页面后在浏览器的地址栏中获取。 region=xx-xx-xx dashboardId 否 String 无 需要展示的仪表盘ID,默认值为""。 使用场景:当用户需要默认展示某仪表盘时,可添加此参数。 dashboardId=xxxxxxxx hideDashboardList 否 Boolean false 是否隐藏仪表盘选择下拉列表:默认不隐藏,true表示隐藏。 使用场景:当用户需要隐藏仪表盘下拉列表时,可通过添加该参数且值为true来实现。 hideDashboardList=true showCurrentdashboardGroup 否 Boolean false 是否只展示当前仪表盘所在分组/模板:默认值为false。 使用场景:当用户只需要展示当前仪表盘分组/模板的仪表盘时,可通过添加该参数且值为true来实现。 注意:若hideDashboardList参数值为true时,当前参数无效。 showCurrentdashboardGroup=true streamId 否 String 无 日志流ID:默认值为""。 使用场景:只适用于仪表盘模板。当用户需要默认选中某日志流时,可添加该参数。 streamId=xxxxxx streamDisabled 否 Boolean false 日志流下拉框:默认可选择,true标识不可选择 使用场景:只适用于仪表盘模板。当用户需要置灰日志流下拉框时,可添加该参数。 streamDisabled=true filter 否 String 无 过滤器参数,值为要选中的过滤器的名称及选中项。 key1、key2为过滤器名称,value1、value2为过滤器key1需要选中的值,value3、value4为过滤器key2需要选中的值。多个过滤器按照;分隔,多个选中项按照,分隔。 使用场景:当用户内嵌仪表盘界面需要默认选中某些过滤器的key、value时,可添加该参数。 filter=key1:value1,value2;key2:value3,value4 readonly 否 Boolean false 是否是只读场景,只读场景下,操作类按钮会被隐藏。例如:新建过滤器、添加/修改/删除仪表盘等。 使用场景:当用户只需要展示仪表盘,不需要操作权限时,可添加该参数。 readonly=true autoFresh 否 String 无 定时刷新时长,默认值为""。 使用场景:当用户需要指定默认定时刷新时长时,可添加此参数,当前支持的定时刷新时长参数取值为:0m,1m,5m,15m之一,对应:不定时刷新、1分钟定时刷新、5分钟定时刷新、15分钟定时刷新。 autoFresh=1m 图8 参数与界面对应关系图(仅供参考)
  • 内置保留字段 在采集日志时,云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中,这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时,请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 云日志服务为日志数据增加的内置保留字段当前免费。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__,否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为collectTime创建字段索引,索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为time创建字段索引,索引数据类型为long类型。该字段不支持查询。 日志时间,指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334",转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间,也支持自定义日志时间。 lineNum 整型 索引设置:开启索引后,日志服务默认为lineNum创建字段索引,索引数据类型为long类型。 行号(偏移量),用来排序日志。 非高精度日志会根据collectTime生成,默认是collectTime * 1000000 + 1,高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置:开启索引后,日志服务默认为category创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入category: xxx。 日志类型,表示该日志的来源。 例如ICAgent采集的日志该字段为LTS,某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置:开启索引后,日志服务默认为clusterName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterName: xxx。 集群名称,k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置:开启索引后,日志服务默认为clusterId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterId: xxx。 集群ID,k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置:开启索引后,日志服务默认为nameSpace创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入nameSpace: xxx。 命名空间,k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置:开启索引后,日志服务默认为appName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入appName: xxx。 组件名称,k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置:开启索引后,日志服务默认为serviceID创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入serviceID: xxx。 工作负载ID,k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置:开启索引后,日志服务默认为podName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podName: xxx。 POD名称,k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置:开启索引后,日志服务默认为podIp创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podIp: xxx。 pod的ip,k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置:开启索引后,日志服务默认为containerName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入containerName: xxx。 容器名称,k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日志服务默认为hostId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostId: xxx。 主机ID,ICAgent所在主机的id,该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置:开启索引后,日志服务默认为hostIP创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIP: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv4场景) 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置:开启索引后,日志服务默认为hostIPv6创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIPv6: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv6场景) 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置:开启全文索引后,会使用全文索引定义的分词符对content字段的value进行分词;不支持将content字段配置到字段索引中。 日志原文, 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。 上报日志的服务端时间,相当于LTS采集端接收到日志的时间。 __client_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__client_time__创建字段索引,索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置:开启索引后,日志服务默认为_content_parse_fail_创建字段索引,索引数据类型为string类型,分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。
  • 配置全文索引 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志流详情页面。 在“日志搜索”页面,单击快速分析旁边的进入“索引配置”页面。 图1 配置索引 在索引配置页面中,默认开启“全文索引”按钮,参考表2配置各参数信息。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关,表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志含有Know,那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志含有Know,那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为error、400、I、Know、今天是星期一,您可以通过error或今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一,您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”,查看分词预览效果。 例如示例日志内容为: error,400,I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词error,400,I Know 今天是星期一,您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号(,),则原始日志被拆分为error、400、I Know 今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如error、400、I Kn*、今天是*。 如果设置分词符为逗号(,)和空格,则原始日志被拆分为error、400、I、Know、今天是星期一5个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 完成后,单击“确定”。 如果没有开通管道符方式,需要使用SQL日志分析功能,请开启“日志分析”。 图2 日志分析 “日志分析”功能即将下线,建议直接使用管道符方式进行分析,详细请参考日志搜索与分析(管道符方式-邀测)。 开通管道符方式后,新建的日志流在索引配置页面不显示“日志分析”开关。
  • 配置字段索引 创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。 自动配置字段索引。在索引配置页面的字段索引下方,单击“自动配置”,云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。 在索引配置页面单击“自动配置”时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 CCE接入选择结构化配置时,进入索引配置页面,若没有单击“自动配置”,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 单个添加字段索引。在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表3。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称,例如示例日志中的level。 字段名称只支持输入英文、数字、中划线、下划线及小数点,不能以小数点开头或结尾且不能以双下线结尾。 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。 执行操作 显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、别名、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。 索引配置单击确定后,不会保存执行操作为“删除”的字段。 在字段索引下方的搜索框,支持按字段名称、执行操作、类型搜索字段。 勾选多个字段后,单击“批量配置”,支持批量配置如下操作:执行操作、类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析。 类型 日志字段值(Value)的数据类型,可选值为string、long、float、json。 long类型和float类型不支持设置大小写敏感、包含中文、分词符。 别名 支持为字段名称设置别名,合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。 设置别名后,只支持使用别名进行SQL搜索分析,不支持使用别名进行关键字搜索。 说明: 该功能仅支持华北-北京四、华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域,其他局点暂不支持该功能。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格,则原始日志被拆分为I、Know、今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志message字段内容为:I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为I、Know、今天是星期一,您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一,您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态,开启后,可以对字段值做采样统计,请参见创建快速分析。 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击,删除添加的自定义字段。 图3 批量配置 完成后,单击“确定”。
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作!
  • 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 例如以下日志示例,如果配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level:error的方式精确搜索level字段值为error的所有日志。 例如以下日志示例,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。 以下是一条典型日志示例,content字段值是日志原文,使用分隔符逗号将原始日志解析成3个字段level、status、message。 示例日志中的hostName、hostIP、pathFile是常见的内置保留字段,详细内置字段请参考内置保留字段。 { "hostName":"epstest-xx518", "hostIP":"192.168.0.31", "pathFile":"stdout.log", "content":"error,400,I Know XX", "level":"error", "status":400, "message":"I Know XX" }
  • 创建快速分析 快速分析以日志流为单位,请参考如下步骤创建快速分析。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 在“日志搜索”页签,单击快速分析后面的进入“索引配置”页面,在字段索引下方,单击“自动配置”,LTS自动配置字段索引,同时开启快速分析。 图1 快速分析 单击“确定”,快速分析创建完成。 字段前面显示abc表示String类型字段。 字段前面显示1.2表示float类型字段。 字段前面显示123表示long类型字段。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 支持显示当前字段的采样数量。 单击即可查看一键生成的图表展示,string类型的字段支持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。 图2 string类型字段展示图表 单击字段分布值统计或智能聚合时间折线图,会自动跳转到“日志分析”页面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见分析日志。 设置隐藏或显示字段。 该功能仅支持华北-北京四、华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域,其他局点暂不支持该功能。 在显示字段下方的目标字段后面单击即可隐藏单个字段。 在显示字段旁边,单击即可一键隐藏全部字段。 在隐藏字段下方的目标字段后面单击即可显示单个字段。 在隐藏字段旁边,单击即可一键显示全部字段。
  • 创建快速分析 快速分析以日志流为单位,请参考如下步骤进行创建。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 在“日志搜索”页签,单击快速分析旁边的进入“索引配置”页面,在索引配置页签的字段索引下方,单击“自动配置”,LTS自动配置字段索引,同时开启快速分析。 图1 创建快速分析 单击“确定”,快速分析创建完成后,支持对字段进行统计分析。例如字段的基本分布情况、各种统计指标以及TOP5取值序列图,为您提供了深入的数据洞察和可视化工具,便于理解和挖掘。 字段前面显示abc表示String类型字段。 字段前面显示1.2表示float类型字段。 字段前面显示123表示long类型字段。 字段前面显示{...}表示json类型字段。 设置隐藏或显示字段。 该功能仅支持华北-北京四、华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域,其他局点暂不支持该功能。 在显示字段下方的目标字段后面单击即可隐藏单个字段。 在显示字段旁边,单击即可一键隐藏全部字段。 在隐藏字段下方的目标字段后面单击即可显示单个字段。 在隐藏字段旁边,单击即可一键显示全部字段。 在快速分析显示字段下方,若该字段的统计数据大于或等于100条,单击 “查看更多”可以跳转至统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。 单击目标字段后面图标进入“更多指标信息”页面。该功能仅支持亚太-新加坡区域,其他局点暂不支持该功能。 数值类型的字段支持展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大值、最小值、平均值等)、数值分布直方图。 图2 数值类型展示的图形 表1 数值类型字段说明 分类 参数 说明 基本分布情况 日志总行数 当前查询页面设置时间和查询条件后统计出来的数据总行数。 当前列总行数 当前查询条件中包含该字段所在的行统计出来的总行数。 缺失值总行数 日志总行数 - 当前列总行数。 Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。 统计指标 最大值 该字段的最大值。 最小值 该字段的最小值。 平均值 该字段的平均值。 中位数 将数据正序排列后,返回位于中间位置的数据。 四分位数Q1 将数据正序排列后,返回位于25%位置的数据。 四分位数Q3 将数据正序排列后,返回位于75%位置的数据。 样本标准差 该字段的样本标准差。 总体标准差 该字段的总体标准差。 峰度 统计学概念,表示数据分布的集中程度。 偏度 统计学概念,表示数据的倾斜程度。 数值分布直方图 将数值分布划分为10个区间,统计数据直方图。 单击“更多指标信息”页面右上角的“数值分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。 字符串类型的字段展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大长度、最小长度、平均长度)、Top5取值时序图。 图3 字符串类型展示的图形 表2 字符串类型字段说明 分类 参数 说明 基本分布情况 日志总行数 当前查询页面设置时间和查询条件后统计出来的数据总行数。 当前列总行数 当前查询条件中包含该字段所在的行统计出来的总行数。 缺失值总行数 日志总行数 - 当前列总行数。 缺失值占比 缺失值总行数/日志总行数。 Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。 Distinct值占比 Distinct值总数/日志总行数。 统计指标 最大长度 该字段值所占的最大字符长度。 最小长度 该字段值所占的最小字符长度。 平均长度 该字段值的平均字符长度。 Top5取值时序图 先计算出时间范围内总数前5的取值,然后绘制这些值随时间的变化趋势。 单击“更多指标信息”页面右上角的“字段分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。 在“更多指标信息”页面,单击显示蓝色的参数值会自动跳转到“统计图表”页面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见SQL函数和使用统计图表将日志可视化。
  • 使用限制 在快速分析下方显示字段的相关限制说明,参考如下: 支持对前100000条日志进行分析。 快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。 支持通过查询时间和查询条件过滤日志进行分析。 快速分析是对通过查询语句查询到的日志进行分析,当查询到的日志数目为零时,快速分析没有结果。 支持将快速分析生成查询语句。 单击快速分析的某一行分析结果,可自动生成查询语句,查询日志并生成新的快速分析。 快速分析的字段长度最大为2000字节。 快速分析字段分布统计展示前100条数据。 在单个字段分析的“更多指标信息”页面。 字段分析的数据范围,是当前查询页面的(满足时间范围和查询条件)的全部日志。当日志数目在1亿条以下时,会进行全量分析。当日志数目超过了1亿条,会进行采样分析(采样规则是将采样后的数据控制在1亿条左右),如果要避免这种采样,建议您可以缩小时间范围或者增加搜索过滤条件。