云端结构化解析-华为云

云日志服务 LTS-结构化模板:自定义模板

自定义模板在“选择模板”下，选择“自定义模板”，选择已有的结构化模板。模板来源有以下两种方式：在配置正则分析、JSON、分隔符或Nginx方式时单击左下角的“另存为模板”，系统会弹出“另存模板”页面，输入模板名称，单击“确定”，完成自定义模板的保存，会在“自定义模板”下的模板列表看到该模板。新增结构化模板，具体操作如下：在“选择模板”下，选择“自定义模板”，单击“新增结构化模板”，在“新增结构化模板”界面选择正则分析、JSON、分隔符或Nginx方式，进行配置，配置完成后输入模板名称，单击“确定”。完成自定义模板的保存，会在“自定义模板”下的模板列表看到该模板。

云日志服务 LTS 云端结构化解析

云日志服务 LTS-自定义日志时间:示例

示例常见的时间标准、示例及对应的时间表达式如下所示。表3 示例示例时间表达式时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义

云日志服务 LTS 云端结构化解析

云日志服务 LTS-自定义日志时间:开启自定义日志时间

开启自定义日志时间在左侧导航栏中选择“日志管理”。结构化日志以日志流为单位，在“日志管理”页面选择目标日志组和日志流。单击日志流名称进入日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进入日志结构化配置页面，选择对应的日志提取方法进行配置。配置完成后，开启自定义日志时间开关，配置如下参数。表1 参数配置表参数说明示例字段key 已提取字段的名称。单击下拉框选择已提取的字段，该字段为string或long类型。 test 字段value 已提取的字段value，选择字段key后，将自动填充。 2022-07-19 12:12:00 时间格式请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作单击“校验”，提示“时间格式和字段value匹配成功”则表示校验成功。 - 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。

云日志服务 LTS 云端结构化解析

云日志服务 LTS-日志结构化配置:创建结构化配置

创建结构化配置通过对日志流添加提取规则将日志流中的原始日志按一定的规律进行提取，并将提取后的日志整合到一起，以便进行SQL查询与分析。下面详细介绍原始日志结构化的操作步骤：登录LTS控制台，在左侧导航栏中选择“日志管理”。结构化日志以日志流为单位，请在“日志管理”页面选择目标日志组和日志流。在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进入日志结构化配置页面，选择对应的日志提取方法进行配置。正则分析 JSON 分隔符 Nginx 结构化模板结构化后的日志数据可理解为数据库中的二维表，接下来就可以使用SQL语句对提取的字段进行查询与分析。开启“自动配置索引和快速分析”开关，将使用结构化字段配置字段索引，同时会打开快速分析按钮。开启该按钮后，默认将内置字段hostIP、hostName和pathFile配置为索引字段，并打开快速分析。如果结构化后的字段长度超过20k字节时，仅会保留前20k字节长度。结构化不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime、category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。开启自定义日志时间。完成后，单击“保存”。

云日志服务 LTS 云端结构化解析

云日志服务 LTS-结构化配置字段:设置tag字段

设置tag字段设置结构化配置时，可以对日志维度信息进行tag字段设置，设置完成后可以在可视化界面对设置字段进行SQL查询。在字段提取步骤中选择“tag字段”页签。单击“添加字段”。在tag字段列表中“字段名称”，输入需要设置 tag字段名称，例如hostIP。 tag字段功能上线前设置的结构化配置，在修改结构化配置进行tag字段设置时，系统tag不会带出示例字段。如需添加多个字段可单击“添加字段”，继续添加。设置完成后单击“保存”。 tag支持的系统字段包括：category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。 tag不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime。日志提取字段和tag字段可以同时设置。

云日志服务 LTS 云端结构化解析

云日志服务 LTS-结构化配置字段:设置结构化字段

设置结构化字段在进行结构化配置字段提取之后，可对结构化字段进行设置，具体设置规则如下表。表1 结构化字段设置规则日志提取方式字段名称字段类型是否可修改字段是否可删除正则分析（自动生成）用户自定义。名称必须以字母开始，且仅包含字母和数字。是是正则分析（手动输入）支持在输入正则表达式时进行命名。支持使用系统默认命名field1、field2、field3……，或对其修改后的名称。是是 JSON格式智能提取字段名称，可定义别名。是是分隔符默认名称field1、field2、field3……，可进行修改。是是 Nginx 根据Nginx配置生成，可定义别名。是是 ELB模板根据ELB资料中提供的日志字段被定义。否否 VPC模板根据VPC资料中提供的日志字段被定义。否否 CTS模板字段名称为json日志中的key。否否 APIG模板根据APIG资料中提供的日志字段被定义。否否 DCS审计日志根据DCS资料中提供的日志字段被定义。否否 TOMCAT 根据TOMCAT官网提供的字段名称进行nginx解析的名称否否 NGINX 根据NGINX资料中提供的日志字段被定义。否否 GAUSSV5审计日志根据GAUSSV5资料中提供的日志字段被定义。否否 DDS审计日志根据DDS资料中提供的日志字段被定义。否否 DDS错误日志根据DDS资料中提供的日志字段被定义。否否 DDS慢日志根据DDS资料中提供的日志字段被定义。否否 CFW访问控制日志根据CFW资料中提供的日志字段被定义。否否 CFW攻击日志根据CFW资料中提供的日志字段被定义。否否 CFW流量日志根据CFW资料中提供的日志字段被定义。否否 MYSQL错误日志根据MYSQL资料中提供的日志字段被定义。否否 MYSQL慢日志根据MYSQL资料中提供的日志字段被定义。否否 POSTGRESQL错误日志根据POSTGRESQL资料中提供的日志字段被定义。否否 SQLSERVER错误日志根据SQLSERVER资料中提供的日志字段被定义。否否 GeminiDB Redis慢日志根据GeminiDB Redis资料中提供的日志字段被定义。否否 CDN 根据CDN资料中提供的日志字段被定义。否否 SMN 根据SMN资料中提供的日志字段被定义。否否 GAUSSDB_MYSQL错误日志根据GAUSSDB_MYSQL资料中提供的日志字段被定义。否否 GAUSSDB_MYSQL慢日志根据GAUSSDB_MYSQL资料中提供的日志字段被定义。否否 ER企业路由器根据ER企业路由器资料中提供的日志字段被定义。否否 MYSQL审计日志根据MYSQL审计日志资料中提供的日志字段被定义。否否 GeminiDB Cassandra慢日志根据GeminiDB Cassandra慢日志资料中提供的日志字段被定义。否否 GeminiDB Mongo慢日志根据GeminiDB Mongo慢日志资料中提供的日志字段被定义。否否 GeminiDB Mongo错误日志根据GeminiDB Mongo错误日志资料中提供的日志字段被定义。否否 WAF访问日志根据WAF访问日志资料中提供的日志字段被定义。否否 WAF攻击日志根据WAF攻击日志资料中提供的日志字段被定义。否否 DMS重平衡日志根据DMS重平衡日志资料中提供的日志字段被定义。否否 CCE审计日志根据CCE审计日志资料中提供的日志字段被定义。否否 CCE事件日志根据CCE事件日志资料中提供的日志字段被定义。否否 GeminiDB Redis审计日志根据GeminiDB Redis审计日志资料中提供的日志字段被定义。否否自定义模板用户自定义。是是正则分析（手动输入）、JSON格式、分隔符、Nginx和自定义模板的字段名称需要满足如下要求：只支持输入英文、数字、中划线、下划线及小数点。不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。

云日志服务 LTS 云端结构化解析

云日志服务 LTS-结构化模板:自定义模板

自定义模板在“选择模板”下，选择“自定义模板”，选择已有的结构化模板。模板来源有以下两种方式：在配置正则分析、JSON、分隔符或Nginx方式时单击左下角的“另存为模板”，系统会弹出“另存模板”页面，输入模板名称，单击“确定”，完成自定义模板的保存，会在“自定义模板”下的模板列表看到该模板。新增结构化模板，具体操作如下：在“选择模板”下，选择“自定义模板”，单击“新增结构化模板”，在“新增结构化模板”界面选择正则分析、JSON、分隔符或Nginx方式，进行配置，配置完成后输入模板名称，单击“确定”。完成自定义模板的保存，会在“自定义模板”下的模板列表看到该模板。

云日志服务 LTS 云端结构化解析

云服务器内容精选

云端结构化解析

7*24

备案

专业服务

退订

建议反馈

售前咨询热线