云日志服务 LTS-裸金属服务BMS文本日志接入LTS:采集配置
采集配置
在使用主机接入完成日志接入时,采集配置的具体配置如下:
- 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。
导入旧版配置:将旧版主机接入配置导入到新版日志接入中。具体操作请参见如何升级使用新版日志接入。
- 若是新安装云日志服务的场景,页面没有显示“导入旧版配置”,则表示不需要导入旧版配置,直接新建配置即可。
- 若是升级云日志服务的场景,页面显示“导入旧版配置”,若需要旧版配置里的主机日志路径,可以选择导入旧版配置,或者直接新建配置。
- 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。
- 采集路径支持递归路径,**表示递归5层目录。
示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下:
/var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log
- 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,往里递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。
- 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。
- 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。
- 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。
如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。
- 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。
如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。可以通过file -i 文件名命令,查询文件格式。
- 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。
内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。
自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。(以下例子和截图仅供参考,请以实际日志文件为准)
例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log
- 请注意您的敏感信息是否在收集范围内。
- 当主机选择“Windows主机”时,如需采集系统日志,需要在“采集配置”环节,开启“采集Windows事件日志”。
- windows事件日志采集不能重复配置,即相同主机下,即使跨日志组和日志流,也只能配置一次。
- LTS暂不支持采集PostgreSQL(数据库)实例的日志,目前只支持采集安装在ECS(主机)实例的日志。
- 日志采集路径不能重复配置,即相同主机的同一个日志采集路径不能重复配置,否则可能会导致日志采集异常。
- 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。
- 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。
- 采集路径支持递归路径,**表示递归5层目录。
- 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件,但是不能过滤该目录下文件夹里的日志文件。
目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。
- 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。
- 已经加了黑名单的日志,新建日志接入也无法采集黑名单里的日志,除非在设置采集黑名单下方删除采集路径,才能重新采集。
- 采集Windows事件日志:当选择Windows主机采集日志时,需要开启“采集Windows事件日志”,配置如下参数:
表1 采集Windows事件日志参数 名称
说明
日志类型
日志类型有系统、应用程序、安全和启动。
首次采集时间偏移量
如设置为7天,表示从采集开始时间前7天内的日志(7天前的日志被忽略),该时间仅在首次配置采集生效,确保不会重复采集。最大支持设置为7天。
事件等级
事件等级有information、warning、error、critical和verbose。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。
- 开启结构化解析配置,详细操作请参考ICAgent采集配置。
需要ICAgent 5.12.147及以上版本,其优点是成本更低,支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。
结构化解析配置功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。
开通白名单后,若已经配置了云端结构化解析,请先删除后再配置ICAgent结构化解析。
图2 ICAgent结构化解析配置
- 其他配置。
表2 其他配置 名称
说明
日志拆分
云日志服务支持对日志进行拆分。
当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。
当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。
采集二进制文件
云日志服务支持采集二进制文件。
您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。
当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。
当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。
- 日志格式、日志时间具体说明如下:
表3 日志采集信息 名称
说明
日志格式
- 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。
- 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。
日志时间
系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。
说明:- 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。
- 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。
- 采集日志时间限制:系统时间的前后24小时内。
时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。
- 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。
- 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。
说明:如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。
填写示例:
YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
分行模式
日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。
正则表达式
此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。
时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。