云日志服务 LTS-云容器引擎CCE应用日志接入LTS:采集配置

时间：2024-05-23 10:48:52

云日志服务 LTS

采集配置

在使用CCE接入完成日志接入时，在采集配置页面的具体配置如下：

基本配置：自定义采集配置名称，长度范围为1到64个字符，只支持输入英文、数字、中文、中划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。

数据源配置：选择数据源类型，进行对应的数据源配置。

容器标准输出：采集集群内指定容器日志，仅支持Stderr和Stdout的日志。
- 被匹配上的容器的标准输出会采集到指定的日志流，原先采集到的AOM的标准输出会停止采集。
- 容器标准输出不能重复配置，即使跨日志组和日志流，也只能配置一次。
容器文件路径：采集集群内指定容器内的文件日志。
节点文件路径：采集集群内指定节点的文件。

采集路径不能重复配置，即同一个主机下的同一路径，即使跨日志组和日志流，也只能配置一次。
K8S事件：采集K8S集群内的事件日志。

K8S事件不能重复配置，即一个K8S集群的K8S事件，只能配置接入到一个日志流。

表1 采集配置参数表
类型	参数配置
容器标准输出	采集容器标准输出到AOM、采集容器标准输出（stdout）和采集容器标准错误（stderr）。采集容器标准输出到AOM：默认集群下的主机已安装了ICAgent 且采集日志到AOM，采集容器标准输出到AOM的开关处于开启状态。开启后标准输出只会采集到AOM，不会采集到LTS，建议您手动关闭该开关。采集容器标准输出（stdout）和采集容器标准错误（stderr）两者必须得有一个是开启状态。
容器文件路径	路径配置：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。说明：当CCE集群的工作负载中，已配置容器的挂载路径时，此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后，该配置才有效。采集路径不能重复配置，即同一个主机下的同一路径，即使跨日志组和日志流，也只能配置一次。添加自定义绕接规则，ICAgent目前是通过文件名规则来判断是否为绕接文件，如果您的绕接规则不符合内置类型时，可以通过单击“添加自定义绕接规则”来进行匹配，避免重复采集和绕接时的日志丢失。内置类型为{basename}{连接符}{绕接标识}.后缀，{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号，后缀为字母。自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。（以下例子和截图仅供参考，请以实际日志文件为准）例如您的日志文件名称为/opt/test.out.log，绕接后的文件名为test.2024-01-01.0.out.log，test.2024-01-01.1.out.log，因此在路径配置时，采集路径为/opt/*.log，绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。
节点文件路径	路径配置：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。说明：采集路径不能重复配置，即同一个主机下的同一路径，即使跨日志组和日志流，也只能配置一次。添加自定义绕接规则，ICAgent目前是通过文件名规则来判断是否为绕接文件，如果您的绕接规则不符合内置类型时，可以通过单击“添加自定义绕接规则”来进行匹配，避免重复采集和绕接时的日志丢失。内置类型为{basename}{连接符}{绕接标识}.后缀，{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号，后缀为字母。自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。（以下例子和截图仅供参考，请以实际日志文件为准）例如您的日志文件名称为/opt/test.out.log，绕接后的文件名为test.2024-01-01.0.out.log，test.2024-01-01.1.out.log，因此在路径配置时，采集路径为/opt/*.log，绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。
K8S事件	无需设置参数。仅支持icagent 5.12.130及以上版本。

K8s匹配规则：当数据源类型选择容器标准输出和容器文件路径时，设置K8s匹配规则，非必选项。

填写正则匹配规则后，单击校验按钮，支持校验确保正则表达式的正确性。

表2 K8s匹配规则
参数名称	参数说明
K8s Namespace正则匹配	通过Namespace名称指定采集的容器，支持正则匹配。说明：采集名称符合正则规则的Namespace的日志，为空时采集所有Namespace的日志。
K8s Pod正则匹配	通过Pod名称指定待采集的容器，支持正则匹配。说明：采集名称符合正则规则的Pod的日志，为空时采集所有Pod的日志。
K8s容器名称正则匹配	通过容器名称指定待采集的容器（Kubernetes容器名称是定义在spec.containers中），支持正则匹配。说明：采集名称符合正则规则的容器的日志，为空时采集所有容器的日志。
K8s Label白名单	通过K8s Label白名单指定待采集的容器。如果您要设置K8s Label白名单，那么LabelKey必填，LabelValue可选填。说明：若LabelValue为空，则K8S Label中包含LabelKey的容器都匹配；若LabelValue不为空，则K8S Label中包含LabelKey=LabelValue的容器才匹配；LabelKey需要全匹配，LabelValue支持正则匹配；多个白名单之间为或关系，即只要K8S Label满足任一白名单即可被匹配。
K8s Label黑名单	通过K8s Label黑名单排除不采集的容器。如果您要设置K8s Label黑名单，那么LabelKey必填，LabelValue可选填。说明：若LabelValue为空，则K8S Label中包含LabelKey的容器都被排除；若LabelValue不为空，则K8S Label中包含LabelKey=LabelValue的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配；多个黑名单之间为或关系，即只要K8S Label满足任一黑名单即可被排除。
K8s Label日志标签	设置K8s Label日志标签后，日志服务将在日志中新增K8s Label相关字段。说明：设置K8s Label日志标签后，lts将在日志中新增相关字段。例如设置LabelKey为app，设置LabelValue为app_alias，当容器中包含app=lts时，将在日志中添加内容{app_alias：lts}。
容器Label白名单	通过容器Label白名单指定待采集的容器。如果您要设置容器Label白名单，那么LabelKey必填，LabelValue可选填。说明：若LabelValue为空，则容器 Label中包含LabelKey的容器都匹配；若LabelValue不为空，则容器 Label中包含LabelKey=LabelValue的容器才匹配；LabelKey需要全匹配，LabelValue支持正则匹配；多个白名单之间为或关系，即只要容器 Label满足任一白名单即可被匹配。
容器Label黑名单	通过容器Label黑名单排除不采集的容器。如果您要设置容器Label黑名单，那么LabelKey必填，LabelValue可选填。说明：若LabelValue为空，则容器 Label中包含LabelKey的容器都被排除；若LabelValue不为空，则容器 Label中包含LabelKey=LabelValue的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配；多个黑名单之间为或关系，即只要容器 Label满足任一黑名单即可被排除。
容器Label日志标签	设置容器Label日志标签后，日志服务将在日志中新增容器Label相关字段。说明：设置容器 Label日志标签后，lts将在日志中新增相关字段。例如设置LabelKey为app，设置LabelValue为app_alias，当容器中包含app=lts时，将在日志中添加的内容{app_alias：lts}。
环境变量白名单	用于指定待采集的容器。如果您要设置环境变量白名单，那么Label Key必填，Label Value可选填。说明：如果环境变量Value为空，则容器环境变量中包含环境变量Key的容器都匹配；如果环境变量Value不为空，则容器环境变量中包含环境变量Key=环境变量Value的容器才被匹配；LabelKey需要全匹配，LabelValue支持正则匹配；多个白名单之间为或关系，即只要容器的环境变量满足任一键值对即可被匹配。
环境变量黑名单	用于排除不采集的容器。如果您要设置环境变量黑名单，那么Label Key必填，Label Value可选填。说明：如果环境变量Value为空，则容器环境变量中包含环境变量Key的容器都将被排除；如果环境变量Value不为空，则容器环境变量中包含环境变量Key=环境变量Value的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配；多个黑名单之间为或关系，即只要容器的环境变量满足任一键值对即可被排除。
环境变量日志标签	设置环境变量日志标签后，日志服务将在日志中新增环境变量相关字段。说明：设置环境变量日志标签后，lts将在日志中新增相关字段，例如设置环境变量Key为app，设置环境变量Value为app_alias，当容器中包含环境变量app=lts时，将在日志中添加的内容为{app_alias：lts}。

开启结构化解析配置，详细操作请参考ICAgent采集配置。
需要ICAgent 5.12.147及以上版本，其优点是成本更低，支持组合解析，一个日志流的每个采集配置可以配置不同的结构化解析规则。

结构化解析配置功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。

开通白名单后，若已经配置了云端结构化解析，请先删除后再配置ICAgent结构化解析。

图3 ICAgent结构化解析配置

其他配置。

表3 其他配置
名称	说明
最大目录深度	最大目录深度为5层。该配置控制日志采集的最大目录深度，ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时，建议配置合适的最大目录深度，避免ICAgent性能浪费。
日志拆分	云日志服务支持对日志进行拆分。当日志大小超过500KB时，开启日志拆分按钮，则单行日志会被拆分为多行采集。例如：日志大小为600KB，被拆分为2行日志采集，第一行500KB，第二行100KB。当日志大小超过500KB时，未开启日志拆分按钮，则单条日志大小限制不超过500KB，超过限制部分会被截断丢弃。
采集二进制文件	云日志服务支持采集二进制文件。您可以通过命令（file -i 文件名）查看文件类型，如果包含charset=binary，那么该日志文件就是二进制文件。当日志的文件类型为二进制时，开启采集二进制文件按钮，则对接入的二进制文件日志进行采集，但仅支持UTF8编码的字符串，非UFT8编码的字符在LTS控制台页面会显示乱码。当日志的文件类型为二进制时，未开启采集二进制文件按钮，则对接入的二进制文件日志停止采集，开启后即可进行采集。
日志文件编码	日志文件编码为UTF-8。
采集策略	采集策略支持增量或全量。增量采集：ICAgent采集新文件时，从文件的末尾开始读。全量采集：ICAgent采集新文件时，从文件的开头开始读。

日志格式、日志时间具体说明如下：

不再推荐使用以下功能，建议使用结构化解析配置。

如果您配置了ICAgent的多行全文或者多行完全正则，此处的多行日志配置会失效。

表4 日志采集信息
名称	说明
日志格式	单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。多行日志：采集的日志中包含像java异常的日志，如果您希望多行异常的日志显示为一条日志，正常的日志则每一行都显示为一条单独的日志数据，则选择多行日志，方便您查看日志并且定位问题。
日志时间	系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。说明：日志采集时间：ICAgent采集日志，并且发送到云日志服务的时间。日志打印时间：系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。采集日志时间限制：系统时间的前后24小时内。
日志时间	时间通配符：用日志打印时间来标识一条日志数据，通过时间通配符来匹配日志，每条日志的行首显示日志的打印时间。如果日志中的时间格式为：2019-01-01 23:59:59.011，时间通配符应该填写为：YYYY-MM-DD hh:mm:ss.SSS。如果日志中的时间格式为：19-1-1 23:59:59.011，时间通配符应该填写为：YY-M-D hh:mm:ss.SSS。说明：如果日志中不存在年份信息，则云日志会自动补齐年份数据为当前年份数据。填写示例： YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond（999） hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
分行模式	日志格式选择多行日志时，需要选择分行模式，分行模式选择“日志时间”时，是以时间通配符来划分多行日志；当选择“正则模式”时，则以正则表达式划分多行日志。
正则表达式	此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。