云服务器内容精选

  • 继承批量安装(Linux环境) 您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下,并在同一个网段中。 批量安装功能依赖python3.*版本,如果安装时提示找不到python请安装python版本后重试。
  • 使用限制 Linux环境:支持安装ICAgent的Linux操作系统。 Windows环境:仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在 云日志 服务主机管理界面对ICAgent进行升级和卸载操作,只支持日志采集功能。如果需要使用新版本,请先卸载旧版本ICAgent,再安装新版本ICAgent即可。
  • NGINX仪表盘模板 当日志流标签为log_type=nginx_access或结构化配置了NGINX模板时,可使用NGINX仪表盘模板查看指标。NGINX仪表盘模板分组里有三种仪表盘模板,分别是NGINX监控中心、NGINX访问中心和NGINX秒级监控。更多内容请参考NGINX日志中心。 NGINX监控中心:该仪表盘主要展示NGINX日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 NGINX访问中心:该仪表盘主要展示NGINX日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 NGINX秒级监控:该仪表盘主要展示NGINX日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • CDN仪表盘模板 当日志流标签为log_type=cdn_access或结构化配置了CDN模板时,可使用CDN仪表盘模板查看指标。CDN仪表盘模板分组里有四种仪表盘模板,分别是CDN基础数据、CDN热门资源、CDN用户分析和CDN错误分析。更多内容请参考CDN日志中心。 CDN基础数据:该仪表盘主要展示CDN日志的缓存命中率、访问状态、访问延时分布、请求带宽、下载速度、访问次数/人数、请求命中率和访问平均延时等指标。 CDN热门资源:该仪表盘主要展示CDN日志的域名访问次数Top5、域名下载流量Top5、热门访问(URI)、热门访问(来源)、全国访问次数分布统计、全国下载网速统计、省份统计、运营商流量和速度和运营商统计等指标。 CDN用户分析:该仪表盘主要展示CDN日志的访问次数、访问客户端统计、运营商次数统计、访问人数、访问地区分布、有效访问用户TOP和下载量TOP用户等指标。 CDN错误分析:该仪表盘主要展示CDN日志的错误域名访问Top5、错误URI访问Top5、错误请求状态分布、错误按运营商统计、错误按客户端统计、错误按省份统计、4XX错误详情、5XX错误详情和错误按国家统计等指标。
  • ELB仪表盘模板 当日志流标签为log_type=elb_7layer_access或结构化配置了ELB模板时,可使用ELB仪表盘模板查看指标。ELB仪表盘模板分组里有三种仪表盘模板,分别是ELB监控中心、ELB访问中心和ELB秒级监控。更多内容请参考ELB日志中心。 ELB7层监控中心:该仪表盘支持通过负载均衡器、客户端IP、后端服务器IP或弹性IP地址过滤信息。主要展示ELB日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 ELB7层访问中心:该仪表盘支持通过负载均衡器、客户端IP、后端服务器IP或弹性IP地址过滤信息。主要展示ELB日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 ELB7层秒级监控:该仪表盘支持通过负载均衡器、客户端IP、后端服务器IP或弹性IP地址过滤信息。主要展示ELB日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • VPC仪表盘模板 当日志流标签为log_type=vpc_flow或结构化配置了VPC模板时,可使用VPC仪表盘模板查看指标。VPC仪表盘模板分组里有VPC流日志仪表盘模板。更多内容请参考VPC日志流中心。 VPC流日志:该仪表盘主要展示VPC流日志的Action总次数、ACCEPT总字节数、ACCEPT总包数、REJECT总字节数、REJECT总包数、源地址的Action次数分布、每分钟Action次数、Action分布、流日志记录状态分布、Action次数的源地址运营商分布、Top5字节数的源地址、Top5字节数的目标地址、各协议的每分钟包数和弹性网卡等指标。
  • CFW仪表盘模板 当日志流标签为log_type=cfw_flow或结构化配置了CFW_FLOW模板时,可使用CFW仪表盘模板查看指标。CFW仪表盘模板分组里有三种仪表盘模板,分别是CFW流量日志中心、CFW访问日志中心和CFW攻击日志中心。更多内容请参考CFW日志中心。 CFW流量日志中心:该仪表盘主要展示CFW日志的互联网访问流量趋势、互联网访问流入地域分布、互联网访问应用分布、互联网访问源IP TOP5、互联网访问目的IP TOP5、主动外联流量趋势、主动外联目的地域分布、主动外联-应用分布、主动外联源IP TOP5和主动外联目的IP TOP5等指标。 CFW访问日志中心:该仪表盘主要展示CFW日志的互联网访问-拦截趋势、主动外联-拦截趋势、互联网阻断应用TOP5、互联网阻断目的TOP5、互联网阻断来源TOP5、主动外联阻断应用TOP5、主动外联阻断目的TOP5和主动外联阻断来源TOP5等指标。 CFW攻击日志中心:该仪表盘主要展示CFW日志的攻击趋势、攻击来源分布、TOP5 执行命令、攻击目的TOP5和攻击来源TOP5等指标。
  • WAF仪表盘模板 当日志流标签为log_type=waf_access(访问日志中心)、log_type=waf_attack(安全日志中心)或结构化配置了WAF模板时,可使用WAF仪表盘模板查看指标。WAF仪表盘模板分组里有两种仪表盘模板,分别是WAF访问日志中心和WAF安全日志中心。更多内容请参考WAF日志中心。 WAF访问日志中心:该仪表盘主要展示WAF访问日志的访问量PV、访问量UV、流入流量、网络in带宽峰值、网络out带宽峰值、流量带宽趋势、PV/UV趋势、访问状态分布、访问来源等指标。 WAF安全日志中心:该仪表盘主要展示WAF安全日志的攻击峰值、被攻击网站、Web攻击拦截、CC攻击拦截、攻击者UV、攻击类型分布、CC攻击、Web攻击等指标。
  • APIG仪表盘模板 当日志流标签为log_type=apig_access或结构化配置了APIG模板时,可使用APIG仪表盘模板查看指标。APIG仪表盘模板分组里有三种仪表盘模板,分别是APIG监控中心、APIG访问中心和APIG秒级监控。更多内容请参考APIG日志中心。 APIG监控中心:该仪表盘支持通过请求域名或app_id过滤信息。主要展示APIG日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 APIG访问中心:该仪表盘支持通过请求域名或app_id过滤信息。主要展示APIG日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 APIG秒级监控:该仪表盘支持通过请求域名或app_id过滤信息。主要展示APIG日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • CCE仪表盘模板 CCE仪表盘模板分组里有7种仪表盘模板,分别是CCE日志节点操作、CCE日志K8s对象操作、CCE日志K8s事件查询、CCE日志K8s事件中心、CCE日志聚合检索、CCE日志账号操作审计、CCE日志审计中心。更多内容请参考CCE日志中心。 CCE日志节点操作:该仪表盘支持通过节点名称、操作用户、状态码或操作类型过滤信息。主要展示节点数趋势、非系统用户操作趋势、create操作状态码分布、delete操作状态码分布等。 CCE日志K8s对象操作:该仪表盘支持通过命名空间、操作用户、状态码等过滤信息。主要展示重要操作趋势、非系统用户操作趋势、create操作资源类型分布、delete操作资源类型分布等。 CCE日志K8s事件查询:该仪表盘支持通过事件等级、事件类型、集群ID等过滤信息。主要展示事件总数、普通事件数、重要事件分布、警告事件数等。 CCE日志K8s事件中心:该仪表盘支持通过事件等级、事件类型、集群ID等过滤信息。主要展示节点FD不足、节点磁盘空间不足、事件同步异常、事件分布等。 CCE日志聚合检索:该仪表盘支持通过命名空间、操作用户、状态码等过滤信息。主要展示用户分布趋势、命名空间分布趋势、操作类型分布趋势、状态码分布趋势等。 CCE日志账号操作审计:该仪表盘支持通过用户名、命名空间、状态码过滤信息。主要展示资源创建数、资源修改数、资源删除数、操作命名空间分布等。 CCE日志审计中心:该仪表盘支持通过命名空间、操作用户、状态码等过滤信息。主要展示总审计记录数、操作用户数、活跃节点数、异常访问次数等。
  • 创建多个接入配置的操作步骤 在接入规则页签,支持创建批量接入的任务。 支持批量创建接入,单击“批量接入”,进入配置详情页面,请参考表4。 结构化解析配置功能仅支持白名单用户使用,详细操作请参考ICAgent采集配置,有需要可提交工单申请使用,请参考提交工单。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择ServiceStage-云主机日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考创建多个接入配置的操作步骤进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击参数检查,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 采集配置 在使用ServiceStage接入完成日志接入时,采集配置的具体配置如下: 图1 采集配置 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 采集路径支持递归路径,**表示递归5层目录。 示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下: /var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,往里递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。 如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如: /var/logs/1/a.log /var/logs/2/a.log 示例2:采集路径配置为 /var/logs/service-*/a.log,日志匹配示例: /var/logs/service-1/a.log /var/logs/service-2/a.log 示例3:采集路径配置为 /var/logs/service/a*.log,日志匹配示例: /var/logs/service/a1.log /var/logs/service/a2.log 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。可以通过file -i 文件名命令,查询文件格式。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。(以下例子和截图仅供参考,请以实际日志文件为准) 例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 请注意您的敏感信息是否在收集范围内。 当主机选择“Windows主机”时,如需采集系统日志,需要在“采集配置”环节,开启“采集Windows事件日志”。 windows事件日志采集不能重复配置,即相同主机下,即使跨日志组和日志流,也只能配置一次。 LTS暂不支持采集PostgreSQL(数据库)实例的日志,目前只支持采集安装在E CS (主机)实例的日志。 日志采集路径不能重复配置,即相同主机的同一个日志采集路径不能重复配置,否则可能会导致日志采集异常。 相同主机的同一个日志采集路径,如果在 AOM 进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。 采集Windows事件日志:当选择Windows主机采集日志时,需要开启“采集Windows事件日志”,配置如下参数: 表1 采集Windows事件日志参数 名称 说明 日志类型 日志类型有系统、应用程序、安全和启动。 首次采集时间偏移量 如设置为7天,表示从采集开始时间前7天内的日志(7天前的日志被忽略),该时间仅在首次配置采集生效,确保不会重复采集。最大支持设置为7天。 事件等级 事件等级有information、warning、error、critical和verbose。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。 ServiceStage匹配规则,选择对应组件。 结构化解析配置,详细操作请参考ICAgent采集配置。 结构化解析配置功能仅支持白名单用户使用,有需要可提交工单申请使用,请参考提交工单。 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码为UTF-8。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 日志格式、日志时间具体说明如下: 表3 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。
  • 创建多个接入配置的操作步骤 在接入规则页签,支持创建批量接入的任务。 支持批量创建接入,单击“批量接入”,进入配置详情页面,请参考表5。 结构化解析配置功能仅支持白名单用户使用,详细操作请参考ICAgent采集配置,有需要可提交工单申请使用,请参考提交工单。 表5 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考创建单个接入配置的操作步骤进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击参数检查,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 采集配置 在使用CCE接入完成日志接入时,在采集配置页面的具体配置如下: 基本配置:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 数据源配置:选择数据源类型,进行对应的数据源配置。 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。 容器标准输出不能重复配置,即使跨日志组和日志流,也只能配置一次。 容器文件路径:采集集群内指定容器内的文件日志。 节点文件路径:采集集群内指定节点的文件。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 K8S事件:采集K8S集群内的事件日志。 K8S事件不能重复配置,即一个K8S集群的K8S事件,只能配置接入到一个日志流。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集容器标准输出到AOM、采集容器标准输出(stdout)和采集容器标准错误(stderr)。 采集容器标准输出到AOM:默认集群下的主机已安装了ICAgent 且采集日志到AOM,采集容器标准输出到AOM的开关处于开启状态。开启后标准输出只会采集到AOM,不会采集到LTS,建议您手动关闭该开关。 采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。 容器文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 当CCE集群的工作负载中,已配置容器的挂载路径时,此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。(以下例子和截图仅供参考,请以实际日志文件为准) 例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 节点文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。(以下例子和截图仅供参考,请以实际日志文件为准) 例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 K8S事件 无需设置参数。仅支持icagent 5.12.130及以上版本。 K8s匹配规则:当数据源类型选择容器标准输出和容器文件路径时,设置K8s匹配规则,非必选项。 填写正则匹配规则后,单击校验按钮,支持校验确保正则表达式的正确性。 表2 K8s匹配规则 参数名称 参数说明 K8s Namespace正则匹配 通过Namespace名称指定采集的容器,支持正则匹配。 说明: 采集名称符合正则规则的Namespace的日志,为空时采集所有Namespace的日志。 K8s Pod正则匹配 通过Pod名称指定待采集的容器,支持正则匹配。 说明: 采集名称符合正则规则的Pod的日志,为空时采集所有Pod的日志。 K8s容器名称正则匹配 通过容器名称指定待采集的容器(Kubernetes容器名称是定义在spec.containers中),支持正则匹配。 说明: 采集名称符合正则规则的容器的日志,为空时采集所有容器的日志。 K8s Label白名单 通过K8s Label白名单指定待采集的容器。如果您要设置K8s Label白名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则K8S Label中包含LabelKey的容器都匹配;若LabelValue不为空,则K8S Label中包含LabelKey=LabelValue的容器才匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要K8S Label满足任一白名单即可被匹配。 K8s Label黑名单 通过K8s Label黑名单排除不采集的容器。如果您要设置K8s Label黑名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则K8S Label中包含LabelKey的容器都被排除;若LabelValue不为空,则K8S Label中包含LabelKey=LabelValue的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要K8S Label满足任一黑名单即可被排除。 K8s Label日志标签 设置K8s Label日志标签后,日志服务将在日志中新增K8s Label相关字段。 说明: 设置K8s Label日志标签后,lts将在日志中新增相关字段。例如设置LabelKey为app,设置LabelValue为app_alias,当容器中包含app=lts时,将在日志中添加内容{app_alias:lts}。 容器Label白名单 通过容器Label白名单指定待采集的容器。如果您要设置容器Label白名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则容器 Label中包含LabelKey的容器都匹配;若LabelValue不为空,则容器 Label中包含LabelKey=LabelValue的容器才匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要容器 Label满足任一白名单即可被匹配。 容器Label黑名单 通过容器Label黑名单排除不采集的容器。如果您要设置容器Label黑名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则容器 Label中包含LabelKey的容器都被排除;若LabelValue不为空,则容器 Label中包含LabelKey=LabelValue的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要容器 Label满足任一黑名单即可被排除。 容器Label日志标签 设置容器Label日志标签后,日志服务将在日志中新增容器Label相关字段。 说明: 设置容器 Label日志标签后,lts将在日志中新增相关字段。例如设置LabelKey为app,设置LabelValue为app_alias,当容器中包含app=lts时,将在日志中添加的内容{app_alias:lts}。 环境变量白名单 用于指定待采集的容器。如果您要设置环境变量白名单,那么Label Key必填,Label Value可选填。 说明: 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都匹配;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才被匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要容器的环境变量满足任一键值对即可被匹配。 环境变量黑名单 用于排除不采集的容器。如果您要设置环境变量黑名单,那么Label Key必填,Label Value可选填。 说明: 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都将被排除;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要容器的环境变量满足任一键值对即可被排除。 环境变量日志标签 设置环境变量日志标签后,日志服务将在日志中新增环境变量相关字段。 说明: 设置环境变量日志标签后,lts将在日志中新增相关字段,例如设置环境变量Key为app,设置环境变量Value为app_alias,当容器中包含环境变量app=lts时,将在日志中添加的内容为{app_alias:lts}。 开启结构化解析配置,详细操作请参考ICAgent采集配置。 需要ICAgent 5.12.147及以上版本,其优点是成本更低,支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 结构化解析配置功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 开通白名单后,若已经配置了云端结构化解析,请先删除后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表3 其他配置 名称 说明 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码为UTF-8。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 日志格式、日志时间具体说明如下: 不再推荐使用以下功能,建议使用结构化解析配置。 如果您配置了ICAgent的多行全文或者多行完全正则,此处的多行日志配置会失效。 表4 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。
  • 使用限制 目前不支持ServiceStage托管场景。 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE) 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持 CCE Turbo 集群(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver" 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。