云服务器内容精选

  • 配置参数说明 表2 基础参数 字段 类型 是否必选 说明 示例 logGroup string 否 日志组,日志组名称长度取值范围[1,64],默认为集群的默认日志组。 如果您要自定义日志组,请确保该日志组未被使用。 如果配置的日志组不存在,会自动创建该日志组。 k8s-log-{clusterId} ttlInDays int 否 日志保留时间。 当配置的logGroup不存在,则会以ttlInDays指定的保存时间创建logGroup,取值范围[1,30],默认为7天。 当配置的logGroup存在,则ttlInDays不生效。 7 logStream string 是 日志流,日志流名称长度取值范围[1,64]。如果配置的日志流不存在,会自动创建该日志流。 k8s-log-stream hostGroup string 否 主机组,默认为集群的默认主机组。如果您要自定义主机组,请首先在LTS的“主机管理-主机组”页面创建该主机组。 k8s-hostgroup-{clusterId} inputDetail object 是 日志采集配置详细定义,具体字段请参考表3 inputDetail配置。 apiVersion: lts.com/v1kind: LtsConfigmetadata: name: lts-crd-stdout-allspec: logStream: logstream-1 inputDetail: type: container_stdout containerStdout: allContainers: true logDetail object 否 结构化配置详细定义,具体字段请参考表5。 - 表3 inputDetail配置 字段 类型 是否必选 说明 示例 type string 是 指定采集日志的类型,取值范围: container_stdout:容器标准输出 container_file:容器的日志文件 container_file logType string 否 指定日志格式,取值范围: single_line_log:单行日志 multi_line_log:多行日志 默认为单行日志。 single_line_log logTime string 否 logType为single_line_log时,配置日志时间格式,取值范围: systemTime:系统时间 timeWildcard:时间通配符 默认为systemTime。 systemTime timeWildcard string 否 logType为single_line_log并且logTime为timeWildcard时必选,指定时间通配符的格式。 YYYY-MM-DD hh:mm:ss.SSS beginningType string 否 logType为multi_line_log时,配置日志的分行模式,取值范围: byLogTime:根据日志时间分行 byRegular:根据正则表达式分行 默认byLogTime。 byLogTime beginningPattern string 否 logType为multi_line_log时必选,配置日志分行的关键字。 beginningType为byLogTime:YYYY-MM-DD hh:mm:ss.SSS beginningType为byRegular:\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3}\s.+ namespace string 是 配置生效的namespace。 说明: 如果指定了workloads或者workload,并且workload中指定了namespace,那么以workload中的namespace为准。 inputDetail: type: container_stdout containerStdout: allContainers: false namespace: ingress allContainers bool 否 type是container_stdout时,如果要对所有容器生效,则设置为true。 说明: 1. 请保证只有一个配置指定了allContainers: true。 2. 如果多个配置中都配置了allContainers: true,那么最终只有其中一个生效。 3. allContainer是跨namespace的,即:如果配置了allContainers: true,那么本配置中的namespace不生效。 inputDetail: type: container_stdout containerStdout: allContainers: true includeLabels object 否 通过docker容器的Label进行过滤。 inputDetail: type: container_file containerFile: logPath: /data/nginx/log/*.log container: nginx namespace: ingress includeLabels: label_key_1: label_value_1 label_key_2: label_value_2 container string 否 指定docker容器的名称。 nginx workloads array 否 type是container_stdout时,可以通过workloads指定多个工作负载。 inputDetail: type: container_stdout containerStdout: allContainers: false workloads: - namespace: ingress name: ingress-gateway kind: deployment workload object 否 type是container_file时,可以用workload指定一个工作负载。 inputDetail: type: container_file containerFile: logPath: /data/nginx/log/*.log container: nginx namespace: ingress workload: name: ingress-gateway kind: deployment logPath string 否 type是container_file时必选,配置要采集的容器内部的日志文件路径(可以为目录、文件绝对路径、或者模糊匹配),路径长度范围[2, 128]。 1. /var/logs/,采集本目录下后缀为*.log, *.trace, *.out的文件; 2. /var/logs/test.log,只采集该文件; 3. /var/logs/*/a.log,采集/var/logs/目录的下一级目录中的a.log文件 4. /var/logs/service/a*.log,采集/var/logs/service/目录下以字母’a’开头,以’.log’结尾的文件 5. /var/logs/**/a.log,**表示递归5层目录 blackListPath array 否 配置黑名单,每个路径长度范围[2, 128]。 [/var/logs/*/a.log],具体路径规则请参考logPath中示例。 表4 workload配置 字段 类型 是否必选 说明 kind string 是 工作负载的类型 deployment daemonset statefulset job cronjob name string 是 工作负载的名称 namespace string 否 工作负载的namespace container string 否 容器的名称 表5 logDetail配置 字段 类型 是否必选 说明 示例 logType string 是 结构化类型,取值范围: custom_regex:正则分析 json:JSON delimiter:分隔符 logType: json extractRule: simpleLog: '{"json":"test100"}' simpleFields: - fieldName: json type: string userDefinedName: j111 tagFields: - fieldName: hostName type: string extractRule object 否 结构化的详细规则,具体字段请参考表6。 表6 extractRule配置 字段 类型 是否必选 说明 simpleLog string 是 结构化示例日志。示例:"2021-09-09/18:15:41 this log is Error NO 6323" regexRules string 否 正则表达式,当logType=custom_regex时必选,取值范围:[1,5000] tokenizer string 否 分隔符,当logType=delimiter时必选 simpleFields array 否 结构化示例字段列表,配置logDetail时必选,数组长度范围:[1,200] tagFields array 否 结构化tag字段列表,数组长度范围:[1,200] 表7 simpleFields配置 字段 类型 是否必选 说明 fieldName string 是 字段名称,长度范围:[1,50] type string 是 字段的数据类型,取值范围: string long float userDefinedName string 否 logType=json时的自定义名称,长度范围:[1,64] isAnalysis bool 否 是否开启快速分析 表8 tagFields配置 字段 类型 是否必选 说明 fieldName string 是 字段名称,长度范围:[1,50] type string 是 字段的数据类型,取值范围: string long float simpleLog string 否 示例字段,长度范围:[1,64] isAnalysis bool 否 是否开启快速分析
  • 使用步骤 创建ltsconfig采集配置。 定义CRD文件即创建ltsconfig采集配置。 CRD配置格式如下所示,具体设置请参考配置参数说明。 apiVersion: v1apiVersion: lts.com/v1kind: LtsConfigmetadata: ## LtsConfig资源名,在集群内唯一 name: xxx-xxxspec: ## 日志组,可选,不填的话用集群对应的日志组 logGroup: xxx ## 日志保留时间,如果配置的logGroup不存在,会以ttlInDays指定的保存时间创建logGroup,取值范围[1,30],默认7天 ttlInDays: xx ## 日志流必填,不存在的话在LTS中创建 logStream: xxx ## 主机组,可选,不填的话用集群对应的默认主机组 hostGroup: xxx ## 定义采集日志源,即日志从哪里被采集 inputDetail: ## 容器标准输出 - 示例1:采集default命名空间中的所有容器的标准输出 ...... 创建完成后,执行如下命令启用该ltsconfig采集配置。 [root@test117-7cents crd]# kubectl apply -f stdout-all.yaml 查看ltsconfig采集配置。 使用kubectl get ltsconfig,查看当前所有的Logtail采集配置 [root@test117-7cents crd]# kubectl get ltsconfig NAME AGElts-crd-stdout-all 73stest 13m 执行kubectl get ltsconfig lts-crd-stdout-all -o yaml,查看Logtail采集配置的详细信息和状态。 [root@test117-7cents crd]# kubectl get ltsconfig lts-crd-stdout-all -o yamlapiVersion: lts.com/v1kind: LtsConfigmetadata: annotations: kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"lts.com/v1","kind":"LtsConfig","metadata":{"annotations":{},"name":"lts-crd-stdout-all","namespace":"default"},"spec":{"inputDetail":{"containerStdout":{"allContainers":true},"type":"container_stdout"},"logStream":"logstream-1"}} creationTimestamp: "2021-11-18T06:49:29Z" generation: 1 name: lts-crd-stdout-all resourceVersion: "96627192" selfLink: /apis/lts.com/v1/namespaces/default/ltsconfigs/lts-crd-stdout-all uid: de510f9d-71fd-4379-ae3e-67900df80456spec: inputDetail: containerStdout: allContainers: true type: container_stdout logStream: logstream-1status: Status: '{"log_group_id":"","log_stream_id":"","host_group_id":"","access_config_id":"","structure_config_id":""}' 删除ltsconfig采集配置。 kubectl delete ltsconfig {name} 如果要删除对应的ltsconfig采集配置,只需删除对应的CRD文件即可。
  • 使用前配置 请确保已在Kubernetes集群中执行安装Helm v3的命令。 登录到可以执行helm命令的节点,执行如下命令安装lts-controller: curl http://lts-crd-${regionId}.obs.${regionId}.myhuaweicloud.com/lts-crd/lts-controller-install.sh > lts-controller-install.sh; sh lts-controller-install.sh {projectId} {clusterId} {regionId} {accessKeyId} {accessKeySecret} {lbAddress} 表1 参数参考列表 参数 说明 projectId 项目ID clusterId 标识本集群的Id regionId 使用LTS服务的regionId(如cn-north-7) accessKeyId 华为云用户的ak,用于调用LTS的接口时进行认证 accessKeySecret 华为云用户的sk,用于调用LTS的接口时进行认证 lbAddress ICAgent上报数据的地址,非华为云主机的话为跳板机方式 在安装lts-controller的过程中,系统自动完成以下操作: 部署工作负载lts-crd-controller 以DaemonSet方式部署采集器ICAgent 创建自定义资源类型ltsconfig(CRD,Custom Resource Definition)
  • 查看日志接入 在云日志服务管理控制台,单击“日志接入”,或在完成主机接入成功后单击“返回接入配置列表”,进入日志接入页面。 在接入配置列表中显示已配置完成的接入配置,单击接入配置名称可进入详情页面,查看该接入配置详细信息。 单击所属日志组或所属日志流,可以进入对应日志组列表或日志流页面查看详细。 修改日志接入:单击需修改接入配置所在行操作列的,参考日志接入的操作步骤进行修改。 删除日志接入:单击需删除接入配置所在行操作列的,或者勾选需删除的接入配置,单击页面左上方“批量删除”,可以对多个配置进行批量删除。
  • 采集配置 在使用主机接入完成日志接入时,在第3步采集配置的具体配置如下: 图1 采集配置 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 导入旧版配置:采集配置名称输入框后的“导入旧版配置”可以将旧版主机接入配置导入到新版日志接入中。 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 采集路径支持递归路径,**表示递归5层目录。 示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下: /var/logs/1/a.log /var/logs/1/2/a.log/var/logs/1/2/3/a.log/var/logs/1/2/3/4/a.log/var/logs/1/2/3/4/5/a.log 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,往里递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。 如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如: /var/logs/1/a.log /var/logs/2/a.log 示例2:采集路径配置为 /var/logs/service-*/a.log,日志匹配示例: /var/logs/service-1/a.log /var/logs/service-2/a.log 示例3:采集路径配置为 /var/logs/service/a*.log,日志匹配示例: /var/logs/service/a1.log /var/logs/service/a2.log 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。可以通过file -i 文件名命令,查询文件格式。 请注意您的敏感信息是否在收集范围内。 当主机选择“Windows主机”时,如需采集系统日志,需要在“采集配置”环节,开启“采集Windows事件日志”。 windows事件日志采集不能重复配置,即相同主机下,即使跨日志组和日志流,也只能配置一次。 LTS暂不支持采集PostgreSQL(数据库)实例的日志,目前只支持采集安装在ECS(主机)实例的日志。 日志采集路径不能重复配置,即相同主机的同一个日志采集路径不能重复配置,否则可能会导致日志采集异常。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。 采集Windows事件日志:当选择Windows主机采集日志时,需要开启“采集Windows事件日志”,并且可以设置“日志类型”、“首次采集时间偏移量”、“事件等级”来过滤采集您所需要的日志内容。 日志格式、日志时间具体说明如下: 表1 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss。 如果日志中的时间格式为:19-1-1 23:59:59,时间通配符应该填写为:YY-M-D hh:mm:ss。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) hpm - hours (03PM)h:mmpm - hours:minutes (03:04PM)h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。
  • 操作步骤 按照如下操作完成接入配置。 选择日志流 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步:选择主机组”。 选择主机组 在主机组列表中选择一个或多个需要采集日志的主机组,若没有所需的主机组,单击列表左上方“新建”,在弹出的新建主机组页面创建新的主机组,具体可参考创建主机组(IP地址)。 主机组可以为空,可以在接入配置设置完成后对主机组进行设置。 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。 在接入配置详情中对主机组和接入配置进行关联。 单击“下一步:采集配置”。 采集配置 对主机日志采集设置具体的采集规则,具体可参考采集配置。 设置完成后单击“提交”。 完成 接入成功,可以单击“返回接入配置列表”查看日志接入,也可单击“查看日志流”查看该日志流下的采集日志。
  • 概述 云日志服务提供实时日志采集功能,支持云服务、API/SDK接入等多种日志采集方式,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询。 云服务接入:云日志服务支持多个云服务日志接入,您可以选择不同云服务查看相应的日志接入方式。 自建软件接入:将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志至云日志服务。 API/SDK接入:云日志服务API/SDK/提供了一系列上报日志方法,您可以查看使用API/SDK/将日志接入云日志服务的方式。 其他:即跨账号接入。通过创建委托,将委托账号的日志流映射到被委托方账号,即就是将委托账号的日志流映射到当前云日志服务账号的日志流下。 单击名称,可以跳转到接入日志配置页面。例如:单击“云主机 ECS - 文本日志”会跳转到主机接入配置页面。 单击名称对应的,可以跳转到对应的资料页面。
  • 操作步骤 日志服务接入方式选择跨账号接入时,按照如下操作完成接入配置。 选择委托 配置相关参数,请参见表1,完成后,单击“下一步:日志流映射”。 表1 委托参数配置 参数 说明 委托名称 填写委托人在IAM中创建的委托名称。委托人帐号可通过创建委托将资源管理权限委托给其他帐号。 委托人账号名称 填写委托人帐号名称,以验证委托关系。 日志流映射 在日志流映射页面,配置接入规则,有两种方式:自动配置和手动配置。 自动配置 在日志流映射页面,单击“自动配置”。 在弹出的自动配置页面中,配置相关参数信息,完成后,单击“确定”。 表2 自动配置接入规则 参数 说明 规则名称前缀 填写规则名称前缀,自动配置将使用您配置的规则名称前缀,产生多条接入规则。 只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。可不填写,默认规则名称前缀为rule。 从委托账号中选择您希望接入的日志组/日志流 选择希望接入的日志组/日志流,最多支持选择20条。 通过自动配置的接入规则,被委托方中的目标日志组、目标日志流名称默认同委托方中源日志组、源日志流名称保持一致,也支持手动修改。 单击“预览”,查看预览结果。 预览结果有两种: 将创建新的目标日志流:被委托方中新建的目标日志组/日志流。 接入已存在的目标日志流:被委托方中已存在的目标日志组/日志流。 预览报错情况如下: 源日志流xxx,已配置为目标日志流 目标日志流xxx,已配置为源日志流 目标日志流xxx,已存在于其它日志组 目标日志流xxx,存在于不同目标日志组 规则名称重复 源日志流xxx,已存在映射关系 日志组/日志流超过最大创建条数 当提示以上报错时,须删除日志流对应的接入规则。 预览完成后,单击“提交”。 手动配置 在日志流映射页面,单击“添加规则”。 表3 参数 说明 规则名称 默认为rule_xxx,也可根据您的需要进行自主命名。 只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 委托方 源日志组 委托方的日志组,在原有的日志组中进行选择。 源日志流 委托方的日志流,在原有的日志流中进行选择。 被委托方 目标日志组 被委托方的日志组,可在原有的日志组中进行选择或直接输入名称进行新建日志组。 目标日志流 被委托方的日志流,可在原有的日志流中进行选择或直接输入名称进行新建日志流。 单击“预览”,查看预览结果。 预览结果有两种: 将创建新的目标日志流:被委托方中新建的目标日志组/日志流。 接入已存在的目标日志流:被委托方中已存在的目标日志组/日志流。 预览报错情况有五种: 源日志流xxx,已配置为目标日志流 目标日志流xxx,已配置为源日志流 目标日志流xxx,已存在于其它日志组 目标日志流xxx,存在于不同目标日志组 规则名称重复 源日志流xxx,已存在映射关系 日志组/日志流超过最大创建条数 当提示以上报错时,须删除日志流对应的接入规则。 预览完成后,单击“提交”,等待创建日志接入成功。 完成 当接入多个日志流时,单击“返回接入配置列表”可查看日志接入列表。 当接入单个日志流时,单击“返回接入配置列表”可查看日志接入列表;单击“查看日志流”可查看已接入的日志详情。 配置完成后,数据将会在1小时内完成同步,请您耐心等待。
  • 操作步骤 在云日志服务管理控制台,单击日志组名称,进入日志组页面。 在日志组页面,单击日志流名称,进入日志流页面。 在左侧导航栏单击“日志接入 > 主机接入”。 图1 采集配置 在“添加主机”步骤,选择“Linux主机”或“Windows主机”,然后勾选您需要收集日志的主机名,单击“下一步”。 在“配置采集路径”步骤,添加您需要收集日志路径,LTS按照配置的路径进行日志采集。当选择Windows主机采集日志时,需要开启“采集Windows事件日志”,并且可以设置“日志类型”、“首次采集时间偏移量”、“事件等级”来过滤采集您所需要的日志内容。 采集路径支持递归路径,**表示递归5层目录。 示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下: /var/logs/1/a.log /var/logs/1/2/a.log/var/logs/1/2/3/a.log/var/logs/1/2/3/4/a.log/var/logs/1/2/3/4/5/a.log 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,往里递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。 如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如: /var/logs/1/a.log /var/logs/2/a.log 示例2:采集路径配置为 /var/logs/service-*/a.log,日志匹配示例: /var/logs/service-1/a.log /var/logs/service-2/a.log 示例3:采集路径配置为 /var/logs/service/a*.log,日志匹配示例: /var/logs/service/a1.log /var/logs/service/a2.log 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。 请注意您的敏感信息是否在收集范围内。 当主机选择“Windows主机”时,如需采集系统日志,需要在“配置采集路径”环节,开启“采集Windows事件日志”。 windows事件日志采集不能重复配置,即相同主机下,即使跨日志组和日志流,也只能配置一次。 LTS暂不支持采集PostgreSQL(数据库)实例的日志,目前只支持采集安装在ECS(主机)实例的日志。 日志采集路径不能重复配置,即相同主机的同一个日志采集路径不能重复配置,否则可能会导致日志采集异常。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置的文件的最后修改时间和当前时间差如果已超过12小时,则不会采集。 单击“下一步”,进入“配置采集信息”步骤。 表1 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:Agent采集日志,并且发送到云日志服务的时间;日志打印时间:系统产生并打印日志的时间。 Agent采集日志并发送日志到云日志平台的频率为1秒钟。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss。 如果日志中的时间格式为:19-1-1 23:59:59,时间通配符应该填写为:YY-M-D hh:mm:ss。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) hpm - hours (03PM)h:mmpm - hours:minutes (03:04PM)h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。 单击“确认”,完成日志采集规则配置。此时,云日志服务将按照设定的采集规则进行日志采集。 日志成功采集后,如果您的日志采集路径等发生变化,还可以修改日志采集配置。
  • 状态码 状态码 描述 200 请求响应成功, 成功删除接入配置。 400 BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 401 AuthFailed。鉴权失败, 请确认token后再次请求 。 403 Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503 ServiceUnavailable。 被请求的服务无效, 服务不可用。
  • 响应示例 状态码为 400 时: BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 { "errorCode": "LTS.0014", "errorMessage": "Operation DB failed"} 状态码为 401 时: AuthFailed。鉴权失败, 请确认token后再次请求 。 { "error_code" : "LTS.0414", "error_msg" : "Invalid token" } 状态码为 403 时: Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 {"error_code": "LTS.0003","error_msg": "parse_token_failed"} 状态码为 500 时: InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.0102", "error_msg" : "ServiceUnavailable." }
  • 响应参数 状态码为 200 时: 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array of strings - 状态码为 400 时: 表5 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0744 LTS.0014 LTS.0745 details String 调用失败响应信息描述。 枚举值: AOM mapping rule param validate error Operation DB failed AOM mapping rule id is invalid 状态码为 401 时: 表6 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0001 details String 调用失败响应信息描述。 枚举值: project verify error 状态码为 403 时: 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId 状态码为 500 时: 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId
  • URI DELETE /v2/{project_id}/lts/aom-mapping?id={id} 表1 地址参数 名称 是否必选 参数类型 说明 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 表2 Query参数 名称 是否必选 参数类型 说明 id 是 String 接入规则ID。 缺省值:None 最小长度:36 最大长度:36
  • 状态码 状态码 描述 201 请求响应成功, 成功创建接入配置。 400 BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 401 AuthFailed。鉴权失败, 请确认token后再次请求 。 403 Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503 ServiceUnavailable。 被请求的服务无效, 服务不可用。
  • 响应示例 状态码为 201 时: [ { "project_id": "", "rule_id": "", "rule_info": { "cluster_id": "", "cluster_name": "", "container_name": "", "deployments_prefix":"deployments_prefix", "deployments": [ "" ], "files": [ { "file_name": "", "log_stream_info": { "target_log_group_id": "", "target_log_group_name": "", "target_log_stream_id": "", "target_log_stream_name": "" } } ], "namespace": "" }, "rule_name": "" }] 状态码为 400 时: BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 { "errorCode": "LTS.0014", "errorMessage": "Operation DB failed"} 状态码为 401 时: AuthFailed。鉴权失败, 请确认token后再次请求 。 { "error_code" : "LTS.0414", "error_msg" : "Invalid token" } 状态码为 403 时: Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 {"error_code": "LTS.0003","error_msg": "parse_token_failed"} 状态码为 500 时: InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.0102", "error_msg" : "ServiceUnavailable." }
  • 请求示例 POST https://{endpoint}/v2/{project_id}/lts/aom-mapping?isBatch={is_batch}/v2/{project_id}/lts/aom-mapping?isBatch=false{ "rule_name": "abcde", "project_id": "2a473356cca5487f8373be891bffc1cf", "rule_info": { "cluster_id": "4fae3587-0202-11eb-9ba9-0255ac100b02", "cluster_name": "testdiskrate", "deployments_prefix":"deployments_prefix", "deployments": [ "__ALL_DEPLOYMENTS__" ], "namespace": "default", "container_name": "container-0", "files": [ { "file_name": "__ALL_FILES__", "log_stream_info": { "target_log_group_id": "8c9dcda6-d048-43a7-989b-c76c34b0ac85", "target_log_group_name": "lts-group-wb28", "target_log_stream_id": "2c228bd1-cbf1-41fb-b563-0ca2769202b2", "target_log_stream_name": "mysql" } } ] }}
  • 响应参数 状态码为 201 时: 表8 响应Body参数列表 参数 参数类型 描述 [数组元素] Array of AomMappingRuleResp objects - 表9 [数组元素] 参数 参数类型 描述 project_id String 项目id rule_name String 接入规则名称 rule_id String 接入规则id rule_info rule_info object 接入规则详情 表10 [数组元素].rule_info 参数 参数类型 描述 cluster_id String 集群id cluster_name String 集群名称 deployments_prefix String 日志流前缀 deployments Array of strings 工作负载 namespace String 命名空间 container_name String 容器名称 files Array of AomMappingfilesInfo objects 接入规则详情 表11 [数组元素].rule_info.files 参数 参数类型 描述 file_name String 路径名 log_stream_info log_stream_info object 接入规则详情 表12 [数组元素].rule_info.files.log_stream_info 参数 参数类型 描述 target_log_group_id String 日志组id target_log_group_name String 目标日志组名称 target_log_stream_id String 日志流id target_log_stream_name String 目标日志流名称 状态码为 400 时: 表13 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0742 LTS.0743 LTS.0014 LTS.0740 LTS.0744 LTS.0746 details String 调用失败响应信息描述。 枚举值: AOM mapping rule log group id does not exist Operation DB failed AOM mapping rule name already exists AOM mapping rule param validate error AOM mapping rule log stream id does not exist AOM mapping rule log stream name already exist in another log group 状态码为 401 时: 表14 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId 状态码为 403 时: 表15 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId 状态码为 500 时: 表16 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token。 缺省值:None 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 缺省值:None 最小长度:30 最大长度:30 表4 请求Body参数 参数 是否必选 参数类型 描述 rule_name 是 String 规则名称。 缺省值:None 最小长度:1 最大长度:100 rule_info 是 rule_info object 规则详情。 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 rule_id 否 String 接入规则id 表5 rule_info 参数 是否必选 参数类型 描述 cluster_id 是 String 集群ID。 cluster_name 是 String 集群名称。 deployments_prefix 否 String 日志流前缀。当参数isBatch=true且填写此参数时,则与参数“deployments”拼接为日志流名称,拼接后的日志流名称长度不超过64位。 deployments 是 Array of strings 工作负载(选全部工作负载使用“__ALL_DEPLOYMENTS__”)。 说明: 自动映射时需要罗列出每个工作负载。 namespace 是 String 命名空间。 files 是 Array of file objects 日志详细(全部日志使用“__ALL_FILES__”)。 container_name 否 String 容器名称 表6 file 参数 是否必选 参数类型 描述 file_name 是 String 路径名称。 匹配规则:^\/[A-Za-z0-9.*_\/-]+|stdout\.log| 最多两个** log_stream_info 是 log_stream_info object 日志流信息日志详细,请参见log_stream_info。 表7 log_stream_info参数 参数 是否必选 参数类型 描述 target_log_group_id 是 String 日志组ID。 缺省值:None 最小长度:36 最大长度:36 target_log_group_name 是 String 日志组名称。 最小长度:1 最大长度:64 target_log_stream_id 是 String 日志流ID。 缺省值:None 最小长度:36 最大长度:36 target_log_stream_name 是 String 日志流名称。 最小长度:1 最大长度:64
  • URI POST /v2/{project_id}/lts/aom-mapping?isBatch={is_batch} 表1 路径参数 名称 是否必选 参数类型 说明 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 表2 Query参数 名称 是否必选 参数类型 说明 isBatch 是 Boolean 是否使用自动映射,填写为true的话,可以不用填写容器名、日志流相关参数。
  • 状态码 状态码 描述 200 请求响应成功, 成功获取所有接入配置。 400 BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 401 AuthFailed。鉴权失败, 请确认token后再次请求 。 403 Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503 ServiceUnavailable。 被请求的服务无效, 服务不可用。
  • 响应示例 状态码为 200 时: [{ "project_id": "", "rule_id": "", "rule_info": { "cluster_id": "", "cluster_name": "", "container_name": "", "deployments": [ "" ], "files": [ { "file_name": "", "log_stream_info": { "target_log_group_id": "", "target_log_group_name": "", "target_log_stream_id": "", "target_log_stream_name": "" } } ], "namespace": "" }, "rule_name": "" }, { "project_id": "", "rule_id": "", "rule_info": { "cluster_id": "", "cluster_name": "", "container_name": "", "deployments": [ "" ], "files": [ { "file_name": "", "log_stream_info": { "target_log_group_id": "", "target_log_group_name": "", "target_log_stream_id": "", "target_log_stream_name": "" } } ], "namespace": "" }, "rule_name": "" }] 状态码为 400 时: BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 { "errorCode": "LTS.0014", "errorMessage": "Operation DB failed"} 状态码为 401 时: AuthFailed。鉴权失败, 请确认token后再次请求 。 { "error_code" : "LTS.0414", "error_msg" : "Invalid token" } 状态码为 403 时: Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 {"error_code": "LTS.0003","error_msg": "parse_token_failed"} 状态码为 500 时: InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.0102", "error_msg" : "ServiceUnavailable." }
  • 响应参数 状态码为 200 时: 表4 响应Body参数列表 参数 参数类型 描述 [数组元素] Array of AomMappingRuleResp objects - 表5 [数组元素] 参数 参数类型 描述 project_id string 项目id rule_name string 接入规则名称 rule_id string 接入规则id rule_info rule_info object 接入规则详情 表6 [数组元素].rule_info 参数 参数类型 描述 cluster_id string 集群id cluster_name string 集群名称 deployments Array of strings 工作负载 namespace string 命名空间 container_name string 容器名称 files Array of AomMappingfilesInfo objects 接入规则详情 deployments_prefix string 可选择的自定义日志流前缀 表7 [数组元素].rule_info.files 参数 参数类型 描述 file_name string 路径名 log_stream_info log_stream_info object 接入规则详情 表8 [数组元素].rule_info.files.log_stream_info 参数 参数类型 描述 target_log_group_id string 日志组id target_log_group_name string 目标日志组名称 target_log_stream_id string 日志流id target_log_stream_name string 目标日志流名称 状态码为 400 时: 表9 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0014 details String 调用失败响应信息描述。 枚举值: Operation DB failed 状态码为 401 时: 表10 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0001 details String 调用失败响应信息描述。 枚举值: project verify error 状态码为 403 时: 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId 状态码为 500 时: 表12 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。
  • URI GET /v2/{project_id}/lts/aom-mapping 表1 路径参数 名称 是否必选 参数类型 说明 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 表2 Query参数 名称 是否必选 参数类型 说明 log_group_name 否 String 日志组名称 最小长度:1 最大长度:64 log_stream_name 否 String 日志流名称 最小长度:1 最大长度:64
  • 状态码 状态码 描述 200 请求响应成功, 成功获取单个接入配置。 400 BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 401 AuthFailed。鉴权失败, 请确认token后再次请求 。 403 Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503 ServiceUnavailable。 被请求的服务无效, 服务不可用。
  • 响应示例 状态码为 200 时: { "project_id": "", "rule_id": "", "rule_info": { "cluster_id": "", "cluster_name": "", "container_name": "", "deployments": [ "" ], "files": [ { "file_name": "", "log_stream_info": { "target_log_group_id": "", "target_log_group_name": "", "target_log_stream_id": "", "target_log_stream_name": "" } } ], "namespace": "" }, "rule_name": "" } 状态码为 400 时: BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 { "errorCode": "LTS.0014", "errorMessage": "Operation DB failed"} 状态码为 401 时: AuthFailed。鉴权失败, 请确认token后再次请求 。 { "error_code" : "LTS.0414", "error_msg" : "Invalid token" } 状态码为 403 时: Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 {"error_code": "LTS.0003","error_msg": "parse_token_failed"} 状态码为 500 时: InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.0102", "error_msg" : "ServiceUnavailable." }
  • 响应参数 状态码为 200 时: 表3 响应Body参数列表 参数 参数类型 描述 [数组元素] Array of AomMappingRuleResp objects - 表4 [数组元素] 参数 参数类型 描述 project_id string 项目id rule_name string 接入规则名称 rule_id string 接入规则id rule_info rule_info object 接入规则详情 表5 [数组元素].rule_info 参数 参数类型 描述 cluster_id string 集群id cluster_name string 集群名称 deployments Array of strings 工作负载 namespace string 命名空间 container_name string 容器名称 files Array of AomMappingfilesInfo objects 接入规则详情 deployments_prefix string 可选择的自定义日志流前缀 表6 [数组元素].rule_info.files 参数 参数类型 描述 file_name string 路径名 log_stream_info log_stream_info object 接入规则详情 表7 [数组元素].rule_info.files.log_stream_info 参数 参数类型 描述 target_log_group_id string 日志组id target_log_group_name string 目标日志组名称 target_log_stream_id string 日志流id target_log_stream_name string 目标日志流名称 状态码为 400 时: 表8 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0014 details String 调用失败响应信息描述。 枚举值: Operation DB failed 状态码为 401 时: 表9 响应Body参数 参数 参数类型 描述 code String 错误码。 枚举值: LTS.0001 details String 调用失败响应信息描述。 枚举值: project verify error 状态码为 403 时: 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId 状态码为 500 时: 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码。 枚举值: LTS.0403 error_msg String 调用失败响应信息描述。 枚举值: Invalid projectId
  • URI GET /v2/{project_id}/lts/aom-mapping/{rule_id} 表1 路径参数 名称 是否必选 参数类型 说明 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 rule_id 是 String 接入规则ID。 缺省值:None 最小长度:36 最大长度:36
  • 状态码 状态码 描述 200 请求响应成功, 成功更新接入配置。 400 BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 401 AuthFailed。鉴权失败, 请确认token后再次请求 。 403 Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503 ServiceUnavailable。 被请求的服务无效, 服务不可用。
  • 响应示例 状态码为 200 时: [ { "project_id": "", "rule_id": "", "rule_info": { "cluster_id": "", "cluster_name": "", "container_name": "", "deployments": [ "" ], "files": [ { "file_name": "", "log_stream_info": { "target_log_group_id": "", "target_log_group_name": "", "target_log_stream_id": "", "target_log_stream_name": "" } } ], "namespace": "" }, "rule_name": "" }] 状态码为 400 时: BadRequest。非法请求。 建议根据error_msg直接修改该请求,不要重试该请求。 { "errorCode": "LTS.0014", "errorMessage": "Operation DB failed"} 状态码为 401 时: AuthFailed。鉴权失败, 请确认token后再次请求 。 { "error_code" : "LTS.0414", "error_msg" : "Invalid token" } 状态码为 403 时: Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 {"error_code": "LTS.0003","error_msg": "parse_token_failed"} 状态码为 500 时: InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.0102", "error_msg" : "ServiceUnavailable." }
  • 请求示例 PUT https://{endpoint}/v2/{project_id}/lts/aom-mapping/v2/{project_id}/lts/aom-mapping{ "rule_name": "abcde", "project_id": "2a473356cca5487f8373be891bffc1cf", "rule_info": { "cluster_id": "4fae3587-0202-11eb-9ba9-0255ac100b02", "cluster_name": "testdiskrate", "deployments": [ "__ALL_DEPLOYMENTS__" ], "namespace": "default", "container_name": "container-0", "files": [ { "file_name": "__ALL_FILES__", "log_stream_info": { "target_log_group_id": "8c9dcda6-d048-43a7-989b-c76c34b0ac85", "target_log_group_name": "lts-group-wb28", "target_log_stream_id": "2c228bd1-cbf1-41fb-b563-0ca2769202b2", "target_log_stream_name": "mysql" } } ] }}
共47条