华为云用户手册

  • 修改主机组 对于已创建的主机组可以对其名称进行修改,也可以对主机组进行添加主机、移除主机或者关联接入配置,具体操作如下: 表1 操作列表 操作 具体步骤 修改主机组名称 在主机管理页面,默认显示主机组页签。 在主机组列表中,单击待修改的主机组所在行的操作列修改按钮。 在弹出的修改主机组页面,修改主机组名称、自定义标识等信息。 单击“确定”,完成主机名称修改。 添加主机 方式一: 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击“添加主机”。 在弹出的添加主机页面,主机列表中显示该主机组所选主机类型下所有未选主机,选择需要加入该主机组的主机。 可以通过主机名称或主机IP对列表进行过滤,也可以单击,并在弹出的搜索框中输入多个主机IP,进行批量搜索。 当列表中没有所需主机时,单击“安装ICAgent”,在弹出的页面安装指引完成主机安装,具体操作可参见安装ICAgent。 单击“确定”。 方式二: 在主机管理页面,单击“主机”,切换至主机页签。 在主机列表中勾选需要添加的主机,单击“添加到主机组”。 在弹出的添加到主机组页面,勾选目标主机组。 单击“确定”,完成主机的添加。 移除主机 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击待移除主机所在行操作列的“移除”。 在弹出的移除主机页面,单击“确定”,将该主机移除。 说明: 自定义标识主机组下的主机不支持该操作。 取消部署 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击待移除主机所在行操作列的“取消部署”。 在弹出的取消部署页面,单击“确定”,将该主机卸载并移除。 说明: 自定义标识主机组下的主机不支持该操作。 主机取消部署后,其他主机组下的该主机也会被移除。 批量移除 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,勾选待删除的主机,单击“批量移除”。 单击“确定”。 新增关联配置 在主机组列表,单击待修改的主机组所在行前的。 默认显示主机页签,单击“相关接入配置”,切换至相关接入配置页签。 单击“新增关联配置”。 在弹出的新增关联配置页面,勾选需要关联的接入配置。 单击“确定”,配置完成后会将所选的接入配置显示在列表中。 解除关联 在相关接入配置页签,单击待解除配置所在行操作列的“解除关联”。 单击“确定”,解除该主机组与该接入配置的关联。 批量解除关联 在相关接入配置页签,勾选待解除的配置,单击“批量解除关联”。 单击“确定”,解除该主机组与所勾选的接入配置的关联。 复制主机组ID 鼠标悬浮在主机组名称上,支持复制主机组ID。 导出主机信息 在主机页签的区域内主机、CCE集群或区域外主机下方,勾选需要导出的主机。 单击“导出”,即可将主机信息导出到本地进行查看。
  • 云服务概述 云日志 服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型(结构化模板名称) 文档链接 仪表盘 1 AOM 应用运维管理 AOM接入的云服务日志 (不推荐该方式) AOM接入 - 2 APIG API网关 网关访问日志(APIG) APIG接入 APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入 - 4 BMS 裸金属服务器 全量日志(ICAgent采集文本日志) BMS接入 - 5 CBH 云堡垒机 操作日志 CBH接入 - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 CCE接入 - 7 CDN 内容分发网络 访问日志(CDN) CDN接入 CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志(CFW攻击日志) 访问日志(CFW访问控制日志) 流量日志(CFW流量日志) CFW接入 - 9 CTS 云审计 服务 云服务管理面操作日志(CTS) CTS接入 - 10 D CS 分布式缓存服务 审计日志(DCS审计日志) DCS接入 DCS审计日志中心 11 DDS 文档数据库服务 审计日志(DDS审计日志) 错误日志(DDS错误日志) 慢日志(DDS慢日志) DDS接入 DDS审计日志中心 12 DDoS防护 AAD DDoS防护 AAD 全量日志 DDoS防护 AAD接入 - 13 DMS 分布式消息服务Kafka版 DMS重平衡日志 分布式消息服务Kafka接入 - 14 DRS 数据复制服务 访问日志 DRS接入 - 15 DWS 数据仓库 服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 DWS接入 - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) ECS接入 - 17 ELB 弹性负载均衡 7层访问日志(ELB) ELB接入 ELB监控中心 ELB访问中心 ELB秒级监控 18 ER 企业路由器 全量日志(ER企业路由器) ER企业路由器接入 - 19 FunctionGraph 函数工作流 函数执行日志 FunctionGraph接入 - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) GaussDB接入 - 21 GES 图引擎服务 审计日志 GES接入 - 22 GaussDB for MySQL 云数据库 GaussDB for MySQL 错误日志(GAUSSDB_MYSQL错误日志) 慢日志(GAUSSDB_MYSQL慢日志) GaussDB for MySQL接入 - 23 GeminiDB Redis 云数据库 GeminiDB Redis 慢日志(GeminiDB Redis慢日志) GeminiDB Redis接入 - 24 GeminiDB Mongo 云数据库 GeminiDB Mongo 错误日志(GeminiDB Mongo错误日志) 慢日志(GeminiDB Mongo慢日志) GeminiDB Mongo接入 - 25 GeminiDB Cassandra 云数据库 GeminiDB Cassandra 慢日志(GeminiDB Cassandra慢日志) GeminiDB Cassandra接入 - 26 HiLens 华为HiLens 设备日志 华为HiLens接入 - 27 IoTDA 设备接入 设备运行日志 IoTDA接入 - 28 ModelArts ModelArts 运行日志 ModelArts接入 - 29 MRS MapReduce服务 全量日志(ICAgent采集文本日志) MRS接入 - 30 NGINX接入 - NGINX日志 NGINX接入 - 31 RDS for MySQL 云数据库 RDS for MySQL 错误日志(MYSQL错误日志) 慢日志(MYSQL慢日志) RDS for MySQL接入 - 32 RDS for PostgreSQL 云数据库 RDS for PostgreSQL 错误日志(POSTGRESQL错误日志) 慢日志(POSTGRESQL慢日志) RDS for PostgreSQL接入 - 33 RDS for SQLServer 云数据库RDS for SQL Server 错误日志(SQLSERVER错误日志) RDS for SQLServer接入 - 34 ROMA Connect 应用与 数据集成平台 网关访问日志 ROMA Connect接入 - 35 Live 视频直播 访问日志 视频直播Live接入 - 36 SMN 消息通知 服务 消息传输日志(SMN) SMN接入 - 37 TOMCAT - TOMCAT日志 TOMCAT接入 - 38 SecMaster 安全云脑 全量日志 secMaster接入 - 39 ServiceStage 应用管理与运维平台 ServiceStage容器应用日志 ServiceStage容器应用日志接入LTS - 40 VPC 虚拟私有云 VPC流日志(VPC) VPC接入 VPC流日志 41 WAF Web应用防火墙 攻击日志 访问日志 WAF接入 - 父主题: 云服务接入
  • 背景信息 云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群。借助云容器引擎,您可以在华为云上轻松部署、管理和扩展容器化应用程序。 分析网站访问情况 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CCE日志K8s事件查询”仪表盘,查看图表详情。 CCE日志K8s事件查询仪表盘中的过滤器说明如下所示: 事件等级分为Warning和Normal。 事件类型,所关联的查询分析语句如下所示: select distinct("name") 集群ID,所关联的查询分析语句如下所示: select distinct("cluster_id") 命名空间,所关联的查询分析语句如下所示: select distinct("namespace") 名称,所关联的查询分析语句如下所示: select distinct("resource_name") 重要图表说明 CCE日志K8s事件查询仪表盘中重要图表说明如下所示: 事件总数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log GROUP BY "_time_" ) 普通事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Normal' GROUP BY "_time_" ) 警告事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Warning' GROUP BY "_time_" ) 错误事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Error' GROUP BY "_time_" ) 重要事件分布,所关联的查询分析语句如下所示: select "name",count(1) as 'total' from log group by "name" 重要事件统计,所关联的查询分析语句如下所示: SELECT "type" as "等级", "name" as "类型", count(1) as "总数", "reason" as "详细内容" from log where "type" != 'Normal' group by "type", "name", "reason" order by "总数" desc Pod重要事件统计,所关联的查询分析语句如下所示: SELECT "type" as "等级", "name" as "类型", count(1) as "总数", "reason" as "详细内容" from log where "type" != 'Normal' and "resource_kind" = 'Pod' group by "type", "name", "reason" order by "总数" desc 最近100条事件,所关联的查询分析语句如下所示: select TIME_FORMAT( __time, 'yyyy-MM-dd HH:mm:ss', '+08:00' ) as "Time","type" as "等级", "name" as "类型", "reason" as "详细
  • 使用限制 Linux环境:支持安装ICAgent的Linux操作系统。 Windows环境:仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作,只支持日志采集功能。如果需要使用新版本,请先卸载旧版本ICAgent,再安装新版本ICAgent即可。
  • 首次安装(Windows环境) 在主机管理页面,单击右上角“安装ICAgent”。 主机类型选择“区域内主机”。 “安装系统”选择“Windows”。 下载ICAgent安装包到Windows服务器。 您可以通过单击界面提供的ICAgent压缩包或者下载地址,下载ICAgent安装包。 将ICAgent安装包存放到目录(如:C:\ICAgent)并解压。 在文本框中输入AK/SK,生成ICAgent安装命令,获取AK/SK方法请参考:如何获取访问密钥(AK/SK)。 如果AK/SK过期或者被删除,可能导致ICAgent状态显示异常。请创建新的AK/SK并生成的新的安装命令,登录到节点重新安装即可。 单击“复制命令”,复制ICAgent安装命令。 打开cmd窗口并进入ICAgent安装包的解压目录,执行ICAgent安装命令进行安装。 当显示“Service icagent installed successfully”时,表示安装成功。 如果安装了第三方杀毒软件,需要添加ICAgent为信任程序,否则可能导致ICAgent安装失败。 如果需要卸载ICAgent,请在ICAgent安装包解压目录下,双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本,当显示“icagent removed successfully”时,表示卸载成功。 卸载ICAgent不会删除对应目录的文件,请您根据实际情况自行删除。 查询ICAgent的状态,请在ICAgent安装包解压目录下,打开cmd窗口,执行命令“sc query icagent”,状态为RUNNING,表示ICAgent正在运行中;提示“The specified service does not exist as an installed service”或者“指定的服务未安装”,表示ICAgent已卸载。 卸载后重新安装ICAgent,如果一直处于“pending”状态,可以在任务管理器中结束ICAgent相关进程,然后再次重新安装ICAgent。
  • 继承批量安装(Linux环境) 您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下,并在同一个网段中。 批量安装功能依赖python3.*版本,如果安装时提示找不到python请安装python版本后重试。
  • 日志搜索的常用操作 日志搜索的常用操作有分享日志、刷新等操作,具体参考如下图所示: 表1 常用操作 操作 说明 交互式搜索 单击搜索框前面的按钮,在交互式搜索页面,根据业务需要选择索引配置的字段,设置过滤方式,也可以通过添加关联关系或添加组进行交互式搜索,设置完成后,支持预览搜索语法。 创建快速查询 单击按钮,创建快速查询。 查看仪表盘 单击按钮,在弹出来的仪表盘页面,可查看已创建的仪表盘。 添加告警 单击按钮,在弹出的页面,支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”可直接对日志进行刷新。 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明: 支持选择简洁模式查看日志上下文。支持下载上下文内容。 简化字段详情 单击查看简化字段详情。 换行/取消换行 单击按钮,搜索的日志内容将换行显示。若不需要换行,单击按钮,取消换行。 说明: 默认开启换行按钮。 下载日志 单击按钮,在弹出的下载日志页面中单击“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 说明: 选择以CSV格式导出日志后,本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后,本地会以.txt格式保存日志的日志内容。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大100万条日志。 单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容,再单击一次按钮即可关闭展示的日志内容。 说明: 默认不折叠。折叠后,默认显示2行,最多支持展示6行。 JSON设置 鼠标悬浮在按钮上,单击“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 说明: 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 说明: 默认开启自动折叠长日志,字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上,单击“日志时间展示”,在弹出的日志折叠设置页面中,设置是否展示毫秒、是否展示时区。 说明: 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上,单击“虚拟滚动设置”,在弹出的虚拟滚动设置页面中,设置是否开启虚拟滚动、填写缓冲区大小。 说明: 虚拟滚动可以避免或减少滚动时卡顿的情况,提升操作体验,防止页面卡死。 滚动时数据会重新渲染,一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小,缓冲区越大,同时加载的数据越多,但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
  • 示例 常见的时间标准、示例及对应的时间表达式如下所示。 表3 示例 示例 时间表达式 时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义
  • 开启自定义日志时间 在左侧导航栏中选择“日志管理”。 结构化日志以日志流为单位,在“日志管理”页面选择目标日志组和日志流。 单击日志流名称进入日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进入日志结构化配置页面,选择对应的日志提取方法进行配置。 配置完成后,开启自定义日志时间开关,配置如下参数。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。
  • 操作步骤 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”,选择待操作的仪表盘。 单击仪表盘名称进入详情页。 单击,在过滤器页面中,配置添加过滤器的相关参数。 表1 添加过滤器参数 参数 说明 过滤器名称 过滤器名称。仅支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 查询方式 过滤器选中的条件与已有图表查询条件组合方式。有AND和NOT两种方式,默认为AND。 Key值 配置需要过滤的字段。必填项,仅支持输入英文、数字、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾,且不能是纯数字。 别名 Key值的别名。仅支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点开头、下划线开头或以小数点结尾。 静态列表项 设置Key值对应的Value。多次单击可添加多个Value。 单击可添加Value,需配置如下参数: 列表项名称:需要过滤的Key值对应的Value字段名称。仅支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 别名:Value的别名。 默认选中:开启默认选中开关,可直接对添加的Value进行过滤选中。 操作:单击删除添加的Value。 添加动态列表项 开启添加动态列表项的开关,可添加动态列表项,即为Key值配置动态Value。 开启添加动态列表项的开关,需配置如下参数: 日志组:选择待查询的日志组。 日志流:选择待查询的日志流。 SQL引擎:支持管道符版本和非管道符版本。管道符版本的SQL查询默认语法为* | select *,非管道符版本的SQL查询默认语法为select * 动态列表来源:有两种方式分别是字段模糊匹配和SQL查询。 字段模糊匹配:选择当前日志流中配置的结构化字段。 SQL查询:输入SQL查询语句。单击“查询”,可预览动态列表项。 完成后,单击“确定”。
  • 自定义日志时间 开启自定义日志时间开关,参考表10设置参数。 若时间格式填写错误或指定字段不存在,将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 说明: 配置的字段value必须是当前时间前后24小时内的时间。 2023-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标,提示“时间格式和字段value匹配成功”则表示校验成功。 -
  • 多行-完全正则 适用任意格式的多行日志,使用正则表达式提取字段。 选择多行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,手动输入或自动生成首行正则表达式,在提取正则表达式下方的输入框输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 组合解析 适用于多格式嵌套的日志(例如:分隔符+JSON),根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置: processor_regex 表1 正则提取 参数 类型 说明 source_key string 原始字段名。 regex string 正则表达式()中为提取字段。 keys string 为提取的内容指定字段名。 keep_source boolean 是否保留原始字段。 keep_source_if_parse boolean 解析错误是否保留原始字段。 processor_split_string 表2 分隔符解析 参数 类型 说明 source_key string 原始字段名。 split_sep string 分隔符字符串。 keys string 为提取的内容指定字段名。 keep_source boolean 被解析后的日志中是否保留原始字段。 split_type char/special_char/string 分隔类型,支持char-单字符、special_char-不可见字符、string-字符串。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_split_key_value 表3 键值对分割 参数 类型 说明 source_key string 原始字段名。 delimiter string 键值对之间的分隔符,默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符,默认值为半角冒号(:)。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields 表4 添加字段 参数 类型 说明 fields json/object 待添加的字段名和字段值。键值对格式,支持添加多个。 processor_drop 表5 丢弃字段 参数 类型 说明 drop_keys string 丢弃的字段列表。 processor_rename 表6 重命名字段 参数 类型 说明 source_keys string 待重命名的原始字段。 destkeys string 重命名后的字段。 processor_json 表7 json展开提取 参数 类型 说明 source_key string 原始字段名。 keep_source string 被解析后的日志中是否保留原始字段。 expand_depth int json展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。 expand_connector string json展开时的连接符,默认值为下划线(_)。 prefix string json展开时,对字段名附加的前缀。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_filter_regex 表8 过滤器 参数 类型 说明 include json/object key为日志字段,value为匹配的正则表达式。 exclude json/object key为日志字段,value为匹配的正则表达式。 processor_gotime 表9 提取时间 参数 类型 说明 source_key string 原始字段名。 source_format string 原始时间的格式。 source_location int 原始时间的时区。参数值为空时,表示logtail所在主机或容器的时区。 dest_key string 解析后的目标字段。 dest_format string 解析后的时间格式。 dest_location int 解析后的时区。参数值为空时,表示本机时区。 set_time boolean 是否将解析后的时间设置为日志时间。 keep_source boolean 被解析后的日志中是否保留原始字段。 参考示例: [ { "type": "processor_regex", "detail": { "source_key": "content", "regex": "*", "keys": [ "key1", "key2" ], "multi_line_regex": "*", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_split_string", "detail": { "split_sep": ".", "split_type": ".", "split_keys": [ "key1", "key2" ], "source_key": "context", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_add_fields", "detail": { "fields": [ { "key1": "value1" }, { "key2": "value2" } ] } }, { "type": "processor_drop", "detail": { "drop_keys": [ "key1", "key2" ] } }, { "type": "processor_rename", "detail": { "source_key": [ "skey1", "skey2" ], "dest_keys": [ "dkey1", "dkey2" ] } }, { "type": "processor_json", "detail": { "source_key": "context", "expand_depth": 4, "expand_connector": "_", "prefix": "prefix", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_gotime", "detail": { "source_key": "skey", "source_format": "ydm", "source_location": 8, "dest_key": "dkey", "dest_format": "ydm", "dest_ocation": 8, "set_time": true, "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_filter_regex", "detail": { "include": { "ikey1": "*", "ikey2": "*" }, "exclude": { "ekey1": "*", "ekey1": "*" } } } ]
  • 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
  • 多行-全文日志 采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 选择多行-全文日志。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,手动输入或自动生成首行正则表达式。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.*
  • JSON 适用JSON格式的日志,通过提取JSON字段将其拆分为键值对。 选择JSON格式。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。 json解析层数。增加json解析层数配置,取值范围为1~4,只能整数,默认值为1。 将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。
  • 单行-全文日志 采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 选择单行-全文日志。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.*
  • 分隔符 使用分隔符(例如:逗号、空格或字符)提取字段。 选择分隔符。 根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 单行-完全正则 适用任意格式的单行日志,使用正则表达式提取字段。 选择单行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在提取正则表达式下方的输入框输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 索引配置(新增、编辑、删除字段,修改配置项等操作)只对新写入的日志生效,历史日志不会生效。当前不支持对历史日志重建索引。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作! 字段索引配置为JSON数据类型时,在原始日志页面不支持对JSON子字段使用快速分析、跳转图表,不支持可视化;在搜索分析页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时,对JSON父字段查询时支持对命中结果高亮,对JSON子字段查询时不支持对命中结果高亮。
  • 索引类型 云日志服务的索引类型如下: 表1 索引类型表 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明: 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 说明: 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况: 在日志示例中,配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中, 云日志服务LTS 会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。
  • 日志示例 以下是一条典型日志,content字段值是日志原文,使用分隔符逗号将原始日志解析成3个字段level、status、message; 示例日志中的hostName、hostIP、pathFile是常见的内置保留字段,详细内置字段请参考内置保留字段。 { "hostName":"epstest-xx518", "hostIP":"192.168.0.31", "pathFile":"stdout.log", "content":"error,400,I Know XX", "level":"error", "status":400, "message":"I Know XX" }
  • 价格详情 购买资源包后即可发送短信,资源包额度用尽即停。 按不同类型的短信模板,扣除不同类型资源包内的额度。如您使用行业短信套餐包,则系统会扣除您行业短信资源包内的额度,不影响推广短信资源包。 如有任何疑问,请联系华为云智能客服,将有专人为您解答。 表1 行业短信包(用于验证码短信&通知短信) 规格 500条 5000条 1万条 10万条 50万条 300万条 1亿条 价格(元) 32.5 325 630 6,000 29,000 165,000 475,0000 每条单价(元/条) 0.065 0.065 0.063 0.060 0.058 0.055 0.0475 有效期 1年 1年 1年 1年 1年 1年 1年 表2 推广短信包 规格 5000条 1万条 10万条 50万条 300万条 价格(元) 400 780 7,500 36,500 210,000 每条单价(元/条) 0.080 0.078 0.075 0.073 0.070 有效期 1年 1年 1年 1年 1年 父主题: 按资源包计费(用尽即停)
  • 计费模式 消息&短信服务提供按需计费和包年包月(套餐包/资源包)两种计费模式,以满足不同场景下的用户需求,您可以根据实际需求选择资源的计费模式。详细的服务资费费率标准请参见产品价格详情。 按需计费:一种后付费模式,即先使用再付费,按照发送成功的短信条数阶梯计费。实时扣费,自动跨档,跨档部分按新阶梯价计费,未跨档部分按低档阶梯价计费。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。一般适用于短期不可预估使用量,或需求量瞬间大幅波动、不可预测的场景。 包年/包月:一种预付费模式,即先付费再使用,按照订单购买的规格进行结算。一般适用于可预估短信需求量的场景,价格比按需计费模式更优惠,对于需求量长期稳定的成熟业务,推荐该方式。 按套餐包计费(用尽按需):用户购买短信套餐包,超出套餐包的部分,自动转按需计费。 按资源包计费(用尽即停):用户购买短信资源包,资源用尽时,自动停止使用。
  • 计费说明 短信类型 计费模式 计费规则 参考文档 国内短信 按需计费 系统默认使用按需计费模式,具体价格请参见按需计费。 验证码短信和通知短信计费方式一致。 短信发送成功才计费。 按需计费 套餐包 购买套餐包后发送短信优先扣除短信套餐包额度,超出部分按需计费(套餐包额度计算在阶梯内)。 验证码短信和通知短信计费方式一致。 短信发送成功才计费。 按套餐包计费 资源包 购买资源包后发送短信扣除短信资源包额度,资源包用尽系统自动停发。继续发送需重新购买资源包。 验证码短信和通知短信计费方式一致。 发送即计费,即调用接口/群发助手成功则计费。 以下情况不收费:“status”或“状态码”为华为平台错误码。 查看所有状态回执错误码(其中状态码来源是华为平台的不计费)。 按资源包计费
  • 价格详情 使用短信套餐包时,优先扣除已购买套餐包内的额度,超出部分按需计费(套餐包额度计算在阶梯内)。 按不同类型的短信模板,扣除不同类型套餐包内的额度。如您使用行业短信套餐包,则系统会扣除您行业短信套餐包内的额度,不影响推广短信套餐包。 如有任何疑问,请联系华为云智能客服,将有专人为您解答。 表1 行业短信包(用于验证码短信&通知短信) 规格 500条 5000条 1万条 10万条 50万条 300万条 价格(元) 32.5 325 630 6,000 29,000 165,000 每条单价(元/条) 0.065 0.065 0.063 0.060 0.058 0.055 有效期 1个月 1年 1年 1年 1年 1年 表2 推广短信包 规格 5000条 1万条 10万条 50万条 300万条 价格(元) 400 780 7,500 36,500 210,000 每条单价(元/条) 0.080 0.078 0.075 0.073 0.070 有效期 1年 1年 1年 1年 1年 父主题: 按套餐包计费(用尽按需)
  • 资源包说明 您可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。购买资源包发送短信,资源用尽时,自动停止使用。 资源包与账号绑定,不支持跨账号使用。 资源包不支持退订,建议您在购买资源包前提前规划资源的使用额度和时长。 资源包购买后即时生效,到期后自动失效,不支持延期,资源包使用后剩余资源不支持退订。 资源包用尽即停,若您需要继续发送短信,请在资源包用量耗尽前重新购买新的资源包。若您一次性购买多个资源包,其生效时间和结束时间相同。
  • 套餐包抵扣顺序 抵扣顺序原则 当购买了多个相同属性的资源包,会按照资源包过期时间顺序进行抵扣,优先抵扣过期时间近的资源包。 若您一次性购买多个资源包,则资源包生效时间和结束时间相同。 示例 场景 某客户分别购买了两个行业短信用尽即止资源包 资源包A:规格1万条,2024年5月1日生效,购买时长1年,即2025年5月1日过期。 资源包B:规格10万条,2024年5月10日生效,购买时长1年,即2025年5月10日过期。 抵扣顺序 2024年5月1日~2024年5月9日 只有资源包A生效。 使用资源包A抵扣,超出1万条系统自动停发。 2024年5月10日~2025年4月30日 资源包A、B同时生效,叠加使用。 优先使用资源包A抵扣,超出1万条部分使用资源包B抵扣,超出11万条系统自动停发。 2025年5月1日~2025年5月9日 资源包A过期,只有资源包B生效。 使用资源包B抵扣,超出10万条系统自动停发。 2025年5月10日~ 资源包A、B均已过期,系统自动停发。
  • 计费规则 购买资源包后发送短信即扣除已购买资源包内的额度,资源包用尽系统自动停发。继续发送需重新购买资源包。 如果先后购买了两个同类型的资源包,优先使用先生效的资源包,前一个资源包用量耗尽,才会使用后一个资源包。 验证码短信和通知短信计费方式一致。 发送即计费,即调用接口/群发助手成功则计费。 以下情况不收费:“status”或“状态码”为华为平台错误码。 查看所有状态回执错误码(其中状态码来源是华为平台的不计费)。
  • 计费规则 发送短信优先扣除已购买套餐包内的额度,超出部分按需计费(套餐包额度计算在阶梯内)。 如果先后购买了两个同类型的套餐包,优先使用先生效的套餐包,前一个套餐包用量耗尽,才会使用后一个套餐包。 短信字数超过规定长度时,系统会将一条长短信拆分成多条短信进行计算,短信条数计算详情请参见短信发送规则。 按不同类型的短信模板,扣除不同类型套餐包内的额度。如您使用行业短信套餐包,则系统会扣除您行业短信套餐包内的额度,不影响推广短信套餐包的额度。 验证码短信和通知短信计费方式一致。 短信发送成功才计费。
共100000条