日志采集方式

采集主机日志

云日志服务可以将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志,并将多条日志进行打包,以日志流为单位发往云日志服务,您可以在云日志服务控制台实时查看日志。

采集云服务日志

云日志服务(LTS)支持采集计算、容器、安全与合规等华为云云产品的日志数据,包括云服务器 ECS云容器引擎 CCEWeb应用防火墙 WAF应用运维管理 AOM等。

API采集日志

云日志服务提供接口,可以采集主机上报租户的日志。

SDK采集日志

云日志服务SDK提供了Java语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。

日志转储方式

转储至对象存储服务OBS

转储OBS后提供日志存储功能,长期保存日志。

转储至数据接入服务DIS

转储DIS提供日志长期存储能力和丰富的大数据分析能力。DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。

转储至分布式消息服务DMS

转储DMS通过分布式消费服务API处理日志。分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。

转储至数据仓库服务DWS

数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。

云日志服务基本功能

实时采集日志

云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。

采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。

日志查询与实时分析

对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。

日志监控与告警

云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态。

日志转储

主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)、数据接入服务(DIS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。

云日志服务应用场景

日志采集与分析

主机和云服务的日志数据,不方便查阅并且会定期清空。云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。

合理优化业务性能

网站服务(数据库、网络等)的性能和服务质量是衡量用户满意度的关键指标,通过用户的拥塞记录日志发现站点的性能瓶颈,以提示站点管理者改进网站缓存策略、网络传输策略等,合理优化业务性能。例如:

分析历史网站数据,构建业务网络基准。

及时发现业务性能瓶颈,合理扩容或流量降低。

分析网络流量,优化网络安全策略。

快速定位网络故障

网络质量是业务稳定的基石,将日志上报至云日志服务,确保问题发生时能及时查看、定位问题,助力您快速定位网络故障,进行网络回溯取证。例如:

快速定位问题根源的云服务器,例如带宽过度使用的云服务器。

通过分析访问日志,判断业务是否遭到了攻击、非法盗链和不良请求等,及时定位并解决问题。