业务挑战

  • 日志接入性能要求高

    日志分散在不同服务器,采集方式多样(如Flume、Beats、RSyslog、SNMP和自定义程序等),实时采集多个服务器上的新增日志需要云平台兼容主流日志采集器、具有高并发、低时延的数据接入能力;批量导入则需要可靠的大规模数据接入能力

  • 日志解析编程繁琐

    硬件设备、操作系统、商用软件和自研应用都会产生日志,但是没有统一的书写格式,用户需要投入大量精力编写专门的程序,把不同格式的日志转换成结构化数据,不仅解析过程繁琐,还要适用于实时、批量不同场景,还要兼顾性能、扩展性、稳定性和故障恢复

  • 日志分析场景复杂

    为了充分发掘日志内容的业务价值,需要结合业务场景做全面分析:在运维分析中,监控异常指标,定位系统问题,分析调用链;在运营分析中,根据用户行为生成用户画像,预测经营指标;在安全审计中,检测异常情况,追溯异常情况源头

  • 历史数据存储成本高

    随着存储时间延长,历史数据的访问频率会越来越低,但是仍然有分析和审计的需要,常见地,用大数据集群存储历史数据,当数据节点存储到达上限,就需要增加节点增加同构节点,则大幅降低计算资源利用率;增加异构节点,则需规划和维护异构集群

典型业务场景

  • 企业自建日志分析系统

  • 与第三方日志分析产品对接

场景一

企业级日志检索和全栈分析能力

支持高并发实时接入

支持百万并发连接,数据请求毫秒级响应,单分区支持最高每日百GB级别的写入量

多种日志采集方式

支持实时和批量采集日志,可对接常用采集器(如Flume、Beats、Rsyslog等),支持用户自定义程序

灵活的日志处理

不用编程即可实现高并发、低时延的日志采集、解析和分析; 也可以自行构建应用,实时分析兼容Flink和Spark Streaming接口

计算存储分离

报表分析、图分析和机器学习等服务直接读写对象存储中的结构化数据

免运维

零业务中断,支持弹性伸缩,开箱即用的托管服务

全面的日志分析能力

提供AI分析能力;支持复杂报表分析,完全兼容Spark接口、支持标准SQL和预汇聚,直接分析OBS中的CSV/JSON/Parquet和ORC格式文件

场景二

提供标准化、低成本和免运维的E I服务内核

提供标准接口

消息队列兼容Kafka接口、流计算服务兼容Spark Streaming/Flink接口、分析引擎类服务提供Spark、图分析和AI分析能力、全文检索兼容Elasticsearch原生接口

低成本

消息队列、流计算服务、分析引擎和对象存储按需计费

免运维

支持日志分析的EI服务都是Serverless架构或完全托管模式,无需运维

优势

简单易用

无需编程,用户可以快速创建包括采集、清洗、检索、报表分析和展示的一站式日志分析平台

免运维低成本

使用的EI服务多是Serverless架构或完全托管模式,用户不感知集群无需运维;数据接入、数据查询和对象存储等服务都是按需计费

标准接口易于对接

核心服务完全兼容主流开源应用的标准接口,便于和第三方产品对接、便于和下游应用对接

丰富的数据分析能力

既支持半结构化的文本全文检索,同时支持结构化的报表分析

联接未来,就现在

注册尊享华为云开发者支持,四大福利敏捷上云

立即注册