日志分析解决方案

帮助用户快速创建采集、清洗、检索、报表和展示一体化的端到端日志分析平台,全面洞察数据,充分发掘日志的业务价值
优势
  • 简单易用

    无需编程,用户可以快速创建包括采集、清洗、检索、报表分析和展示的一站式日志分析平台

  • 免运维低成本

    使用的EI服务多是Serverless架构或完全托管模式,用户不感知集群无需运维;数据接入、数据查询和对象存储等服务都是按需计费

  • 标准接口易于对接

    核心服务完全兼容主流开源应用的标准接口,便于和第三方产品对接、便于和下游应用对接

  • 丰富的数据分析能力

    既支持半结构化的文本全文检索,同时支持结构化的报表分析

业务挑战
  • 日志接入性能要求高

    日志分散在不同服务器,采集方式多样(如Flume、Beats、RSyslog、SNMP和自定义程序等),实时采集多个服务器上的新增日志需要云平台兼容主流日志采集器、具有高并发、低时延的数据接入能力;批量导入则需要可靠的大规模数据接入能力

  • 日志解析编程繁琐

    硬件设备、操作系统、商用软件和自研应用都会产生日志,但是没有统一的书写格式,用户需要投入大量精力编写专门的程序,把不同格式的日志转换成结构化数据,不仅解析过程繁琐,还要适用于实时、批量不同场景,还要兼顾性能、扩展性、稳定性和故障恢复

  • 日志分析场景复杂

    为了充分发掘日志内容的业务价值,需要结合业务场景做全面分析:在运维分析中,监控异常指标,定位系统问题,分析调用链;在运营分析中,根据用户行为生成用户画像,预测经营指标;在安全审计中,检测异常情况,追溯异常情况源头

  • 历史数据存储成本高

    随着存储时间延长,历史数据的访问频率会越来越低,但是仍然有分析和审计的需要,常见地,用大数据集群存储历史数据,当数据节点存储到达上限,就需要增加节点增加同构节点,则大幅降低计算资源利用率;增加异构节点,则需规划和维护异构集群

典型业务场景
  • 企业自建日志分析系统

  • 与第三方日志分析产品对接

企业自建日志分析系统

企业级日志检索和全栈分析能力

  1. 支持高并发实时接入

    支持百万并发连接,数据请求毫秒级响应,单分区支持最高每日百GB级别的写入量

  2. 多种日志采集方式

    支持实时和批量采集日志,可对接常用采集器(如Flume、Beats、Rsyslog等),支持用户自定义程序

  3. 灵活的日志处理

    不用编程即可实现高并发、低时延的日志采集、解析和分析; 也可以自行构建应用,实时分析兼容Flink和Spark Streaming接口

  4. 计算存储分离

    报表分析、图分析和机器学习等服务直接读写对象存储中的结构化数据

  5. 免运维

    零业务中断,支持弹性伸缩,开箱即用的托管服务

  6. 全面的日志分析能力

    提供AI分析能力;支持复杂报表分析,完全兼容Spark接口、支持标准SQL和预汇聚,直接分析OBS中的CSV/JSON/Parquet和ORC格式文件

  7. 对应产品

    数据接入服务 DIS

    实时流计算服务

    云搜索服务

    数据湖探索 DLI

    图引擎服务 GES

    机器学习服务 MLS

    对象存储服务 OBS

与第三方日志分析产品对接

提供标准化、低成本和免运维的E I服务内核

  1. 提供标准接口

    消息队列兼容Kafka接口、流计算服务兼容Spark Streaming/Flink接口、分析引擎类服务提供Spark、图分析和AI分析能力、全文检索兼容Elasticsearch原生接口

  2. 低成本

    消息队列、流计算服务、分析引擎和对象存储按需计费

  3. 免运维

    支持日志分析的EI服务都是Serverless架构或完全托管模式,无需运维

  4. 对应产品

    数据接入服务 DIS

    实时流计算服务

    云搜索服务

    数据湖探索 DLI

    图引擎服务 GES

    机器学习服务 MLS

    对象存储服务 OBS

服务推荐
  • 云搜索服务
    基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本的多条件检索、统计、报表
  • 数据湖探索 DLI
    数据湖探索服务是完全托管的大数据查询服务,提供标准SQL,完全兼容Spark接口,支持自动弹性扩展和多租户,轻松探索分析云上数据
  • 实时流计算服务
    全托管的方式使用户无需感知计算集群,只需聚焦于Stream SQL业务,即时执行作业,完全兼容Apache Flink API

免费试用 高达4C8G云服务器

立即试用