CSS日志检索与分析场景
云搜索服务(Cloud Search Service)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本的多条件检索、统计、报表。完全兼容开源Elasticsearch原生接口,无需编程即可对接多种数据源。
查询并发高、吞吐大、且要求查询延迟低。 关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 优势 高性能 支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性 支持200+数据节点,支持1000+个数据字段。
日志分析服务 LOG 日志分析服务 LOG 日志分析服务(Log Analysis Service, 简称LOG)一站式海量实时日志分析服务,提供日志实时采集、智能分析与可视化、转储等功能。提供端到端的快速、易用、丰富的日志分析平台 日志分析服务(Log Analysis Service
,用于越权分析、关键资源变更分析等,并支持实时短信、邮件通知 优势 实时性 实时记录、实时检索,数据准确、即时分析 完整性 管理界面及API操作记录,覆盖全面 可靠性 审计日志的产生、传输、存储均采用加密保存 搭配使用 对象存储服务 OBS 消息通知服务 SMN 文档与学习成长 新手入门
极致性价比 通过图、索引等多种算法的组合,提供高性能、高精度、低成本全场景解决方案 易用可扩展 兼容开源ES语法与大模型生态、开箱即用、免运维,支持水平扩展、动态扩容 安全合规 打造中立、可信、责任共担、安全的云服务 多种产品规格,满足您对成本、性能及技术创新的诉求 多种产品规格,满足您对成本、性能及技术创新的诉求
基于PQ量化算法,内存相比ES算法降低70%。 语义检索效果领先 语义检索效果领先 大规模相关性数据构建:高质量相关性标注数据,包含正负例 假正例去除,去除相关性不是特别高的数据 难负例构建,和query相关,但不是正确答案 假负例去除,未在数据集中被标注的,但是与query相关的文档。 引入动态难
领先的大模型+搜索增强方案 领先的大模型+搜索增强方案 一站式搭建企业专属方案 简单易集成,支持企业专属的数据进行模型训练微调,扩展大模型知识边界,并有效保护企业数据安全。 方案价值 大模型驱动语义搜索与传统搜索相比,语义理解泛化能力强,LLM带给了搜索优化新范式。 搜索增强生成RA
企业级大数据集群云服务 云搜索服务 CSS 提供多条件检索与分析能力 云数据仓库 GaussDB(DWS) 极致性能、稳定、按需扩展的数据仓库
等 自动梳理接口、自动发现敏感数据、数据访问控制、数据泄露的安全防护与全程溯源等场景,需要动态数据脱敏、数字水印、可视展现敏感数据资产、日志审计与风险识别、态势分析等 产品价格 ¥ 3000.00 /月 立即购买 ¥ 5000.00 /月 立即购买 ¥ 6300.00 /月 立即购买
深厚的软件分析与安全可信基座 借助可信变革,依托研发工具链,积累深厚的软件分析、开源漏洞扫描与安全治理技术,构建强大的前后处理能力 借助可信变革,依托研发工具链,积累深厚的软件分析、开源漏洞扫描与安全治理技术,构建强大的前后处理能力 CodeArts Doer,码上搞定 @代码搬运学家 • 主要在编写代
像)面向对象站长,开发者,运维,产品经理,企业 应用场景日志检索与可视化分析试用要快速了解,请点击【立即购买】,其中云服务器的计费模式选择【按需计费】,试用完可释放服务器使用指南镜像安装到云服务器后,使用 SSH 登录到云服务器,运行命令 cd /data/apps/elastic
,性能和压力测试跟踪安全信息与事件管理(Security Information and Event Management)防火墙与网络日志跟踪分析防病毒日志分析通过网络安全监控日志发现端口扫描和非法入侵日志易系统日志处理步骤:日志传输日志通过各服务器端的rsyslog、sysl
,性能和压力测试跟踪安全信息与事件管理(Security Information and Event Management)防火墙与网络日志跟踪分析防病毒日志分析通过网络安全监控日志发现端口扫描和非法入侵 日志易系统日志处理步骤:日志传输日志通过各服务器端的rsyslog、sys
译、智能语义检索、全景数据分析等 AI 打造的第一款支持跨语言智能语义检索与分析的科技大数据平台。JoveEye 是基于全球海量科技数据生成的科技领域知识图谱、科技领域企业级机器翻译、智能语义检索、全景数据分析等 AI 技术打造的全球第一款支持跨语言智能语义检索与分析的科技大数据
性能和压力测试跟踪安全信息与事件管理(Security Information and Event Management)防火墙与网络日志跟踪分析防病毒日志分析通过网络安全监控日志发现端口扫描和非法入侵 日志易系统日志处理步骤:日志传输日志通过各服务器端的rsyslog、sys
、安全设备、主机及应用系统等日志进行全面的标准化处理,及时发现各种安全威胁、异常行为事件,为管理人员提供全局的视角,确保客户业务的不间断运营安全。四叶草安全日志收集与分析系统通过基于国际标准化的关联分析引擎,为客户提供全维度、跨设备、细粒度的关联分析,透过事件的表象真实地还原事件
化统一描述、信息补全、关联分析,并提供统一的界面进行实时的可视化呈现,协助用户准确、快速地识别安全事故,从而及时做出响应。产品底层数据系统是基于大数据开发的一套海量安全数据分析平台,将大数据存储、分析技术与安全分析策略结合,已解决数据快速增长、信息孤岛、全文检测等问题。 底层采用大数据技术
系统基于Linux系统进行开发,采用独立的搜索库,对日志进行实时的保存与展现。采用B/S架构,管理员可以通HTTP方式对日志进行查看、分析、管理。Inforcube日志审计及分析系统能够对收集到的各种日志进行范式化处理,将各种不同表达方式的日志转换成统一的描述形式。用户不必再去熟悉不同厂商不同的日志信息,从而大
黑盾综合日志审计分析系统通过集中采集各类系统中的多源异构日志,进行综合分析,提供符合国家法律法规要求的日志留存、日志查询检索及日志分析报告。黑盾综合日志审计分析系统是福建省海峡信息技术有限公司独立研制的、拥有自主知识产权的新一代日志处理和分析的系统。系统通过集中采集各类系统中的安
产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 在AOM(应用运维管理)中关闭日志采集开关,会影响LTS(云日志服务)收集日志吗? 会。云日志服务与应用运维服务的日志采集开关为同步状态,即如果您在应用运维管理服务关闭了“超额继续采集日志”开关,则云日志服务的开关也同样关闭,关闭后将停止采集日志。
访问控制 数据安全 操作审计:通过云审计服务支持对关键日志与操作进行审计。 云搜索服务CSS相关精选推荐 对象存储服务 OBS功能-BigData Pro 代码检查 CodeArts Check-功能页 CloudPond 华为云Flexus云服务 数据安全中心 智能数据湖_Fusi
度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 日志查询与实时分析 云日志服务对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
统计概述。 安全云脑实用文档 安全云脑的数据来源是什么? 安全云脑与其他安全服务之间的关系与区别? 安全云脑支持跨帐号使用吗? 安全云脑如何变更版本规格? 安全云脑可以免费使用吗? 安全云脑与主机安全服务的区别是什么? 为您推荐 快速了解安全云脑 快速了解安全云脑 安全云脑的功能特性
如何进行日志分析 如何进行日志分析 什么是日志分析 什么是日志分析 云日志服务(Log Tank Service)提供日志分析的能力,对采集的日志数据,通过关键字查询、模糊查询等方式简单快速地进行日志分析查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问
云日志服务 如何配置主机日志接入 云日志服务 02:23 如何创建并配置主机组 云日志服务 如何创建并配置主机组 云日志服务 03:08 日志搜索 云日志服务 日志搜索 云日志服务 03:36 云日志服务 如何配置主机日志接入 云日志服务 02:23 云日志服务 如何创建并配置主机组
规则,监控日志中的关键词,通过在一定时间段内,统计日志中关键字出现的次数,实时监控服务运行状态。目前每个帐户最多可以创建关键词告警与SQL告警共200个。 立即使用 帮助文档 云日志服务关键词告警 LTS支持对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词
Developer HCIP-Big Data Developer 大数据场景微认证 03 包括初级和中级认证 包括初级和中级认证 大数据入门与应用 华为云上大数据处理与分析 大数据入门与应用 华为云上大数据处理与分析 HCIP-Big Data Developer HCIP-Big Data
大数据分析与应用入门 大数据入门培训,在线学练考,零基础学习前沿技术,考取权威证书。 基础课程 通过体系化的大数据培训课程,可以帮助您快速完成学习覆盖,让您轻松了解大数据分析、大数据平台应用、什么是大数据 大数据入门与应用 本次大数据培训课程学习,我们首先从“什么是大数据”开始,
CSS日志检索与分析场景
云搜索 服务是一个基于Elasticsearch和OpenSearch的托管式分布式搜索服务,支持结构化和非结构化数据的高效检索、分析与可视化,广泛应用于 日志分析 、数据驱动运维、智能搜索等场景。本文提供了 CS S使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档,您可以持续评估CSS的安全状态,更合理地组合使用CSS提供的多种安全能力,提高对CSS的整体安全防御能力,保护存储在CSS的数据及传输过程中的数据不被泄露或篡改。
为了加强CSS服务的集群数据安全性,本文将从以下几个维度给出建议,您可以根据业务需要在本指导的基础上进行安全配置。
- 启用安全配置:减少集群被网络攻击的风险。
- 提升账号密码安全性:减少数据泄露风险。
- 加强权限管理:减少安全风险。
- 开启安全审计日志:方便事后回溯。
- 开启备份功能:提升数据可靠性。
- 加密存储数据:提升数据安全性。
- 升级集群到最新版本:获得更好的使用体验和更强的安全能力。
启用安全配置
- 创建安全模式的集群
CSS服务给Elasticsearch集群和OpenSearch集群提供了安全模式。安全模式的集群需要通过用户名和密码验证才能访问,非安全模式的集群则不需要安全认证即可直接访问。除非业务环境进行了严格的网络控制,且数据重要程度低,否则不建议您创建非安全模式的集群。集群安全模式的切换请参见更改Elasticsearch集群安全模式或更改OpenSearch集群安全模式。
- 开启HTTPS访问
如果Elasticsearch集群和OpenSearch集群未配置SSL加密通信,那么在CSS客户端和服务器之间传输数据时,很容易受到窃听、篡改和“中间人”攻击。为了提高数据传输的安全性,建议您创建安全模式的集群,并开启HTTPS访问。由于加密解密开销,启用HTTPS后集群性能可能下降约20%,建议评估业务场景的性价比。集群访问协议切换请参见更改Elasticsearch集群安全模式或更改OpenSearch集群安全模式。
- 避免绑定 EIP 直接通过互联网访问集群
避免将CSS集群部署在公网或者DMZ里,应该部署在公司内部网络,并使用路由器或者防火墙技术把集群保护起来,避免通过直接绑定 弹性公网IP (简称EIP)的方式从互联网访问集群,防止未授权的访问及DDoS攻击等。为避免公网暴露风险,建议关闭集群的公网访问,如果业务必须通过公网访问,请配置独享型 负载均衡 访问CSS集群,并严格配置独享型负载均衡器的安全组规则限制。操作指导请参见配置Elasticsearch集群独享型负载均衡或配置OpenSearch集群独享型负载均衡。
提升账号密码安全性
- 定期重置管理员用户的密码
安全模式的Elasticsearch集群和OpenSearch集群拥有默认管理员账号admin,管理员账号拥有最高权限,建议定期重置密码。通过定期重置策略,可有效降低密码泄露风险,显著提升账户安全性,保护敏感数据和系统免受潜在的安全威胁。操作指导请参见CSS服务中如何重置安全集群的管理员密码?
- 提升密码复杂度
CSS服务的Elasticsearch集群和OpenSearch集群作为搜索引擎,易成为攻击者的目标。用户需要妥善保存集群的访问账号与密码,避免泄漏。同时建议您提升密码的复杂度,避免使用弱密码。CSS会对集群的管理员密码进行复杂度校验,建议密码长度不少于12位,包含大小写字母、数字及特殊字符(如!@#$%)的组合,防止密码强度过低导致密码被破解。
加强权限管理
- 配置 IAM 用户实现权限隔离
CSS服务支持通过IAM对用户权限进行精细化管理,通过设置不同的企业组织和操作权限,达到对CSS集群的访问权限隔离。IAM权限配置请参见创建IAM用户并授权使用CSS。
- 避免直接使用管理员账号访问集群
安全模式的Elasticsearch集群和OpenSearch集群拥有默认管理员账号admin,管理员账号拥有最高权限,可以访问集群中的任意数据,建议通过设置集群的普通用户去使用集群。通过Kibana或OpenSearch Dashboards配置普通用户访问集群索引数据的权限。用户权限基于用户(User)、权限(Permission)、角色(Role)管理,可以基于业务需求配置用户角色和权限。操作指导请参见创建Elasticsearch集群用户并授权使用或创建OpenSearch集群用户并授权使用。
开启安全审计日志
CSS服务支持日志审计功能,可以实时记录用户对数据的所有相关操作。通过对用户访问数据索引行为的记录、分析和汇报,用来帮助您事后生成合规报告、事故追根溯源,提高数据资产安全性。操作指导请参见CSS服务中如何开启Elasticsearch和OpenSearch集群的安全审计日志?
开启备份功能
CSS服务的Elasticsearch集群和OpenSearch集群支持自动备份和手动备份功能,根据业务关键性,建议每日或每周执行全量备份,并保留多个备份版本。当集群故障或数据损坏时,可以通过备份文件恢复数据,从而保证数据可靠性。操作指导请参见创建快照备份Elasticsearch集群数据或创建快照备份OpenSearch集群数据。
加密存储数据
为提升用户数据的安全性,建议在创建CSS集群时开启磁盘加密功能,该功能通过云密钥管理服务(KMS)使用算法对数据进行加密,在集群写入数据和磁盘扩容时,数据将以密文形式存储在磁盘中,有效降低因磁盘物理丢失或非法访问导致的数据泄露风险。磁盘加密是受限使用功能,需提交工单申请开通。
升级集群到最新版本
开源社区会不定期披露新发现的漏洞,CSS会评估Elasticsearch和OpenSearch搜索引擎内核版本的实际风险,发布新的内核版本。为了提升CSS集群的易用性和安全性,建议建立季度版本检查机制,及时获取安全补丁,并将集群升级为最新的 镜像 。操作指导请参见升级Elasticsearch集群版本或升级OpenSearch集群版本。
CSS日志检索与分析场景常见问题
更多常见问题 >>-
云日志服务常见问题-日志搜索与查看类的问题解决。
-
云日志服务(Log Tank Service)支持通过关键词和SQL统计配置日志告警,日志告警渠道支持邮件、短信、微信、钉钉、HTTP、语音
-
CSS是什么_云搜索服务_CSS功能
-
云日志服务常见问题-日志转储类的问题解决。
-
云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
-
安全云脑的安全分析功能支持云服务安全日志数据采集、数据检索、数据消费功能,提供专业级的安全分析能力,实现对云负载、各类应用及数据的安全保护。
更多相关专题
增值电信业务经营许可证:B1.B2-20200593 | 域名注册服务机构许可:黔D3-20230001 | 代理域名注册服务机构:新网、西数