腾讯安全发布云原生安全数据湖,高性能数据分析助力企业迈向智能安全
作者头像
  • 雷民潋
  • 2023-09-21 00:00:00 3047

导读:

安全日志记录了企业服务器、云基础设施及应用系统的运行全过程,通过深入分析日志数据,企业能够全面洞察IT环境状态、有效识别潜在风险与故障根源。

随着企业规模扩大、数字化进程加速以及安全设备投入增加,日志数据量呈现爆炸性增长态势。现有日志管理系统在处理大规模日志数据时,往往面临高昂成本或性能瓶颈,难以满足PB级别的数据处理需求。

如何构建高效、经济的解决方案,实现PB级日志数据的秒级查询,成为企业关注的重点?

现状与挑战:

当前,企业普遍依赖开源大数据ELK等工具搭建日志处理平台,主要功能集中在告警数据收集,但分析能力有限。长周期数据查询耗时长,难以适应网络安全的实时对抗需求。

腾讯安全的创新方案:

腾讯安全推出全新一代云原生安全数据湖,专注于海量日志数据的深度分析,旨在帮助企业构建一体化云原生数据湖平台,推动安全运营向智能化迈进。

相比同类开源软件,该产品在硬件成本上降低至十分之一,同时显著提升了查询性能,尤其是聚合查询效率,实现PB级日志数据的秒级检索。

技术创新与优势:

腾讯云原生安全数据湖依托多项创新技术,包括:

  • 架构优化:采用大规模并行处理(MPP)架构与Rust语言开发,针对日志与安全场景进行专项优化;
  • 存储与成本控制:采用列式存储实现高压缩比,无索引架构减少额外开销;
  • 一体化引擎:集成数据处理、查询、存储、分析功能于一身,提高整体效率;
  • 灵活扩展:支持SQL/SPL语句,提供“插件式”扩容机制,满足不同分析需求;
  • 运维友好:实现存算分离、读写分离,一键弹性扩容,故障恢复速度快。

应用与效益:

该数据湖通过技术创新,大幅降低了企业安全运营的存储成本,提高了数据处理效率,实现成本节省高达90%。面向云原生设计,支持多实例、多用户共享,弹性扩容能力强。

腾讯云原生安全数据湖支持泛安全数据的全面接入与分析,具备“插件化”应用开发能力,帮助企业根据需求定制上层应用,构建完整日志应用生态体系,赋能多种安全场景。

市场布局与未来展望:

该数据湖已集成至腾讯安全SOC+产品,为安全运营提供坚实基础。未来,腾讯安全计划提供独立产品,助力更多企业构建云原生数据湖平台,推动安全运营与管理步入智能化新阶段。

腾讯安全致力于为企业提供智能化安全解决方案,不断深化技术开放与融合,为各行各业注入数字安全免疫力,共同构筑智能安全时代的新篇章。

版权声明:

本文系原创,未经授权不得转载。转载请参阅相关须知。

    本文来源:图灵汇
责任编辑: : 雷民潋
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
安全腾讯原生数据分析助力迈向高性能智能数据发布
    下一篇