一种基于存储结构的日志数据压缩方法技术

本发明专利技术公开了一种基于存储结构的日志数据压缩方法，包括：采集日志数据；对日志数据进行基于模板的日志数据压缩，将日志数据转化为初段压缩数据；对初段压缩数据进行基于单调值的日志数据压缩，利用初始值加偏差的格式存储单调值，得到中段压缩数据，单调值包括日志数据中的时间戳；对中段压缩数据中相邻且语义相同的日志条目进行合并，得到最终的压缩数据，完成日志数据压缩。本发明专利技术解决了针对防御APT攻击过程中，检测与取证分析所需的大量日志数据而带来的巨大存储开销与额外的计算开销问题。题。题。

【技术实现步骤摘要】
一种基于存储结构的日志数据压缩方法


[0001]本专利技术属于信息安全
，具体涉及一种基于存储结构的日志数据压缩方法。

技术介绍

[0002]日志可用于协助系统调试、性能测量、故障排除、安全检测等等。而在安全检测中，日志的价值尤其重要，许多安全应用包括但不限于入侵检测、系统监控、攻击调查和攻击溯源分析都需要通过收集并分析日志来协助实现。
[0003]目前主流的检测方法，端点检测和响应系统(Endpoint Detection and Response，简称EDR)，为了能够监控受限网络中的终端主机活动，会在目标主机上部署日志收集工具来收集系统的活动信息，活动信息包括文件、进程和网络等相关事件，以及有高安全相关性的事件(例如登录尝试、权限提升)。而为了完成后续对攻击来源的分析与溯源，EDR不得不存储大量采集到的日志数据。
[0004]而对于目前危害巨大、检测难度极高的APT(Advanced Persistent Threat)攻击而言，日志的采集、分析和存储格外重要。对于APT攻击的防御方而言，在安全分析师调查攻击者在系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于存储结构的日志数据压缩方法，其特征在于，所述基于存储结构的日志数据压缩方法，包括：步骤1、采集日志数据；步骤2、对所述日志数据进行基于模板的日志数据压缩，将日志数据转化为初段压缩数据，包括：步骤2.1、根据日志数据中每一日志条目的事件类型，利用关键字模板将日志条目中的关键字转化为预设的关键字数字代码，得到第一压缩数据；步骤2.2、基于高频词模板将第一压缩数据中的高频词转化为预设的高频词数字代码，得到第二压缩数据；步骤2.3、将第二压缩数据中同属于一个应用程序会话的所有日志条目的重复值基于会话模板转化为预设的会话数字代码，得到初段压缩数据；步骤3、对初段压缩数据进行基于单调值的日志数据压缩，利用初始值加偏差的格式存储单调值，得到中段压缩数据，所述单调值包括日志数据中的时间戳；步骤4、对中段压缩数据中相邻且语义相同的日志条目进行合并，得到最终的压缩数据，完成日志数...

【专利技术属性】
技术研发人员：朱添田，王佳宇，陈铁明，吕明琪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：