数据流存储方法及装置制造方法及图纸

本发明专利技术公开一种数据流存储方法及装置。数据流存储方法包括：缓存互联网数据中的数据流形成第一数据；当存储设备上数据流文件的剩余空间大于或等于第一数据大小时，将第一数据写入数据流文件中形成数据块，写入起始位置为数据流文件的写入指针所指的位置；当剩余空间小于第一数据大小时，从数据流文件的回收指针所指的位置开始回收至少一个数据块获得空闲空间，以使剩余空间和空闲空间之和大于或等于第一数据大小；第一数据依次写入剩余空间和空闲空间中形成数据块；将回收指针所指的位置变更为空闲空间的末尾；将写入指针所指的位置变更为数据块的末尾。本发明专利技术适用于高效存储、检索、读取网络数据流的应用场景。

Data stream storage method and device

【技术实现步骤摘要】
数据流存储方法及装置
本专利技术涉及数据存储技术，尤其涉及一种数据流存储方法及装置。
技术介绍
在互联网迅速发展的今天，现代人的绝大部分信息都存储于网络中，网络的安全问题已成为影响所有人信息安全的问题。而当今时代网络攻击的手段层出不穷，许多攻击总是无法在第一时间进行有效防御，因此事后追溯成为当前安全防御的一个重要方法。而事后追溯的一个重要前提就是能将攻击时产生数据流进行封存取证。数据流是指互联网数据中具有相同五元组(源IP、源端口、目的IP、目的端口、协议)的所有包。当前，数据流存储方法包括：识别互联网数据中的会话，每条会话包含源和目的互换的双向数据流，所有数据包存入存储设备中的一个文件，将会话作为KEY值对应该文件，后续查询时直接根据KEY值读取该文件。此方法的问题在于，网络中数据流的流量极其巨大，在1Gbps的正常网络流量中，每秒大约会产生3000-5000条新的数据流，如果每条数据流生成一个文件，对存储设备产生的IO将是致命的，而且长期使用该方法带来的磁盘碎片是可观的，会导致存储装置越运行越缓慢。>专利技术内本文档来自技高网...

【技术保护点】
1.一种数据流存储方法，其特征在于，包括：/n缓存互联网数据中的数据流形成第一数据；/n当存储设备上数据流文件的剩余空间大于或等于所述第一数据大小时，将所述第一数据写入所述数据流文件中形成数据块，写入起始位置为所述数据流文件的写入指针所指的位置；/n当所述剩余空间小于所述第一数据大小时，从所述数据流文件的回收指针所指的位置开始回收至少一个数据块获得空闲空间，以使所述剩余空间和所述空闲空间之和大于或等于所述第一数据大小；所述第一数据依次写入所述剩余空间和所述空闲空间中形成数据块；将所述回收指针所指的位置变更为所述空闲空间的末尾；/n将所述写入指针所指的位置变更为所述数据块的末尾。/n

【技术特征摘要】
1.一种数据流存储方法，其特征在于，包括：
缓存互联网数据中的数据流形成第一数据；
当存储设备上数据流文件的剩余空间大于或等于所述第一数据大小时，将所述第一数据写入所述数据流文件中形成数据块，写入起始位置为所述数据流文件的写入指针所指的位置；
当所述剩余空间小于所述第一数据大小时，从所述数据流文件的回收指针所指的位置开始回收至少一个数据块获得空闲空间，以使所述剩余空间和所述空闲空间之和大于或等于所述第一数据大小；所述第一数据依次写入所述剩余空间和所述空闲空间中形成数据块；将所述回收指针所指的位置变更为所述空闲空间的末尾；
将所述写入指针所指的位置变更为所述数据块的末尾。


2.根据权利要求1所述的方法，其特征在于，所述缓存互联网数据中的数据流形成第一数据，包括：缓存互联网数据中指定时间段内的数据流形成第一数据；或者，
缓存互联网数据中指定个数的数据流形成第一数据；或者，
缓存互联网数据中的数据流达到指定报文容量形成第一数据；或者，
使用缓存互联网数据中的指定时间段内的数据流、缓存互联网数据中指定个数的数据流和缓存互联网数据中的数据流达到指定报文容量三个方法的两个或三个中用时最短的方法形成第一数据。


3.根据权利要求1所述的方法，其特征在于，在将所述第一数据写入所述存储设备前，还包括：将所述第一数据中所有数据包按照所属的数据流进行汇聚整理，以使属于一个数据流的所有数据包按时间戳排序，所述第一数据中的数据流按照流编号顺序存放。


4.根据权利要求1～3任一项所述的方法，其特征在于，还包括为所述第一数据写入所述存储设备后形成的所述数据块建立索引文件，所述索引文件包括：源IP索引部分、目的IP索引部分、源端口索引部分、目的端口索引部分和流信息部分；
所述源IP索引部分的索引记录包括：第一IP地址及所述数据块中源IP地址为所述第一IP地址的所有数据流的流编号；
所述目的IP索引部分的索引记录包括：第二IP地址及所述数据块中目的IP地址为所述第二IP地址的所有数据流的流编号；
所述源端口索引部分的索引记录包括：第一端口及所述数据块中源端口为所述第一端口的所有数据流的流编号；
所述目的端口索引部分的索引记录包括：第二端口及所述数据块中目的端口为所述第二端口的所有数据流的流编号；
所述流信息部分的索引记录包括所述流编号和对应在所述存储设备中的存储位置，所述流信息部分的索引记录按所述流编号顺序存放。


5.根据权利要求4所述的方法，其特征在于，还包括：
接收查询条件；
当所述查询条件为一个时，在所述查询条件对应的所述索引部分中查找符合所述查询条件的流编号获得最终结果集合；
当所述查询条件为多个，且多个所述查询条件全部为不同类型时，根据每个所述查询条件对应的所述索引部分查找符合所述查询条件的流编号获得第一集合；计算多个所述第一集合的交集，获得最终结果集合；
当所述查询条件为多个，且包含相同类型和不同类型的查询条件时，在所述相同类型查询条件中的每一个查询条件对应的所述索引部分中查找符合所述查询条件的流编号获得第二集合；在所述不同类型查询条件中的每一个查询条件对应的所述索引部分中查找符合所述查询条件的流编号获得第三集合；计算多个所述第二集合的并集获得第四集合；计算所述第四集合与所述第三集合的交集获得最终结果集合；
在所述流信息部分查找所述最终结果集合中各流编号对应的所述存储位置，并从所述存储位置获取符合所述查询条件的数据流。


6.一种数据流存储装置，其特征在于，包括：
缓存模块，...

【专利技术属性】
技术研发人员：谢文辉，刘萌，陈志德，黎莉，朱志强，
申请(专利权)人：北京马赫谷科技有限公司，
类型：发明
国别省市：北京;11