一种流量数据的留存方法、设备和计算机可读存储介质技术

本发明专利技术提出了一种流量数据的留存方法、设备和计算机可读存储介质，该方法包括：通过分别设置在各个采集点的采集模块获取流量数据；将各个采集模块获取到的流量数据发送至存储模块；通过所述存储模块对流量数据进行存储。本发明专利技术将流量数据抓取和流量数据存储分离，解决了网络留存中的抓包问题和存储性能低下的问题。

A method for storing traffic data, equipment and computer readable storage medium

The invention provides a storage method, equipment and a computer readable storage medium for traffic data. The method includes: obtaining the flow data by setting the collection module of each collection point separately, sending the traffic data obtained by each acquisition module to the storage module; through the storage module, the flow data is carried out. Storage. The invention separations the flow data grasping and the flow data storage, solves the problem of packet capture and low storage performance in the network retention.

【技术实现步骤摘要】
一种流量数据的留存方法、设备和计算机可读存储介质
本专利技术涉及网络安全
，尤其涉及一种流量数据的留存方法、设备和计算机可读存储介质。
技术介绍
网络安全领域分为事前预防、事中控制、事后追踪等几大块，其中事后追踪需要一种设备能够将真实网络的流量数据存储下来，以便当出现安全事故时可以进行原始流量数据的提取，从而进一步进行分析处理。如图1所示，在现有技术中通常采用单台独立设备的存储方案，即将流量数据的采集和存储集成在一台设备内。采用单台独立设备的存储方案的逻辑简单且易于实现，但是由于流量数据抓取和流量数据存储是在同一台设备上进行的，会受限于单台独立设备性能的影响，从而不能进行大流量的扩容。另外，目前采用的单台独立设备的存储方案不支持第三方查询检索接口。因此，目前采用的单台独立设备的存储方案无法适应复杂的网络环境。
技术实现思路
本专利技术要解决的技术问题是，提供一种流量数据的留存方法、设备和计算机可读存储介质，将流量数据抓取和流量数据存储分离，解决了网络留存中的抓包问题和存储性能低下的问题。为实现上述目的，本专利技术提供了一种流量数据的留存方法，所述方法包括：通过分别设置在各个采集点的本文档来自技高网...

【技术保护点】
1.一种流量数据的留存方法，其特征在于，所述方法包括：通过分别设置在各个采集点的采集模块获取流量数据；将各个采集模块获取到的流量数据发送至存储模块；通过所述存储模块对流量数据进行存储。

【技术特征摘要】
1.一种流量数据的留存方法，其特征在于，所述方法包括：通过分别设置在各个采集点的采集模块获取流量数据；将各个采集模块获取到的流量数据发送至存储模块；通过所述存储模块对流量数据进行存储。2.根据权利要求1所述的流量数据的留存方法，其特征在于，在所述通过分别设置在各个采集点的采集模块获取流量数据之后，并在所述将各个采集模块获取到的流量数据发送至存储模块之前，所述方法还包括：通过采集模块为获取到的流量数据添加采集时间信息，并按照预设的缓冲规则，将获取到的流量数据存储到设置在对应采集点上的对应的缓冲区中。3.根据权利要求2所述的流量数据的留存方法，其特征在于，所述将各个采集模块获取到的流量数据发送至存储模块，包括：通过分别设置在各个采集点的转存模块，轮询对应采集点上的各个缓冲区，将被写满的缓冲区中的全部流量数据按照预设的配置规则发送至设置在对应采集点上的对应的客户端，以供所述客户端将所述全部流量数据压缩为数据包；通过分别设置在各个采集点的转存模块，轮询对应采集点上的各个客户端，当客户端上存储的数据包的数量达到预设阈值时，将所述客户端上的全部数据包发送至所述存储模块。4.根据权利要求3所述的流量数据的留存方法，其特征在于，所述通过所述存储模块对流量数据进行存储，包括：通过所述存储模块对接收到的数据包进行解压操作，以获取数据包中的流量数据、采集时间信息和IP地址信息，根据所述采集时间信息进行存储，并建立所述流量数据、采集时间信息和IP地址信息之间的对应关系。5.根据权利要求4所述的流量数据的留存方法，其特征在于，在所述通过所述存储模块对流量数据进行存储之后，所述方法还包括：向所述存储模块发送历史流量查询指令，以供所述存储模块根据所述历史流量查询指令查找到对应的流量数据，并将查找到的流量数据导出；其中，所述历史流量查询指令包括待查询流量数据的采集时间信息和IP地址信息。6.一种流量数据的留存设备，...

【专利技术属性】
技术研发人员：何炳岳，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京,11