一种高速网络数据包捕获方法及系统技术方案

本发明专利技术实施例涉及数据捕获技术领域，公开了一种高速网络数据包捕获方法及系统，该方法包括：确定数据包捕获的捕获参数，根据数据捕获端口设置若干缓存区间；构造对应于每一缓存区间的若干分布式捕获模型；控制若干分布式捕获模型捕获数据包，并将数据包缓存至所述若干缓存区间中得到数据缓存；对数据缓存进行数据清洗，得到目标数据包。本发明专利技术实施例通过对数据包进行分布式捕获，并在多个缓存区间进行分布式缓存，在原有设备的基础上实现了对高速网络进行数据包捕获，实施便捷，成效显著，成本未发生明显上涨。发生明显上涨。发生明显上涨。

【技术实现步骤摘要】
一种高速网络数据包捕获方法及系统


[0001]本专利技术涉及数据捕获
，尤其涉及一种高速网络数据包捕获方法及系统。

技术介绍

[0002]随着网络终端的普及与应用，诸多商业平台将运营主体与服务迁移至线上网络，交互流程中产生了巨量的网络数据，而依托于网络数据，网络防护、流量分析、数据传输等领域均得到了快速发展。在上述领域中，网络防护领域需要对各类数据包进行检测分析，流量分析领域的分析主体同样是交互过程的数据包，数据传输领域需要对数据包进行压缩、封装等处理。可见，通过数据捕获技术捕获网络环境中的数据包，是互联网行业中的重要操作。
[0003]在捕获数据包时，数据包中的数据经过压缩封装，且部分数据包经过了加密处理，捕获时难以即时识别有效数据，因而通常会将传输信道中全部的数据包进行捕获再加以筛选。而在当前的高速网络下，由于网络带宽极速增长，终端所接收与发送的数据量也随带宽与网络业务的发展而急速增长，若采用以往的数据包捕获方式，对这些数据尽数捕获，则在存储空间、传输信道带宽及处理速度等方面均无法满足现有要求，若采取升级硬件设备的方式，则设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高速网络数据包捕获方法，其特征在于，所述方法包括：确定数据包捕获的捕获参数，所述捕获参数包括数据捕获端口及数据类型；根据所述数据捕获端口设置若干缓存区间；构造对应于每一所述缓存区间的若干分布式捕获模型；控制若干所述分布式捕获模型捕获数据包，并将所述数据包缓存至所述若干缓存区间中得到数据缓存；对所述数据缓存进行数据清洗，得到目标数据包。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据捕获端口设置若干缓存区间，包括：根据所述数据捕获端口、所述数据类型及高速网络的带宽，确定瞬时数据流量；基于所述瞬时数据流量、所述缓存区间的吞吐效率及缓存容量，确定所述缓存区间的设置数量；针对特定数据类型关联若干所述缓存区间，或者，针对特定缓存区间关联若干所述数据类型，设置完成若干所述缓存区间。3.根据权利要求2所述的方法，其特征在于，所述构造对应于每一所述缓存区间的若干分布式捕获模型，包括：根据每一所述缓存区间所关联的若干所述数据类型，在数据特征库中检索每一所述缓存区间所需缓存数据类型对应的数据特征，所述数据特征库中存储有若干所述数据类型及对应于所述若干数据类型的数据特征；针对每一所述数据类型的数据特征确定缓存方式及缓存期限；基于所述缓存方式及缓存期限，对应于每一所述缓存区间构建得到若干所述分布式捕获模型。4.根据权利要求3所述的方法，其特征在于，所述对所述数据缓存进行数据清洗，得到目标数据包，包括：对所述数据缓存进行数据有效性检测，筛除无效数据得到有效数据集；采用与所述有效数据集的数据类型相对应的压缩算法进行解压缩，得到按照数据类型进行分类的所述目标数据包。5.根据权利要求3所述的方法，其特征在于，在对所述数据缓存进行数据清洗，得到目标数据包之后，所述方法还包括：每一所述分布式捕获模型在达到其处理周期中的上传节点时，将所述目标数据包上传至服务器端；以及，每一所述分布式捕获模型在达到其处理周期中的删除节点时，将所述缓存区间中缓存超过缓存期限的数据缓存进行删除。6.一种高速网络数据包捕获系统，其特征在于，所述系统包括：参数确定单元，用于确定数据包捕获的捕获参数，所述捕...

【专利技术属性】
技术研发人员：弓睿智，王臣，
申请(专利权)人：北京锐服信科技有限公司，
类型：发明
国别省市：