一种多推理引擎兼容的实时流量检测系统和方法技术方案

本发明专利技术公开了一种多推理引擎兼容的实时流量检测系统和方法，属于通信与信息安全技术领域，所述系统包括：接收模块用于从网卡上接收数据包；分流模块用于以数据包的五元组为哈希的键，使用非对称哈希算法将数据包按流分类或使用对称哈希算法将数据包按会话分类；提交模块用于将流或会话转化为张量格式的数据并提交；检测模块基于推理引擎适配器对应的兼容API接口将张量格式的数据输入训练好的离线模型进行流量检测，从而获取计算结果；输出模块用于解析计算结果并输出检测日志。本发明专利技术通过在系统中引入高性能数据包处理技术及水平扩展等方式提升系统的收发包性能和吞吐量；同时基于推理引擎适配器使得系统可兼容多种不同推理引擎。推理引擎。推理引擎。

【技术实现步骤摘要】
一种多推理引擎兼容的实时流量检测系统和方法


[0001]本专利技术属于通信与信息安全
，更具体地，涉及一种多推理引擎兼容的实时流量检测系统和方法。

技术介绍

[0002]近年来，利用机器学习方法进行网络流量的检测近年来成为研究重点，其中深度学习强大的特征表达能力对愈发困难的恶意流量特征提取起到了重要作用，端到端的模式省略了手工设计特征的步骤，加快了对新型攻击手段或指令的检测覆盖。然而大多数研究强调检测的正确率，因此它们通常采用复杂的模型和数据预处理方法，导致计算效率低下。但是为了尽可能减少危害，入侵检测系统需要实时检测攻击。
[0003]当前广泛部署的基于网络流量的入侵检测系统有Snort/Suricata/Zeek，其中Snort和Suricata都是基于规则的，通过匹配规则数据库进行检测；Zeek既支持规则，也支持通过自定义脚本来扩展功能。这些入侵检测系统目前都没有在规则数据库和脚本中提供机器学习的支持。有一些研究构建了基于机器学习的实时入侵检测系统，在低负载网络情况下取得了良好的效果。可随着网络流量处理需求的不断增大，网卡的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多推理引擎兼容的实时流量检测系统，其特征在于，包括：接收模块，用于从网卡上接收数据包，所述网卡支持DPDK及其提供的轮询模式驱动、接收侧水平扩展和无锁队列；分流模块，与所述接收模块连接，用于以数据包的五元组为哈希的键，使用非对称哈希算法将数据包按流分类或使用对称哈希算法将数据包按会话分类；提交模块，与所述分流模块连接，用于将所述分流模块生成的流或会话转化为张量格式的数据并提交；检测模块，与所述提交模块连接，加载有训练好的离线模型，用于基于推理引擎适配器对应的兼容API接口将所述张量格式的数据输入所述训练好的离线模型进行流量检测，从而获取计算结果；输出模块，与所述检测模块连接，用于解析所述计算结果并输出检测日志。2.如权利要求1所述的多推理引擎兼容的实时流量检测系统，其特征在于，所述接收模块、所述分流模块、所述提交模块、所述检测模块和所述输出模块都包含一个或多个线程，各个线程之间使用无锁队列进行通信。3.如权利要求2所述的多推理引擎兼容的实时流量检测系统，其特征在于，所述接收模块包含多个线程，每个线程对应一个网卡队列，所述网卡队列用于存放所述网卡接收的数据包；所述分流模块包含多个线程，每个线程对应一个分流队列；所述分流队列用于存放所述接收模块分配给所述分流模块的数据包；所述提交模块包含多个线程并对应一个提交队列，所述提交队列用于存放所述分流模块处理得到的流或会话；所述检测模块包含多个线程并对应一个检测队列；所述检测队列用于存放所述张量格式的数据；所述输出模块包含多个线程，但只有一个输出队列，所述输出队列用于存放所述计算结果。4.如权利要求1所述的多推理引擎兼容的实时流量检测系统，其特征在于，所述兼容多推理引擎的实时流量检测系统还包括：中继模...

【专利技术属性】
技术研发人员：张成伟，王淇营，卢玮，赵千千，李瑞源，钟国辉，高雅玙，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：