一种基于多元数据收集的混合入侵检测方法技术

本发明专利技术涉及网络攻击入侵检测领域，具体涉及一种基于多元数据收集的混合入侵检测方法，随着攻击手段的复杂化和服务数据的多样化，面对新型攻击行为的不断涌现，传统基于单一的数据源的入侵检测方法已经不能适应新形势下网络空间安全问题。为此，本发明专利技术提出一种利用多元数据的混合入侵检测技术，综合考虑进程语义数据的特征、时间序列数据的特性及多元数据的融合数据特征，综合利用多元数据实现混合入侵检测。检测。检测。

【技术实现步骤摘要】
一种基于多元数据收集的混合入侵检测方法


[0001]本专利技术属于网络攻击入侵检测领域，尤其涉及一种基于多元数据收集的混合入侵检测方法。

技术介绍

[0002]随着攻击手段的复杂化和服务数据的多样化，面对新型攻击行为的不断涌现，传统的入侵检测方法已经不能适应新形势下网络空间安全问题。具体而言，基于签名检测的入侵检测是基于已知特征的，无法识别新的攻击；而基于异常的检测技术利用特定用户已建立的模式的偏差来识别入侵，检测具有高假阳性率。另一方面，目前已有的入侵检测数据集已经不能满足日益更新的网络入侵手段，需要有新的数据集对检测模型进行训练，以提升模型的有效性及鲁棒性。此外，传统的机器学习算法已经无法满足现有的检测需要，并且不同的检测数据需要使用更佳匹配的算法。使用单一的数据源进行入侵检测会导致关键信息的缺失，因此，新形势下的入侵检测系统必须实现全流程下的入侵检测，针对每一个攻击步骤的关键点设置检测手段，监控多元数据并进行混合检测。
[0003]为此，本专利技术提出一种利用多元数据的混合入侵检测技术，综合考虑进程语义数据的特征、时间序列数据的特性及多元数据的融合数据特征，综合利用多元数据实现混合入侵检测技术。

技术实现思路

[0004]本专利技术的目的是克服现有技术中的不足，提供一种基于多元数据收集的混合入侵检测技术。
[0005]这种混合入侵检测技术，包括以下步骤：
[0006]S1、基于数据包捕获函数库与日志分区技术，设计系统调用模块与Shell行为收集模块，采集用于网络入侵检测的多元数据；
[0007]S102、基于数据包捕获函数库，抓取网络数据包、过滤数据并构建网络数据词汇表；
[0008]S104、基于日志分区技术，完成对系统日志数据的采集；
[0009]S106、针对攻击行为伴随系统调用进程的特性，实现系统调用数据采集；
[0010]S108、利用跟踪点内核设施，采集Shell行为数据；
[0011]S110、根据多元数据与入侵检测模式，设计数据筛选算法与分布式存储方法；
[0012]S2、基于数据解析工具与序列检测技术，实现多元数据的定量特征提取；
[0013]S202、基于数据解析软件包与特征计数，解析多元时间序列数据的定量特征；
[0014]S204、设计序列检测技术，完成进程语义数据的特征提取；
[0015]S3、基于特征压缩与特征融合，将多元特征压缩、融合为单个高维数据特征；
[0016]S4、基于主成分分析技术，设计入侵检测模式，识别数据中的异常，生成检测信息；
[0017]S5、利用单变量平方法，确定与入侵异常相关的特征，生成诊断前信息；
[0018]S6、基于数据解析工具，利用检测和诊断前信息，识别与异常相关的原始数据记录；
[0019]进一步的，S102中所述的网络数据词汇表方法，包括：
[0020]将网卡设置为Mix模式，采用捕获网络流量的应用程序接口对网络数据包进行抓包。具体而言，利用捕获引擎通过物理接口捕获ICMP、TCP和UDP数据包。在获取到网络数据包后，构建词汇表利用过滤器进行预处理得到网络数据包。数据包由数据包头和数据包有效载荷组成，本专利将数据包头的特征域中的值视为单词，词汇表是所有可能的特征值的集合，从数据包头中选择了16个特征字段，主要表示拒绝服务、网络侦查、欺诈、身份越权与权限爆破等特征。
[0021]进一步的，S104中所述的系统日志数据采集方法，包括：
[0022]考虑到现代软件系统通常采用微服务架构，并包含大量在多线程环境中运行的模块，不同的微服务或模块通常将它们的执行日志聚合到一个日志文件中，基于日志分区技术，本专利将交错的日志分成不同的组，每个组代表单个系统任务的执行。分区日志组是构建日志挖掘模型之前提取特征的基本单元，使用时间戳和日志标识符作为日志分割器。
[0023]进一步的，S106中所述的系统调用数据采集方法，包括：
[0024]利用系统调用收集器跟踪在特定目标内执行的系统调用，同时跟踪由该目标产生的程序的系统调用。系统调用收集器的输出信息包含适用于特定决策引擎的任何用户定义的可执行特征，产生特定系统调用序列自适应调整参数来决定生成质量，以及用于决策引擎比较的文本序列和减小的文件集大小。
[0025]进一步的，S108中所述的Shell行为数据采集方法，包括：
[0026]设计跟踪点内核设施，安装一个由内核中的特定函数调用的处理程序，为进入和退出系统调用以及进程调度事件注册跟踪点，利用探测程序将这些事件的细节复制到共享缓冲区中，并对其进行编码以供以后使用。
[0027]将网络入侵行为视为序列数据，攻击者执行的操作由某些系统上的初始状态到目标状态，其中状态是系统状态的快照，表示所有易失性、半永久性和永久性存储位置。系统上的初始状态对应于系统在被入侵之前的状态，受损状态对应于由完成渗透传入的流事件被分割成重叠的固定长度序列。序列数据长度L的选择取决于配置文件的用户，每个序列被视为L维空间中的一个实例，与已知的配置文件相比。配置文件T，是一组先前存储的实例，所有y∈{T}和测试序列之间通过相似性进行比较。相似性由Sim(x,y)度量定义，对两个序列x和y进行逐点比较，计算匹配项并分配更大的权重。
[0028]进一步的，S110所述的数据筛选算法与分布式存储方法，包括：
[0029]为了使数据集贴合实际情况并真实有效，本专利需要对数据筛选算法进行有效设计，方案如下：输入是一个序列，通过某种神经网络算法进行端到端训练，最后输出相应的分类概率。序列分类的深度学习算法分为生成和区分两种方法。生成公式包括自动编码器和回声状态网络之类的算法，判别公式包括序列特征工程和各种监督算法以及端到端深度学习方法。端到端深度学习方法包括通用算法，例如前馈神经网络，卷积神经网络和混合模型。模型的评估指数使用平均每类错误，它是指多类场景中每个类(类)的平均错误率。有D＝{d
k
}
1≤k≤K
，其中D代表数据集，d
k
代表数据集中的元素，K代表每个数据集。C＝{c
k
}
1≤k≤K
，其中C代表一组类别，c
k
代表每种类别类型。所有数据集中单个类的预期错误率的公式如下，：
[0030][0031]作为深度神经网络，可以通过具有动量的随机梯度下降进行训练。为了提高效率，本专利选择将交叉熵作为模型的损失函数。
[0032]进一步的，S202中所述的多元时间序列数据的定量特征解析方法，包括：
[0033]从网络中捕获的信息通常以系统日志或网络跟踪的形式呈现，不能直接用于提供典型的异常检测工具。因此，需要进行某种特征工程和解析，以产生可用于数据建模的定量特征。
[0034]基于主成分分析技术，本专利考虑针对多元时间序列数据(网络数据包与系统日志)，提出了特征即网络流计数器的方法：将数据计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多元数据收集的混合入侵检测方法，其特征在于，该方法包括以下步骤：S1、基于数据包捕获函数库与日志分区技术，设计系统调用模块与Shell行为收集模块，采集用于网络入侵检测的多元数据；S102、基于数据包捕获函数库，抓取网络数据包、过滤数据并构建网络数据词汇表；S104、基于日志分区技术，完成对系统日志数据的采集；S106、针对攻击行为伴随系统调用进程的特性，实现系统调用数据采集；S108、利用跟踪点内核设施，采集Shell行为数据；S110、根据多元数据与入侵检测模式，设计数据筛选算法与分布式存储方法；S2、基于数据解析工具与序列检测技术，实现多元数据的定量特征提取；S202、基于数据解析软件包与特征计数，解析多元时间序列数据的定量特征；S204、设计序列检测技术，完成进程语义数据的特征提取；S3、基于特征压缩与特征融合，将多元特征压缩、融合为单个高维数据特征；S4、基于主成分分析技术，设计入侵检测模式，识别数据中的异常，生成检测信息；S5、利用单变量平方法，确定与入侵异常相关的特征，生成诊断前信息；S6、基于数据解析工具，利用检测和诊断前信息，识别与异常相关的原始数据记录。2.如权利要求1所述的一种基于多元数据收集的混合入侵检测方法，其特征在于，S1所述的多元数据采集方法，包括：根据网卡设置模式，采用捕获网络流量的应用程序接口对网络数据包进行抓包。利用捕获引擎通过物理接口捕获ICMP、TCP和UDP数据包。在获取到网络数据包后，构建词汇表利用过滤器进行预处理得到网络数据包。根据微服务架构模式，基于日志分区技术，将交错的日志分成不同的组，每个组代表单个系统任务的执行。分区日志组是构建日志挖掘模型之前提取特征的基本单元，使用时间戳和日志标识符作为日志分割器。利用系统调用收集器跟踪在特定目标内执行的系统调用，同时跟踪由该目标产生的程序的系统调用。系统调用收集器的输出信息包含适用于特定决策引擎的任何用户定义的可执行特征，产生特定系统调用序列自适应调整参数来决定生成质量，以及用于决策引擎比较的文本序列和减小的文件集大小。设计跟踪点内核设施，安装由内核中的特定函数调用的处理程序，为进入和退出系统调用以及进程调度事件注册跟踪点，利用探测程序将这些事件的细节复制到共享缓冲区中，并对其进行编码以供以后使用。3.如权利要求1所述的一种基于多元数据收集的混合入侵检测方法，其特征在于，S2中所述的多元数据的定量特征提取方法，包括：根据主成...

【专利技术属性】
技术研发人员：郭银锋，虞雁群，吴艳，刘彦伸，
申请(专利权)人：浙江御安信息技术有限公司，
类型：发明
国别省市：