一种基于深度学习的异常网络连接检测方法技术

本发明专利技术涉及一种基于深度学习的异常网络连接检测方法，对每个网络流记录提取网络连接标识字段，并根据网络连接标识字段，对所有网络流记录进行聚合；构建一个基于深度神经网络的网络连接模型；构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，得到对网络连接的检测结果；使用数据集对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到预期效果则训练结束并保存网络参数及结构；将待检测网络连接记录输入训练完成的网络连接模型和异常网络连接检测器的组合模型，输出异常网络连接记录。本发明专利技术能发现异常网络连接，且不依赖于人工建立的网络连接模型。

【技术实现步骤摘要】
一种基于深度学习的异常网络连接检测方法
本专利技术涉及一种基于深度学习的异常网络连接检测方法，属于网络安全

技术介绍
随着计算机技术和互联网的迅速发展，互联网越来越成为一种人们日常生活工作中不可或缺的工具，其正在深刻影响着人类社会的方方面面。与此同时，互联网面临的网络安全问题也是前所未有的，各种攻击事件也愈发频繁和严重，人们在使用互联网过程中的异常网络连接也变得越来越常见。这些异常网络连接会导致诸如网页打开速度缓慢、网页异常跳转甚至个人信息泄露等严重信息安全问题。因此对异常网络连接进行快速有效地检测显得尤为重要。对异常网络连接进行检测方法的主要流程一般包括收集相关网络连接数据并构建训练数据集，人工建立相关行为模型或提取特征组，训练检测模型，最后利用训练好的检测模型进行异常网络连接的检测。经过对现有技术的检索发现，中国专利文献号CN106452955A公开(公告)日2017.02.22，公开了一种异常网络连接检测方法：具体包括基于信息系统网络连接样本建立信息系统业务访问模型；所述信息系统业务访问模型包括客户端正常行为模型、服务器正常行为模型和客户端业务访问模式模型；基于所述信息系统业务访问模型检测异常网络连接。但该方法需要人工建立三个访问模型，这对安全研究人员具有很高的要求，这些行为模型是完全基于安全人员工程经验的，过程十分麻烦，并且模型只适用于该场景，一旦场景发生变化模型效果就会大打折扣。中国专利文献号CN103944757A公开(公告)日2014.07.23，公开了一种网络异常检测的方法和装置，该方法包括：获取多个检测项，其中，多个检测项包括浏览器的动态链接库文件，且多个检测项还包括网络连接状态信息、网络配置信息、浏览器配置信息中的一种或多种；分别提取多个检测项的特征信息；以及根据多个检测项分别对应的特征信息对多个检测项进行检测以获取至少一个异常项。该方法虽然能够检测和分析网络异常，但是需要获取多个检测项，并且同时需要人工提取多个检测项的特征信息，这是非常耗时且麻烦的，而且提取的特征直接影响最终的检测效果，方法的鲁棒性也不够好。总之，现有方法普遍需要人工特征抽取或建立复杂模型，该过程麻烦且耗时，而且所构建的模型鲁棒性不够好，应用场景的局限性较强，可移植性较低。由于深度学习模型强大的特征抽取和建模能力，和人工建模或特征抽取相比具有极大的优势，因此针对异常网络连接检测，提出一种基于深度学习的异常网络连接检测方法。
技术实现思路
本专利技术技术解决问题：解决现有技术中异常网络连接检测中的不足，提供一种基于深度学习的异常网络连接检测方法，采用深度学习方法作为异常网络连接检测方法，直接基于网络流历史数据对网络连接模式进行建模，能够在保证模型训练和检测效果的前提下，具有不用人工对行为模式进行建模、鲁棒性好、易于更新等优点。为实现上述目的，本专利技术采取以下技术方案：(1)数据清洗与分割。对具有标签的输入网络流记录(Flow)数据进行数据清洗，得到可用的网络流记录数据集，并将数据集拆分为训练数据集和验证数据集；(2)特征向量生成。对所有网络流记录进行特征抽取，并对特征进行标准化处理，对每个网络流记录生成一个特征向量；(3)网络连接聚合。对每个网络流记录提取网络连接标识字段，并根据网络连接标识字段，对所有网络流记录进行聚合，生成数据集中的所有网络连接(Connection)，每个网络连接由(2)中的特征向量构成的一个特征向量序列进行描述；(4)网络连接模型构建与训练。构建一个基于深度神经网络的网络连接模型，使用训练数据集中的每个网络连接的特征向量序列，对该网络连接模型进行训练，完成对正常网络连接模式和对异常网络连接模式的建模，得到对网络连接的向量表达形式；(5)异常网络连接检测器构建与训练。构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，完成对正常网络连接和异常网络连接的检测，得到对网络连接的检测结果；(6)模型验证与调参优化。使用验证数据集中的每个网络连接的特征向量序列，对异常网络连接检测器进行测试，根据异常网络连接检测器的检测效果，对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到预期效果则训练结束并保存网络参数及结构；(7)异常网络连接检测。异常网络连接检测时，待检测网络流数据经过数据清洗、特征向量生成、网络连接聚合后得到每个网络连接的特征向量序列，将每个网络连接的特征向量组输入训练完成的异常网络连接检测器进行异常网络连接检测，最终输出异常网络连接记录。进一步地，所述数据清洗中数据清洗操作包括去除重复网络数据流记录和删除格式非法网络数据流记录。进一步地，所述特征向量生成中特征抽取的特征包括开始时间、持续时间、传输数据包总量、传输数据总大小、源IP发送数据总大小。进一步地，所述网络连接聚合中网络连接标识字段包括源IP、目的IP、目的端口和所用协议。进一步地，所述网络连接聚合中的特征向量序列指由一组特征向量构成的一个序列。进一步地，所述网络连接模型构建与训练中基于深度神经网络的网络连接模型使用深度循环神经网络。进一步地，所述网络连接聚合中聚合得到的不同的网络连接，其特征向量序列中包含的特征向量个数不一定相同。因此本专利技术提供了一种对不定长输入序列的方法，解决因此导致的模型不收敛情况。所述对不定长序列处理的方法包括：1)将所有网络连接的特征向量序列统一为一个指定的最大长度的特征向量序列；2)在网络连接模型中对统一序列长度后的特征向量序列进行还原；3)对深度神经网络进行权值初始化，并使用还原后的特征向量序列进行模型训练。本专利技术由于采取以上技术方案，其具有以下优点：(1)省去了人工对网络连接模式进行建模的过程，直接使用深度学习技术进行端到端的行为模型建模；(2)可对未知或高级复杂网络异常行为模式进行建模并检测；(3)模型对网络连接模式的鲁棒性较好，可以应对一定程度的变化，同时具有较低的误报率；(4)模型易于更新，对于具有全新行为模式的网络，本专利技术只需对深度学习模型重新训练即可，相比于现有方法更加便捷。附图说明图1示出本专利技术提供的一种基于深度学习的异常网络连接检测方法的总体流程图；图2示出本专利技术实施例提供的一种基于深度学习的异常网络连接检测方法的总体框架图；图3示出本专利技术实施例提供的数据结构操作变换示意图；图4示出本专利技术实施例所用基于深度神经网络的网络连接模型和异常网络连接检测器组合模型结构示意图。具体实施方式为了使本专利技术的目标、技术方案及优点更加清楚明白，以下将结合本专利技术实施例中的附图对本专利技术进行进一步详细说明。应当理解为，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1所示，本专利技术基于深度学习的异常网络连接检测方法包括：步骤1，数据清洗与分割。本专利技术首先对网络数据流记录进行数据清洗操作，包括：(1)去除重复的网络数据流记录；(2)删除格式非法网络数据流记录，得到可用的网络数据流样本；(3)将数据集拆分为训练数据集和测试数据集，其中训练数据集和测试数据集样本数量比为8:2。其中，在本专利技术一实施例中，最终得到的网络数据流记录样例数据本文档来自技高网...

【技术保护点】
1.一种深度学习的异常网络连接检测方法，其特征在于，包括以下步骤：第一步，对输入的原始网络流记录数据进行数据清洗，得到干净网络流记录数据集，并将所述干净网络流记录数据集拆分为训练数据集和验证数据集；第二步，对所述干净网络流记录数据集进行特征抽取，并对抽取后的特征进行标准化处理，从而对网络流记录数据集中的每个网络流记录生成特征向量；第三步，对所述干净网络流记录数据集中的网络流记录提取网络连接标识字段，并根据所述网络连接标识字段对网络流记录进行聚合，生成所述网络流记录数据集中的所有网络连接，所述网络连接由第二步中特征向量构成的特征向量序列进行描述；第四步，构建网络连接模型，使用第三步中的特征向量序列对网络连接模型进行训练，完成对正常网络连接模式和异常网络连接模式的建模，网络连接模型输出最终输出为网络连接的向量表达形式；第五步，构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，完成对正常网络连接和异常网络连接的检测，得到网络连接的检测结果；第六步，使用验证数据集中的网络连接特征向量序列对异常网络连接检测器进行测试，根据异常网络连接检测器的检测效果，对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到期望检测效果，则训练结束并保存网络参数及结构，从而完成异常网络连接检测。...

【技术特征摘要】
1.一种深度学习的异常网络连接检测方法，其特征在于，包括以下步骤：第一步，对输入的原始网络流记录数据进行数据清洗，得到干净网络流记录数据集，并将所述干净网络流记录数据集拆分为训练数据集和验证数据集；第二步，对所述干净网络流记录数据集进行特征抽取，并对抽取后的特征进行标准化处理，从而对网络流记录数据集中的每个网络流记录生成特征向量；第三步，对所述干净网络流记录数据集中的网络流记录提取网络连接标识字段，并根据所述网络连接标识字段对网络流记录进行聚合，生成所述网络流记录数据集中的所有网络连接，所述网络连接由第二步中特征向量构成的特征向量序列进行描述；第四步，构建网络连接模型，使用第三步中的特征向量序列对网络连接模型进行训练，完成对正常网络连接模式和异常网络连接模式的建模，网络连接模型输出最终输出为网络连接的向量表达形式；第五步，构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，完成对正常网络连接和异常网络连接的检测，得到网络连接的检测结果；第六步，使用验证数据集中的网络连接特征向量序列对异常网络连接检测器进行测试，根据异常网络连接检测器的检测效果，对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到期望检测效果，则训练结束并保存网络参数及结构，从而完成异常网络连接检测。2.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第一步中，数据清洗包括去除重复网络数据流记录和删除格式非法网络数据流记录。3.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第二步中，生成特征向量中的特征包括：开始时间、持续时间、传输数据包总量、传输数据总大小、源IP发送...

【专利技术属性】
技术研发人员：马卫，王利明，杨婧，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11