一种软投票策略的加密恶意流量检测方法技术

本发明专利技术公开了一种软投票策略的加密恶意流量检测方法。本发明专利技术首先捕获流量包，将所捕获流量打上恶意/良性标签；对流量包进行预处理；对预处理后的流量包进行特征提取，并使用所提取的特征构建两个特征子集；对两个特征子集进行标准化和编码、特征子集降维、特征子集组合处理，进而构成样本集，并划分为训练集和测试集；建立投票器模型，调节投票器模型参数，采用层次分析法确定投票器模型权重；建立软投票的SWVC检测模型，训练模型；检验模型，使用准确率、F1分数和误报率3个指标来评估SWVC检测模型的性能。本发明专利技术采用多特征组合和软投票策略相结合的方式实现对加密恶意流量的检测，具有较强的检测能力。有较强的检测能力。有较强的检测能力。

An encrypted malicious traffic detection method based on soft voting strategy

【技术实现步骤摘要】
一种软投票策略的加密恶意流量检测方法


[0001]本专利技术属于数据识别中的加密恶意流量检测领域，尤其涉及一种软投票策略的多模型加权投票(SWVC)加密恶意流量检测方法。

技术介绍

[0002]近年来，网络已经普及到生活中的方方面面，而网络攻击也在急速增长，例如数据泄露、挖矿病毒等安全事件频发。为了保护用户隐私和上网的安全性，许多站点和应用都对自己的通信采取加密措施。现在，已经有一半的流量都采用TLS(Transport Layer Security)加密协议来加密通信。然而加密技术是一把双刃剑，在合法流量加密的同时，携带蠕虫、木马的恶意软件也采用TLS加密协议来伪装攻击行为，进而侵入主机，产生恶意行为。
[0003]若没有解密技术，就无法得知流量内包含的信息。但解密技术硬件开销大，成本高，不符合保护用户上网隐私的初衷。由于近年来计算机技术的飞速发展，计算机的计算能力有了显著提升，机器学习和深度学习技术也日趋成熟，国内外许多学者开始研究使用机器学习或深度学习的方法来检测网络中的加密流量。例如，思科研究TLS握手的过程，结合机器学习建立了一套TLS加密恶意流量检测系统。还有学者研究基于时序的LSTM神经网络来解决此类问题。
[0004]过去常用基于深度包检测和解密的方法，一方面，这两种方法解析的是数据包底层信息，侵犯了用户的上网隐私，另一方面，该方法也存在误报率高的问题，给网络安全从业人员带来了诸多麻烦。如今，基于机器学习的加密恶意流量检测方法已经成为主流研究方法，但是，加密流量检测存在以下问题：(1)加密流量特征类别多样，单一模型不适应于处理多元异构的特征；(2)加密恶意流量检测误报率高。

技术实现思路

[0005]针对现有技术存在的不足和缺陷，本专利技术提供了一种加密恶意流量检测方法，旨在检测过程中综合考虑流级特征、连接特征、TLS握手特征和X.509证书特征，结合软投票策略解决以上问题。
[0006]本专利技术的技术路线是在不解密TLS加密协议的情况下，提取流级特征、连接特征、TLS握手特征和X.509证书特征来检测混合流量中的TLS加密恶意流量。技术思路是获取完整的pcap流量包，对数据包进行特征提取，按照特征类别组合成2个特征子集，对这2个特征子集分别进行标准化和编码处理，处理后的特征子集进行特征降维和多特征融合，构建样本集；建立5个投票器模型，使用控制变量法或网格搜索法调节模型参数，使用层次分析法确定每个投票器的权重，构成权重矩阵；根据软投票策略和权重矩阵组合5个投票器模型构成SWVC检测模型；将训练集输入SWVC检测模型，训练模型；利用测试集检验训练完成的SWVC检测模型，使用准确率、F1分数和误报率来评估模型性能。
[0007]根据以上实验思路，实现本专利技术目的的技术方案包括以下步骤：
[0008]首先，捕获原始的流量包：
[0009]在特定的环境下执行恶意程序，捕获恶意软件运行过程中所产生的恶意流量，得到原始的恶意流量包；捕获网络正常情况下产生的流量，得到原始的良性流量包；
[0010]进一步地，数据预处理，将流量包中IP校验和无效的流量过滤，得到纯净的恶意流量包和良性流量包；
[0011]进一步地，解析流量包，进行特征提取，得到流级特征、连接特征、TLS握手特征和X.509证书特征，其中，TLS握手特征由Client Hello和Server Hello两部分组成，采用流指纹组合每条流的不同特征；
[0012]进一步地，将流级特征和连接特征通过流指纹进行融合，构成流特征子集；将TLS握手特征和X.509证书特征通过流指纹进行融合，构成TLS特征子集；将流特征子集进行标准化，得到标准流特征子集，将TLS特征子集进行one
‑
hot编码，得到稀疏TLS特征子集；
[0013]进一步地，采用特征重要性评估法，对标准流特征子集的每一个维度的特征进行重要性评估，选取特征重要性大于0.01的特征作为降维后的流特征子集X1；采用主成分分析法(PCA)设置累计最大特征贡献率ε≥90％，对稀疏TLS特征子集进行特征降维，得到降维后的TLS特征子集X2；
[0014]进一步地，通过流指纹将两个降维后的特征子集X1，X2进行特征融合，添加一个TLS流的标注特征，得到特征集X，特征集X与标签值Y构成样本集，并将样本集划分为训练集和测试集；
[0015]进一步地，建立决策树分类器、K近邻分类器、高斯朴素贝叶斯分类器、极限随机树分类器和GBDT分类器5个投票器模型，采用网格搜索法或控制变量法调节投票器参数；采用层次分析法构建判断矩阵，进而得到5个投票器各自的权重ω
i
，进而得到权重矩阵ω＝[ω1,ω2,ω3,ω4,ω5]；
[0016]进一步地，根据软投票策略，将5个投票器按权重矩阵ω组合，构成SWVC检测模型；
[0017]进一步地，将训练集输入SWVC检测模型，训练模型；将测试集输入训练完成的SWVC检测模型进行预测，并使用准确率、F1分数和误报率评估SWVC检测模型性能，其中F1分数是精确率和召回率的调和平均数，精确率和召回率同等重要，权重均为1。
[0018]本专利技术相比现有技术的有益效果为：
[0019]1.针对样本中的TLS加密流量添加了一个4维TLS版本号特征，能够在使用单标签的情况下准确的检测出恶意/良性流量中的TLS加密流量，有利于网络流量分析员精准的定位检测到的TLS加密恶意流量，进而提高响应速度；
[0020]2.根据特征工程的原理和处理方式，对流量包进行特征提取、特征子集构建、特征子集标准化和编码以及多特征融合，大大提高了投票器模型的训练效果，进而提高了检测的准确率；
[0021]3.采用异构的机器学习模型作为投票器，能够减少SWVC检测模型对数据的倾向性和偏差，进而防止检测模型训练过拟合，提高检测模型的泛化能力。
附图说明
[0022]为了更清楚的表述本专利技术的技术方案，下面对本专利技术需要使用的附图进行简要介绍，如下所述附图仅为展示本专利技术的实施方式，而并不是对本专利技术的限制。
[0023]图1为本专利技术实施例提出的一种软投票策略的加密恶意流量检测方法的流程图；
[0024]图2为本专利技术实施例提出的一种软投票策略的加密恶意流量检测方法的设计图；
[0025]图3为本专利技术实施例提出的SWVC检测模型的原理图。
具体实施方式
[0026]如图1
‑
3所示，本专利技术实施例提供的一种软投票策略的加密恶意流量检测方法，检测模型设计过程为：捕获原始的流量包，进行数据预处理后得到恶意流量包和良性流量包，并打上恶意/良性标签，对预处理后的流量包进行特征提取，进而构建特征子集、特征子集标准化和编码、特征子集降维，将降维后的特征子集组合后，添加TLS流标注特征，构成样本集；建立投票器模型，采用控制变量法或网格寻优法调节投票器参数，采用层次分析法确定投票器权重，并构成权重矩阵；通过软投票策略将5个投票器模型和对应的权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软投票策略的加密恶意流量检测方法，其特征在于，包括以下步骤：步骤一，捕获流量包，构建原始流量数据集；步骤二，过滤原始流量数据集中IP校验和无效的流量，并打上恶意/良性标签；步骤三，解析流量包，进行特征提取，提取流级特征、连接特征、TLS握手特征和X.509证书特征，并采用流指纹组合每条流量的不同特征；步骤四，将所述流级特征和连接特征通过流指纹组合，构成流特征子集，所述TLS握手特征和X.509证书特征通过流指纹组合，构成TLS特征子集，并将所述流特征子集进行标准化，得到标准流特征子集，将所述TLS特征子集采用ont
‑
hot方式进行编码，得到稀疏TLS特征子集；步骤五，采用特征重要性评估法和主成分分析法分别对标准流特征子集和稀疏TLS特征子集进行特征降维；步骤六，采用流指纹组合降维后的标准流特征子集和稀疏TLS特征子集，并添加一个TLS流的标注特征，得到特征集X；将特征集X与标签值Y构成样本集T，并将T划分为训练集和测试集；步骤七，建立投票器模型，采用网格搜索法和控制变量法对投票器模型进行参数调节，采用层次分析法确定每一个投票器模型的权重ω
i
，所有投票器模型的权重组成权重矩阵ω；步骤八，根据权重矩阵ω采用加权策略组合投票器模型，建立基于软投票策略的多模型加权投票(SWVC)检测模型；步骤九，将训练集输入SWVC检测模型进行训练，使用训练完成的SWVC检测模型对测试集进行预测，并使用准确率、F1分数和误报率3个指标对检测模型进行评估，所述F1分数是精确率和召回率的调和平均数。2.如权利要求1所述的一种软投票策略的加密恶意流量检测方法，其特征在于，所提取的流级特征、连接特征、TLS握手特征和X.509证书特征包括：流级特征，包括流的特征和到达过程；连接特征，包括跟踪TCP/UDP建立连接的过程；...

【专利技术属性】
技术研发人员：霍跃华，赵法起，李晓宇，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：