一种基于设备类型的异常流量检测方法及装置制造方法及图纸

本发明专利技术公开一种基于设备类型的异常流量检测方法及装置，包括：构建设备mac地址和设备类型之间的映射关系；提取待检测流量中的设备mac地址，并基于所述映射关系，选取相应设备类型的异常流量检测模型；将所述待检测流量的流量特征输入相应设备类型的异常流量检测模型，得到异常流量检测结果。本发明专利技术能够自动化的识别产生流量的设备类型，并将其输入到与其设备类型绑定的异常流量检测模型中进行检测，更加及时、准确的发现网络中设备被攻击的状态，并进行警报。进行警报。进行警报。

【技术实现步骤摘要】
一种基于设备类型的异常流量检测方法及装置


[0001]本专利技术涉及流量检测领域，尤其涉及一种基于设备类型的异常流量检测方法及装置。

技术介绍

[0002]异常流量检测作为一种有效的防护手段，它通过监控设备的进出流量来发现设备被攻击的状态，相比于漏洞检测和基于签名的入侵检测，它具有部署成本低、及时发现未知攻击的优点。目前的异常流量检测方法主要是先进行流量特征提取，再将流量特征输入到模型中进行异常流量和正常流量的判别。根据异常流量检测的方法可以将异常流量检测分为基于分类的、基于统计的、基于机器学习的、基于深度学习的等四大类方法。随着机器学习、深度学习领域的发展，这两种方法成为了异常流量检测的广泛使用的算法之一。
[0003]Yisroel Mirsky(Mirsky Y,Doitshman T,Elovici Y,et al.Kitsune:An Ensemble of Autoencoders for Online Network Intrusion Detection[C]//Network and Distributed System Security Symposium.2018)等介绍了Kitsune：即插即用的NIDS。该NIDS使用基于自编码器来构造无监督的异常流量检测模型来检测，在线监测IDS模型，提高了无监督异常检测模型的准确率。Thien DucNguyen(Nguyen T D,Marchal S,Miettinen M,et al.D"IoT:A Federated Self
‑
learning Anomaly Detection System for IoT[J].2018.)提出一种能够有效检测受感染的IoT设备的自主自学习分布式系统，DIOT自动的识别物设备类型并为使用联邦学习的方法设备类型并建立正常的流量模型来用于检测异常流量，降低了异常流量检测模型的假阳率。安全公司绿盟技术提出了物联网准入网关IoT
‑
AG来保护拓展物联网设备的安全，通过使用设备主动探测发现技术，结合机器学习算法，访问关系白名单等实现管控联网设备行为的目的。安全公司奇安信提出了IoT接入控制系统解决网内各类型IoT设备大量使用场景下的安全接入管理问题，通过IoT设备的发现和识别、接入感知与用户识别、多类型设备的统一接入控制、仿冒检测和处置、安全合规检查、状态监控、IP地址管理与使用监控等模块实现安全管理功能。
[0004]但目前的异常流量检测技术的相关研究在训练模型时并没有对产生流量的设备类型加以区分，试图训练出一种能够广泛应用的异常流量检测模型。伴随着设备类型的丰富，成百上千的设备类型涌入市场，这为现有的异常流量检测方案带来了一些挑战。
[0005]首先是训练集收集的难度增大。为了保证模型训练效果，异常流量检测模型训练时需要涵盖所有的设备类型的正常流量，收集流量需要购买设备耗费大量的资金，而且也无法购买到所有的设备类型，收集到所有的正常流量模式。
[0006]其次是模型更新的成本增加。现在设备类型更新速度很快，流量的模型也会出现新的变化，需要对异常流量检测模型进行实时的更新来保证模型效果，增加了模型的更新频率。而且为了保证训练集的全面性往往训练集都非常的大，训练一次需要消耗较大的成本。无论更新频率的增加还是模型训练的高成本都加大了模型更新的成本。
[0007]最后是模型的识别准确率下降。由于异常流量检测模型在训练时不具有针对性，
各种设备类型的流量模式具有很大的差别，聚集在一起进行学习会影响机器学习方法的学习效果，导致异常检测模型会无法检测到流量微小的变化，模型检测的准确率会有所下降。
[0008]虽然有一些研究如绿盟技术的物联网准入网关IoT
‑
AG技术以及Thien DucNguyen等人开始将设备类型和异常流量检测结合起来，目前也存在一些缺陷。
[0009]首先，识别设备类型的方法不自动化。设备类型需要人工标注，或者提出的设备类型方法收集设备指纹收集难度比较大，难以大规模应用。绿盟技术的物联网准入网关IoT
‑
AG技术以及Thien DucNguyen等人提出设备识别技术都仅仅是针对物联网设备进行识别，覆盖范围有限。另一方面两者都是使用聚类的方法，就需要购买相应的设备来进行设备指纹收集，耗费资金大，设备指纹收集难。
[0010]其次，异常流量检测方法不适用。目前的异常流量检测研究仍集中在有监督的异常流量检测方法上，模型训练集需要包含异常流量。然而现有的设备类型成百上千，更新很快，大部分设备类型并没有专门的安全人员进行研究，也没有爆出相关的安全问题，异常流量也无法收集，有监督的异常流量检测方法比如朴素贝叶斯、随机森林、决策时、XGBoost、rnn、dnn、cnn等都不再适用。Thien DucNguyen等人提出的无监督检测技术需要对每个设备类别的模型进行特殊化定制，不适应于推广。

技术实现思路

[0011]针对上述问题，本专利技术提供一种基于设备类型的异常流量检测方法及装置，用户在使用本专利技术部署提供的方法时，能够自动化的识别产生流量的设备类型，并将其输入到与其设备类型绑定的异常流量检测模型中进行检测，更加及时、准确的发现网络中设备被攻击的状态，并进行警报。
[0012]本专利技术的技术方案包括：
[0013]一种基于设备类型的异常流量检测方法，其步骤包括：
[0014]构建设备mac地址和设备类型之间的映射关系；
[0015]提取待检测流量中的设备mac地址，并基于所述映射关系，选取相应设备类型的异常流量检测模型，其中通过以下步骤获取所述异常流量检测模型：
[0016]将该相应设备类型的正常流量训练集作为训练样本；
[0017]将稀疏自编码器所使用的l
i
范式参数编码作为遗传空间的染色体，并使用稀疏自编码器训练过程的损失值作为适应度；
[0018]初始化种群大小与种群中的初始染色体；
[0019]计算每一染色体为范式参数时的适应度并基于染色体繁殖染色体其中i为染色体编号，t为繁殖次数，t≤T，T为繁殖次数；
[0020]根据最小的适应度得到最优范式参数，并基于最优范式参数对稀疏自编码器进行正则化，以获取异常流量检测模型；
[0021]将所述待检测流量的流量特征输入相应设备类型的异常流量检测模型，得到异常流量检测结果。
[0022]进一步地，获取待检测流量的方法包括：使用wirshark或者tcpdump对指定局域网出入口流量进行捕获。
[0023]进一步地，通过以下步骤构建所述映射关系：
[0024]1)提取各设备类型流量样本的设备识别特征；
[0025]2)基于设备识别特征，并使用多视图广深算法，获取被动识别结果；
[0026]3)使用nmap对各设备类型流量样本进行主动扫描，获取主动识别结果；
[0027]4)根据被动识别结果与主动识别结果，得到设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于设备类型的异常流量检测方法，其步骤包括：构建设备mac地址和设备类型之间的映射关系；提取待检测流量中的设备mac地址，并基于所述映射关系，选取相应设备类型的异常流量检测模型，其中通过以下步骤获取所述异常流量检测模型：将该相应设备类型的正常流量训练集作为训练样本；将稀疏自编码器所使用的l
i
范式参数编码作为遗传空间的染色体，并使用稀疏自编码器训练过程的损失值作为适应度；初始化种群大小与种群中的初始染色体；计算每一染色体为范式参数时的适应度并基于染色体繁殖染色体其中i为染色体编号，t为繁殖次数，t≤T，T为繁殖次数；根据最小的适应度得到最优范式参数，并基于最优范式参数对稀疏自编码器进行正则化，以获取异常流量检测模型；将所述待检测流量的流量特征输入相应设备类型的异常流量检测模型，得到异常流量检测结果。2.如权利要求1所述的方法，其特征在于，获取待检测流量的方法包括：使用wirshark或者tcpdump对指定局域网出入口流量进行捕获。3.如权利要求1所述的方法，其特征在于，通过以下步骤构建所述映射关系：1)提取各设备类型流量样本的设备识别特征；2)基于设备识别特征，并使用多视图广深算法，获取被动识别结果；3)使用nmap对各设备类型流量样本进行主动扫描，获取主动识别结果；4)根据被动识别结果与主动识别结果，得到设备mac地址和设备类型之间得映射关系。4.如权利要求3所述的方法，其特征在于，设备识别特征包括：广播包特征和http流量特征；广播包特征包括：dhcp协议、mdns协议、ssdp协议、llmnr协议和nbns协议的数据包特征；http流量特征包括：user
‑
agent字段。5.如权利要求1所述的方法，其特征在于，所述损失值包括：均方误差；繁殖方法包括：基于适应度计算作为父母的概率、配对染色体交换基因和染色体变异中的至少一种。6.如权利要求1所述的方法，其特征在于，训练稀疏自编码器的损失函数...

【专利技术属性】
技术研发人员：喻灵婧，李侗格，刘庆云，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：