设备类型指纹的生成方法及识别方法、设备及介质技术

本发明专利技术公开了一种设备类型指纹的生成方法及识别方法、设备及介质，属于网络空间资产探测领域，包括：提取原始通信流量中的包字段，根据五元组创建流；将信息从原始通信流量提取到流中；在流中的包头共享相同的字段，或在流中的包头的字段以能够预测的方式更改；生成流特征，包括直接提取的流的基本信息，以及需要计算生成的衍生信息，五元组中的源IP地址信息不计入流的特征字段；将流作为基本元素，一个流对应一个标签，生成流特征，将所有带标签的流特征集合作为数据集；流基本元素按照设备类型使用决策树进行分类；根据决策树的每一条判定路径得到设备类型指纹。本发明专利技术具有兼顾准确性、可解释性和灵活性，易读易用性和场景适应性较强的优点。性较强的优点。性较强的优点。

【技术实现步骤摘要】
设备类型指纹的生成方法及识别方法、设备及介质


[0001]本专利技术涉及网络空间资产探测领域，更为具体的，涉及一种设备类型指纹的生成方法及识别方法、设备及介质。

技术介绍

[0002]在过去的几十年里，网络地址转换(Network Address Translation，NAT)技术的使用呈指数级增长。它允许局域网中的多个设备共享有限数量的公网IP(Internet Protocol)地址。比如在家庭网络中，大多数ISP(Internet Service provider)为用户提供支持WI
‑
FI的NAT家庭网关。当用户将他们的设备通过NAT网关接入互联网时，这些设备的私有IP地址是隐藏的，因为当数据报文在通过NAT设备向外发送时，会被映射到统一的公网IP地址。这种技术不仅为解决IPv4公网地址的短缺提供了一种廉价的解决方案，而且出于安全和隐私的原因大受欢迎，因为NAT设备为其内侧的一组计算机提供了匿名性。然而，同样的原因也吸引了那些想要隐藏真实身份的恶意用户，使得NAT的使用在合法和恶意环境中都大为增加。因此，对NAT内侧的设备进行资产探测识别有助于正确地理解场景中互联网设备的性质，掌握网络的负载情况，有利于指导互联网安全配置和管控。
[0003]网络空间资产探测根据探测方式主要分为主动探测、被动探测和基于搜索引擎的非侵入式探测。主动探测是指主动向目标主机发送数据包，目标主机收到数据后返回响应数据包，通过分析响应数据包获取目标主机信息的探测方式；被动探测是指利用网络嗅探工具获取目标网络的数据报文，通过分析报文数据得到网络资产信息；基于搜索引擎的非侵入式探测是指利用Shodan、Censys、ZoomEye等专用的网络安全搜索引擎获取网络资产信息。其中，主动探测和基于搜索引擎的非侵入式探测需要输入主机的IP地址作为探测目标，而NAT内侧设备的私有IP地址是被隐藏的，且NAT设备不会向内转发由外侧设备主动发起的数据包，因此这两种探测方式对NAT环境下的设备无效，对NAT内侧设备的探测方式主要采用被动探测。
[0004]被动探测的主要操作流程是流量监测设备放置、流量获取、特征提取和设备识别。
[0005]在典型场景中，流量监测设备被放置于NAT设备的外侧，探测目标位于NAT设备内侧，对被NAT覆盖的设备的探测方法同样适用于外网设备，因此场景中局域网设备和外网设备能够同时存在，如图1所示。
[0006]流量获取一般使用Wireshark、Zeek等现有网络流量数据采集工具，这些工具能够将采集的通信流量以流为单位进行分组，并具备一定的流量分析功能。
[0007]特征提取和设备识别是资产探测工作的核心部分，其中设备类型作为主要的识别对象之一受到广泛关注。近年来，研究人员针对设备类型识别提出了各种各样的解决方案，它们的普遍共性特点是在通信流量中提取流量报文特征，通过特征选择以及对特征数据进行数据建模从而形成固定格式的设备指纹，将设备指纹输入机器学习判别模型，进行指纹识别进而输出设备类型或其他判定信息，如图2所示。
[0008]现有这种指纹生成和识别方式无法满足如下方面的现实需求：1. 由取自具体时
刻的通信流量特征计算生成设备指纹，指纹无法刻画一类设备的共性特征。2. 同一设备在不同时刻生成的设备指纹数据不同，指纹之间难以比对。3. 指纹格式固定，所有被选择的特征字段都会被计算生成和存储，无论它在后期匹配时是否实际用到，造成计算时间和存储空间的浪费。4. 部分设备指纹识别算法可读性弱、或不具备可解释性。

技术实现思路

[0009]本专利技术的目的在于克服现有技术的不足，提供一种设备类型指纹的生成方法及识别方法、设备及介质，适用于NAT和非NAT环境，可以刻画一类设备的共性特征，同时兼顾了指纹识别的准确性、可解释性和灵活性，具备易读易用性，场景适应性较强等。
[0010]本专利技术的目的是通过以下方案实现的：一种设备类型指纹的生成方法，包括步骤：提取原始通信流量中的包字段，然后根据五元组创建流；将信息从原始通信流量提取到所述流中；在流中的包头共享相同的字段，或者在流中的包头的字段以能够预测的方式更改；生成流特征，流的特征字段包括直接提取的流的基本信息，以及需要计算生成的衍生信息，五元组中的源IP地址信息不计入所述流的特征字段；将流作为基本元素，一个流对应一个标签，所有带标签的流特征集合作为数据集；所有流基本元素按照设备类型使用决策树进行分类；将决策树的每一条判定路径进行输出，得到字符串，该字符串即为设备类型指纹。
[0011]进一步地，在提取原始通信流量中的包字段之前，包括步骤：搭建目标设备已知的数据真值采集环境，将一部分目标设备通过NAT设备接入互联网，另一部分目标设备直接接入互联网，将流量监测采集设备置于NAT外侧的互联网端。
[0012]进一步地，在提取原始通信流量中的包字段之前，包括步骤：使用网络流量数据采集工具通过流量监听的方式获取原始通信数据报文，并进行存储以作为原始通信流量数据。
[0013]进一步地，所述对所有流基本元素按照设备类型使用决策树进行分类，包括步骤：以有放回抽样的方式取样N次，N为正整数，形成训练集，并用未抽到的用例做测试，评估其误差，将误差控制在设定阈值以内，从而得到分类模型。
[0014]进一步地，所述通信流量包括加密通信流量。
[0015]一种设备类型指纹的识别方法，包括：步骤一，按照如上任一项所述设备类型指纹的生成方法生成设备类型指纹；步骤二，将流作为用于比对设备类型指纹的单位元素，具体包括步骤：S1，提取一条待识别的所述流；S2，对所有设备类型指纹进行排序；在设备类型指纹比对时，只有在待比对的当前设备类型指纹中所需流特征还不具备时，才会计算这些特征；一条流信息按顺序逐一比对设备类型指纹集中的设备类型指纹元素，一旦比对成功，则无需计算排序靠后的设备类型指纹元素中需要的更多更复杂的特征信息；S3，取一条待比对的设备类型指纹；S4，增量生成设备类型指纹比对到的下一项特征，流特征生成过程中，只有在待比对的当前设备类型指纹的待比对的当前特征还不具备时，才会计算这项流特征，已经计算
的特征将保存至该流比对完毕；S5，将计算出的流特征与设备类型指纹特征比对，若不成功，则回到步骤S3；若成功，则进入步骤S6；S6，获得该流的设备类型比对结果，判断是否已经比对成功当前设备类型指纹的所有特征，如果是，则获得该设备类型指纹对应的设备类型作为比对结果，如果否，则回到步骤S4执行该设备类型指纹下一项特征的比对；S7，重复回到步骤S1直到所有流匹配完成，判断待识别数据集中的流是否都匹配完毕，若尚未完成，则回到步骤S1，执行下一条流的指纹匹配，若完成，则结束整个匹配过程。
[0016]进一步地，在步骤S2中，当设备类型指纹集不变时，使用固定排序。
[0017]进一步地，在步骤S5中若不成功的情形下，在执行回到步骤S3之前，包括子步骤：标记指纹集中的具有相同特征要求的设备类型指纹元素，用于在流的匹配过程中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备类型指纹的生成方法，其特征在于，包括步骤：提取原始通信流量中的包字段，然后根据五元组创建流；将信息从原始通信流量提取到所述流中；在流中的包头共享相同的字段，或者在流中的包头的字段以能够预测的方式更改；生成流特征，流的特征字段包括直接提取的流的基本信息，以及需要计算生成的衍生信息，五元组中的源IP地址信息不计入所述流的特征字段；将流作为基本元素，一个流对应一个标签，所有带标签的流特征集合作为数据集；所有流基本元素按照设备类型使用决策树进行分类；将决策树的每一条判定路径进行输出，得到字符串，该字符串即为设备类型指纹。2.根据权利要求1所述的设备类型指纹的生成方法，其特征在于，在提取原始通信流量中的包字段之前，包括步骤：搭建目标设备已知的数据真值采集环境，将一部分目标设备通过NAT设备接入互联网，另一部分目标设备直接接入互联网，将流量监测采集设备置于NAT外侧的互联网端。3.根据权利要求1所述的设备类型指纹的生成方法，其特征在于，在提取原始通信流量中的包字段之前，包括步骤：使用网络流量数据采集工具通过流量监听的方式获取原始通信数据报文，并进行存储以作为原始通信流量数据。4.根据权利要求1所述的设备类型指纹的生成方法，其特征在于，所述所有流基本元素按照设备类型使用决策树进行分类，包括步骤：以有放回抽样的方式取样N次，N为正整数，形成训练集，并用未抽到的用例做测试，评估其误差，将误差控制在设定阈值以内，从而得到分类模型。5.根据权利要求1所述的设备类型指纹的生成方法，其特征在于，所述通信流量包括加密通信流量。6.一种设备类型指纹的识别方法，其特征在于，包括：步骤一，按照如权利要求1~5中任一项所述设备类型指纹的生成方法生成设备类型指纹；步骤二，将流作为用于比对设备类型指纹的单位元素，具体包括步骤：S1，提取一条待识别的所述流；S2，对所有设备类型...

【专利技术属性】
技术研发人员：张宇光，张志勇，张位，毛得明，饶志宏，刘赟，兰昆，张淑文，朱治丞，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：