一种基于主机关系的互联网主机扫描方法及系统技术方案

本发明专利技术公开了一种基于主机关系的互联网主机扫描方法及系统，其通过获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建与所有目标主机一一对应的特征向量；对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，分群关系包括网络拓扑关系信息和应用集群信息；利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。与传统的扫描方式相比，本发明专利技术的互联网扫描方法及系统提出的扫描方式更具针对性，在同样的扫描时间内对聚类得到的网络集群的同源扫描间隔更大，从而使得互联网扫描对主机工作的影响程度降低。

An Internet host scanning method and system based on host relationship

The invention discloses an Internet host scanning method and system based on host relationship, which obtains network information of all target hosts, including network topology information and historical port, constructs feature vectors corresponding to all target hosts one by one according to network information, clusters all feature vectors with unsupervised clustering algorithm, and obtains the information of all target hosts through clustering All target hosts correspond to each other in the cluster relationship, which includes network topology relationship information and application cluster information. The cluster relationship is used to determine the scanning sequence and scanning interval of all target hosts, and network scanning is performed to obtain port information and / or vulnerability information corresponding to all target hosts. Compared with the traditional scanning method, the Internet scanning method and the scanning method proposed by the system of the invention are more targeted, and the homologous scanning interval of the clustering network cluster is larger within the same scanning time, so as to reduce the impact of Internet scanning on the host work.

【技术实现步骤摘要】
一种基于主机关系的互联网主机扫描方法及系统
本专利技术属于网络主机扫描领域，具体涉及一种基于主机关系的互联网主机扫描方法及系统。
技术介绍
网络信息技术的发展给人类生活带来巨大便利，改变着人类的生活方式。智能家居、智能交通、智能城市等概念的提出推动着物联网设备的互联入网，并以集群或服务平台的方式联合提供服务。与此同时，工业化与信息化的不断融合也推进着工业控制系统采用标准、通用的通信协议和软硬件系统接入互联网。这些接入到互联网的主机设备不可避免的存在漏洞，存在着被黑客攻击的风险。网络主机扫描包括IP扫描、端口扫描和网络服务扫描。IP扫描可以扫描任意范围的IP地址(0.0.0.0)到(255.255.255.255)，找到正在使用中的网络主机；端口扫描可以扫描已发现网上主机的端口，范围可以从1到65535，获得已经打开的端口的信息,对端口分析可以知道是否有人在你的电脑上留下了后门；网络服务扫描可以扫描打开的端口，返回端口后台运行的网络服务信息,例如,通常情况下,端口80运行的是HTTP服务。扫描完成后，会给出一份详细的网络扫描报告，以备查阅。除了采用一些被动的网络防御措施外，可以结合网络扫描对互联网上的主机进行发现和识别，并使用一些最新的漏洞验证性脚本进行漏洞检测，识别出网络主机的系统脆弱性。虽然已经有很多网络扫描方法及开源扫描工具被提出，但是几乎没有一种扫描方式可以在高效率收集目标信息的同时减少网络扫描对扫描目标的扫描影响。不当的扫描操作在给目标网络造成负载影响的同时，也影响着扫描源IP的IP信誉，使扫描源IP被一些扫描目标屏蔽网络请求，从而降低网络扫描结果的准确性。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于主机关系的互联网主机扫描方法及系统，其通过获取所有目标主机的网络信息，构建与所有目标主机一一对应的特征向量；对所有特征向量进行聚类得到对应的分群关系；利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，使得在同样的扫描时间内对聚类得到的网络集群的同源扫描间隔更大，从而使得扫描对主机工作的影响程度降低。为实现上述目的，按照本专利技术的一个方面，提供了一种基于主机关系的互联网主机扫描方法，该方法包括如下步骤：S1.获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建与所有目标主机一一对应的特征向量；S2.对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，分群关系包括网络拓扑关系信息和应用集群信息；S3.利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。作为本专利技术的进一步改进，特征向量的构建过程为：S11.对目标主机的网络信息进行过滤，滤除存在的IANA保留地址及一些预先设置的黑名单IP段；S12.获得过滤后目标主机IP对应的网络拓扑信息，检索目标主机IP的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；S13.对过滤后目标主机IP对应的连续型数据进行归一化处理，对过滤目标主机IP对应的类别型数据进行编码，得到与目标主机IP对应的特征向量。作为本专利技术的进一步改进，网络拓扑关系信息包括网络主机对应的IP地址、网络主机的地理位置信息和网络主机所属的运营商网段划分。作为本专利技术的进一步改进，特征向量的类别型数据维度包括：目标主机对应的IP地址转化为十进制整数型数据；目标主机的地理位置信息转化为经度信息和纬度信息；目标主机的所属的运营商网段；目标主机的开放端口信息，开放端口信息包括依据开发端口的开放情况及对应的应用层协议得到的编码信息。作为本专利技术的进一步改进，扫描间隔依据应用集群信息设置，应用集群信息包括目标主机所在网络集群中设备类型占比。为实现上述目的，按照本专利技术的另一个方面，提供了一种基于主机关系的互联网主机扫描系统，该系统包括主机特征向量获取模块、主机分群关系获取模块和网络扫描模块，主机特征向量获取模块用于获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建与所有目标主机一一对应的特征向量；主机分群关系获取模块用于对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，分群关系包括网络拓扑关系信息和应用集群信息；网络扫描模块用于利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。作为本专利技术的进一步改进，特征向量的构建过程为：对目标主机的网络信息进行过滤，滤除存在的IANA保留地址及一些预先设置的黑名单IP段；获得过滤后目标主机IP对应的网络拓扑信息，检索目标主机IP的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；对过滤后目标主机IP对应的连续型数据进行归一化处理，对过滤目标主机IP对应的类别型数据进行编码，得到与目标主机IP对应的特征向量。作为本专利技术的进一步改进，网络拓扑关系信息包括网络主机对应的IP地址、网络主机的地理位置信息和网络主机所属的运营商网段划分。作为本专利技术的进一步改进，特征向量的类别型数据维度包括：目标主机对应的IP地址转化为十进制整数型数据；目标主机的地理位置信息转化为经度信息和纬度信息；目标主机的所属的运营商网段；目标主机的开放端口信息，开放端口信息包括依据开发端口的开放情况及对应的应用层协议得到的编码信息。作为本专利技术的进一步改进，扫描间隔依据应用集群信息设置，应用集群信息包括目标主机所在网络集群中设备类型占比。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：本专利技术的一种基于主机关系的互联网主机扫描方法及系统，其通过其通过获取所有目标主机的网络信息，构建与所有目标主机一一对应的特征向量；对所有特征向量进行聚类得到对应的分群关系；利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，与传统的扫描方式相比，该扫描方法及系统提出的扫描方式更具针对性，在同样的扫描时间内对聚类得到的网络集群的同源扫描间隔更大，从而使得扫描对主机工作的影响程度降低，同时，根据网络主机历史扫描信息及对应的主机关系对当前扫描策略进行调整，能适应网络主机动态变化的特征及关系，减少对目标的影响，提升扫描结果的准确性。本专利技术的一种基于主机关系的互联网主机扫描方法及系统，其采用聚类的方式从主机网络拓扑关系及开放端口信息中提取主机关系，并根据主机关系调整任务间隔及任务顺序，由此针对性的降低扫描对每个网络集群的扫描频率，从而降低网络扫描对目标网络中存在的网络集群所产生的负载影响。附图说明图1是本专利技术实施例的一种基于主机关系的互联网主机扫描方法的示意图；图2是本专利技术实施例与现有技术的扫描结果的比较示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本专利技术进一步详细说明。IANA：TheInterne本文档来自技高网...

【技术保护点】
1.一种基于主机关系的互联网主机扫描方法，其特征在于，所述方法包括如下步骤：S1.获取所有目标主机的网络信息，所述网络信息包括网络拓扑信息及历史端口，依据所述网络信息构建与所有目标主机一一对应的特征向量；S2.对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，所述分群关系包括网络拓扑关系信息和应用集群信息；S3.利用所述分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。

【技术特征摘要】
1.一种基于主机关系的互联网主机扫描方法，其特征在于，所述方法包括如下步骤：S1.获取所有目标主机的网络信息，所述网络信息包括网络拓扑信息及历史端口，依据所述网络信息构建与所有目标主机一一对应的特征向量；S2.对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，所述分群关系包括网络拓扑关系信息和应用集群信息；S3.利用所述分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。2.根据权利要求1所述的一种基于主机关系的互联网主机扫描方法，其特征在于，所述特征向量的构建过程为：S11.对目标主机的网络信息进行过滤，滤除存在的IANA保留地址及一些预先设置的黑名单IP段；S12.获得过滤后目标主机IP对应的网络拓扑信息，检索目标主机IP的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；S13.对过滤后目标主机IP对应的连续型数据进行归一化处理，对过滤目标主机IP对应的类别型数据进行编码，得到与目标主机IP对应的特征向量。3.根据权利要求1或2所述的一种基于主机关系的互联网主机扫描方法，其特征在于，所述网络拓扑关系信息包括网络主机对应的IP地址、网络主机的地理位置信息和网络主机所属的运营商网段划分。4.根据权利要求3所述的一种基于主机关系的互联网主机扫描方法，其特征在于，所述特征向量的类别型数据维度包括：目标主机对应的IP地址转化为十进制整数型数据；目标主机的地理位置信息转化为经度信息和纬度信息；目标主机的所属的运营商网段；目标主机的开放端口信息，所述开放端口信息包括依据开发端口的开放情况及对应的应用层协议得到的编码信息。5.根据权利要求1-4中任一项所述的一种基于主机关系的互联网主机扫描方法，其特征在于，所述扫描间隔依据应用集群信息设置，所述应用集群信息包括目标主机所在网络集群中设备类型占比。6.一种基于主机关系的互联网主机扫描系统...

【专利技术属性】
技术研发人员：温杰，胡广，秦龙，
申请(专利权)人：武汉安问科技发展有限责任公司，
类型：发明
国别省市：湖北,42