一种分布式的互联网重要地址空间检索系统技术方案

本发明专利技术公开了一种分布式的互联网重要地址空间检索系统，用于防范针对网站组件和主机设备的漏洞攻击，维护互联网安全。通过系统管理模块导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分运行状态并进行管理和控制；通过网站信息收集模块对待扫描网站列表中的域名或IP地址进行页面爬取、网站组件识别、主机扫描、端口探测；通过数据库模块保存待扫描网站列表、网站组件指纹、扫描策略以及扫描结果；通过检索和统计模块对保存的扫描结果进行关键字检索，并对检索结果进行统计分析；通过WebUI模块提供用户和系统交互的Web界面。有效组织和合理配置系统资源，并对所有功能部件进行动态管理和使用。

A distributed Internet important address space retrieval system

The invention discloses a distributed Internet important address space retrieval system, which is used for preventing vulnerability attacks against website components and host equipment, and maintaining Internet security. To scan the website list through the system management module into the management of web component fingerprint, submit instant scanning task and view the progress of the task management and control system to collect and treat the operation state of each part; domain name or IP address in the list page scanning web crawling, web component identification, host scanning, port detection through the website the information collection module; to save scanning sites list, web component fingerprint, scanning strategy and scanning results through a database module; key word retrieval by the retrieval and statistics module to save the scan results and the retrieval results for statistical analysis; provide user interaction with the system through the WebUI Web interface module. Effectively organize and rationally configure system resources and dynamically manage and use all functional components.

【技术实现步骤摘要】
一种分布式的互联网重要地址空间检索系统
本专利技术属于互联网搜索
，更具体地，涉及一种可以对在线主机设备和Web组件进行综合检索的互联网重要地址空间检索系统。
技术介绍
随着互联网的快速发展，各种网络设备、服务器、操作系统、编程语言、开源组件、开发技术等构成了丰富多彩的网络世界。然而缤纷之下却暗藏着危机，漏洞的存在让互联网时刻处于不安全的状态。许多互联网公司针对网络安全问题推出了一系列的安全产品，例如360的可信网站认证开放平台通过认证联盟、凭安信用、沃通等信用来源来对网站进行安全身份认证，有效打击危险网站，为用户打造安全的上网环境。国舜科技公司推出的一款网页防篡改防护系统UnisGuard，采用动静结合的防护方式同时对网页文件以及Web访问交互数据进行监控，有效防止恶意篡改和攻击。安全宝曾是创新工场中唯一一个在安全领域投资的项目，如今已被百度收购，也是一款网站安全防护软件。这些产品都是针对单一的网站或网页出现的安全问题来实施安全防护措施，然而目前的大多数漏洞攻击都是基于网络设备本身的缺陷或者网站组件(操作系统、开放服务、Web容器、开源Web组件、Web应用等)的缺陷进行的。一旦不法分子开发出针对某个组件或者主机设备的漏洞利用代码，就可以使一批网站或者设备沦陷。为了防范针对网站组件和主机设备的漏洞攻击，维护互联网的安全，需要对一批相关网站所使用的组件和在线主机设备的指纹信息进行详细的识别和记录，以便在它们暴露出安全漏洞时，及时得到它们的详细信息，评估漏洞对它们的影响，进而分析出漏洞影响的网站列表和主机设备列表，并通知仍在使用这些组件或主机设备的网站管理员进行组件更新或主机设备升级等安全加固措施，因此网络空间搜索引擎应运而生。目前已有的网络空间搜索引擎，包括国外的Shodan，在全球查询IP地址，在若干常见端口查找和保存系统旗标信息(banner)。用户可以在这些banner中查询关键词，通过元数据(端口、IP、域名等)进行过滤。其工作原理是对各类设备的端口产生的banner进行审计而产生搜索结果，侧重于网络设备。国内的Zoomeye由互联网安全厂商知道创宇公司创建，名字译为“钟馗之眼”，是一个针对网络空间中Web服务组件而制作的搜索引擎，它侧重于发现网络或网站的组成部分，即Web服务组件。针对主机设备的指纹采集，主要目的是获取全网IP以及网络设备信息，比较常用的是一款模块化的扫描全网IPv4地址的工具——Zmap，由美国密歇根大学研究者开发。在第22届USENIX安全研讨会上，以超过Nmap1300倍的扫描速度声名鹊起。它能够通过一台机器在45分钟内扫描互联网上所有的IPv4地址空间，其扫描的结果达到了98％的覆盖率。现有的网络空间搜索引擎系统大多存在以下几点问题：(1)有的系统偏重于主机层面的资产发现，而有些则偏重于Web层面的资产发现，它们均没有综合考虑主机设备和Web组件，并且对标识Web组件的海量数据没有进行合理的整合和优化。(2)在对关键字进行检索的时候，现有搜索引擎系统返回数据的本质就是其内部积累的数据以及使用Web指纹识别程序识别出来的数据，但一个识别程序只能针对一个组件，缺乏针对指纹库内组件的合理分类标准。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术的目的在于提供了一种分布式的互联网重要地址空间检索系统，由此解决现有的网络空间搜索引擎系统没有综合考虑主机设备和Web组件，没有对标识Web组件的海量数据进行合理的整合和优化以及缺乏针对指纹库内组件的合理分类标准的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种分布式的互联网重要地址空间检索系统，包括：系统管理模块、网站信息收集模块、数据库模块、检索和统计模块、WebUI模块；所述系统管理模块，用于导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分的运行状态并分别对各部分的运行状态进行管理和控制，其中，所述待扫描网站列表中包括需要周期性扫描的网站信息；所述网站信息收集模块，用于针对所述待扫描网站列表中的域名或IP地址进行Web页面爬取、Web组件识别、网站服务器主机扫描、端口探测；所述数据库模块，用于保存所述待扫描网站列表、所述网站组件指纹、扫描策略以及扫描结果；所述检索和统计模块，用于对保存在所述数据库模块中的扫描结果进行关键字检索，并对检索结果进行统计分析；所述WebUI模块，用于提供Web界面，采用B/S模式完成用户和系统的交互，提供系统管理、网站组件指纹更新、即时扫描任务提交、扫描结果查询与统计、信息导入导出功能。优选地，所述数据库模块包括：元信息数据库模块、组件指纹数据库模块、扫描结果数据库模块；所述元信息数据库模块，用于管理所述待扫描网站列表，其中，所述待扫描网站列表包括需要周期性扫描的网站的信息；所述组件指纹数据库模块，用于存储所述网站组件指纹，其中，所述网站组件指纹包含组件名称、组件特征集合和组件识别规则；所述扫描结果数据库模块，用于存储所述网站信息收集模块收集到的扫描结果，其中，所述扫描结果包括周期性扫描作业的执行结果和即时扫描任务的执行结果。优选地，所述系统管理模块包括：网站元信息导入模块、系统运行状态管理模块、即时任务管理模块、指纹库管理模块；所述网站元信息导入模块，用于导入所述待扫描网站列表，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；所述系统运行状态管理模块，用于解析系统的配置，启动或停止系统中其它模块的运行，获取其它各模块的运行状态信息，并对其它各模块的运行状态进行调整和控制；所述即时任务管理模块，用于管理和调度即时扫描任务的执行，并跟踪即时扫描任务执行的状态进度；所述指纹库管理模块，用于管理所述组件指纹数据库模块中的网站组件指纹。优选地，所述网站信息收集模块包括：任务调度模块、消息队列模块、数据爬取模块、分析识别模块；所述任务调度模块，用于解析所述待扫描网站列表中的周期性扫描任务以及用户提交的即时扫描任务，利用所述组件指纹数据库解析出网站组件指纹识别过程中需要从服务器下载的信息，并调度所述数据爬取模块从网站下载所述信息；所述消息队列模块，用于供所述任务调度模块向所述数据爬取模块以消息队列的方式传递下载任务；所述数据爬取模块，用于将爬取的信息通过消息队列传递给所述分析识别模块；所述分析识别模块，用于根据所述组件指纹数据库模块中的组件特征集合以及组件识别规则，对所述数据爬取模块爬取的信息进行分析整理，将得到的网站内容信息、网站组件信息以及用以识别出网站组件的特征数据存入所述扫描结果数据库模块。优选地，所述检索和统计模块包括：关键字检索模块和统计报表生成模块；所述关键字检索模块，用于提供针对保存在所述扫描结果数据库模块中的扫描结果的关键字检索功能；所述统计报表生成模块，用于为检索得到的结果生成预设格式的统计报表，所述统计报表用于扫描结果信息导出。优选地，所述WebUI模块包括：WebUI查询模块和WebUI管理模块；所述WebUI查询模块，用于输出结果查询分析界面，并将用户输入的查询请求发送给所述检索和统计模块；所述WebUI管理模块，用于提供站点元信息管理、系统状态管理、指纹库管理、即时任务管理，其中，所述站点元信息管理用于提供待本文档来自技高网...

【技术保护点】
一种分布式的互联网重要地址空间检索系统，其特征在于，包括：系统管理模块、网站信息收集模块、数据库模块、检索和统计模块、WebUI模块；所述系统管理模块，用于导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分的运行状态并分别对各部分的运行状态进行管理和控制，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；所述网站信息收集模块，用于针对所述待扫描网站列表中的域名或IP地址进行Web页面爬取、Web组件识别、网站服务器主机扫描、端口探测；所述数据库模块，用于保存所述待扫描网站列表、所述网站组件指纹、扫描策略以及扫描结果；所述检索和统计模块，用于对保存在所述数据库模块中的扫描结果进行关键字检索，并对检索结果进行统计分析；所述WebUI模块，用于提供Web界面，采用B/S模式完成用户和系统的交互，提供系统管理、网站组件指纹更新、即时扫描任务提交、扫描结果查询与统计、信息导入导出功能。

【技术特征摘要】
1.一种分布式的互联网重要地址空间检索系统，其特征在于，包括：系统管理模块、网站信息收集模块、数据库模块、检索和统计模块、WebUI模块；所述系统管理模块，用于导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分的运行状态并分别对各部分的运行状态进行管理和控制，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；所述网站信息收集模块，用于针对所述待扫描网站列表中的域名或IP地址进行Web页面爬取、Web组件识别、网站服务器主机扫描、端口探测；所述数据库模块，用于保存所述待扫描网站列表、所述网站组件指纹、扫描策略以及扫描结果；所述检索和统计模块，用于对保存在所述数据库模块中的扫描结果进行关键字检索，并对检索结果进行统计分析；所述WebUI模块，用于提供Web界面，采用B/S模式完成用户和系统的交互，提供系统管理、网站组件指纹更新、即时扫描任务提交、扫描结果查询与统计、信息导入导出功能。2.根据权利要求1所述的系统，其特征在于，所述数据库模块包括：元信息数据库模块、组件指纹数据库模块、扫描结果数据库模块；所述元信息数据库模块，用于管理所述待扫描网站列表，其中，所述待扫描网站列表包括需要周期性扫描的网站的信息；所述组件指纹数据库模块，用于存储所述网站组件指纹，其中，所述网站组件指纹包含组件名称、组件特征集合和组件识别规则；所述扫描结果数据库模块，用于存储所述网站信息收集模块收集到的扫描结果，其中，所述扫描结果包括周期性扫描作业的执行结果和即时扫描任务的执行结果。3.根据权利要求2所述的系统，其特征在于，所述系统管理模块包括：网站元信息导入模块、系统运行状态管理模块、即时任务管理模块、指纹库管理模块；所述网站元信息导入模块，用于导入所述待扫描网站列表，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；所述系统运行状态管理模块，用于解析系统的配置，启动或停止系统中其它模块的运行，获取其它各模块的运行状态信息，并对其它各模块的运行状态进行调整和控制；所述即时任务管理模块，用于管理和调度即时扫描任务的执行，并跟踪即时扫描任务执行的状态进度；所述指纹库管理模块，用于管理所述组件指纹数据库模块中的网站组件指纹。4.根据权利要求3所述的系统，其特征在于，所述网站信息收集模块包括：任务调度模块、消息队列模块、数据爬取模块、分析识别模块；所述任务调度模块，用于解析所述待扫描网站列表中的周期性扫描任务以及用户提交的即时扫描任务，利用所述组件指纹数据库解析出网站组件指纹识别过程中需要从服务器下载的信息，并调度所述数据爬取模块从网站下载所述信息；所述消息队列模块，用于...

【专利技术属性】
技术研发人员：李瑞轩，黄凤玲，李玉华，辜希武，杨琪，田纹龙，王号召，韩洪木，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42