一种分布式网络空间搜索方法、系统及存储介质技术方案

本发明专利技术公开了一种分布式网络空间搜索方法、系统及存储介质，其中分布式网络空间搜索方法通过VPS技术部署的数据爬虫节点，爬取网络空间主机及相应数据，而后通过判断域名是否合法及是否存活排除无效的主机，准确记录更新网络空间资源，其次先后通过MD5值及请求数据包从不同渠道获取系统漏洞信息及应用程序信息，从而取并集获得尽可能详细的漏洞详情，并显示于WebUI；本发明专利技术所采集的数据更为全面，解决了现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。间资源的安全管理的问题。间资源的安全管理的问题。

【技术实现步骤摘要】
一种分布式网络空间搜索方法、系统及存储介质


[0001]本专利技术涉及网络空间
，尤其涉及的是一种分布式网络空间搜索方法、系统及存储介质。

技术介绍

[0002]凡将地理位置不同，并具有独立功能的多个计算机系统通过通信设备和线路而连接起来，且以功能完善的网络软件（网络协议、信息交换方式及网络操作系统等）实现网络资源共享的系统，可称为计算机网络空间。网络空间的四要素包括：1、通信线路和通信设备，2、独立功能的计算机，3、网络软件支持，4、实现数据通信与资源共享。
[0003]申请公布号为CN109885562A的专利技术专利申请提供了一种基于网络空间安全的大数据智能分析系统，包括统一接口模块、数据采集模块、数据处理模块、分布式存储模块、数据分析模块、交互呈现应用模块；所述统一接口模块，被配置为获取网络安全相关数据，所述网络安全相关数据包括系统所处行政区域内的网络安全数据、其余相同系统和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息；数据采集模块，被配置为通过统一接口模块，以采集或者查询或者主动扫描、探测或者被授权获取网络空间安全相关数据；数据处理模块，被配置为还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、归一化、归档；分布式存储模块，被配置为支持数据采集模块、数据处理模块、数据分析模块和交互呈现模块的数据相关处理操作，所述数据相关处理操作包括数据缓存、数据存储、数据提取、数据查询、数据搜索、数据格式化；数据分析模块，被配置为对数据处理模块输出的、分布式存储模块存储的数据进行提取和分析，实现网络安全监测，并将分析结果传输给交互呈现应用模块；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析；交互呈现应用模块，被配置为综合呈现本系统监管对象的网络安全威胁态势，并进行平台管理。
[0004]该专利技术专利通过定制化服务的方式定期获取互联网上的威胁情报、恶意样本、恶意URL、恶意IP、Whois、DNS解析、DDOS攻击、僵、木、蠕、毒等网络安全态势信息和威胁情报信息，来发掘潜在的风险。这种风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理。
[0005]可见，现有技术还有待于改进和发展。

技术实现思路

[0006]鉴于上述现有技术的不足，本专利技术的目的在于提供一种分布式网络空间搜索方法、系统及存储介质，旨在解决现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。
[0007]本专利技术的技术方案如下：
一种分布式网络空间搜索方法，其包括：预先构建系统漏洞数据库及应用程序漏洞数据库；通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；判断所述主机信息内的域名是否合法，若是则继续判断所述域名是否存活，若是则分别根据所述主机系统数据的系统MD5值及应用程序数据中的应用MD5值确定系统版本及应用程序版本；根据系统版本及预先构建的系统漏洞数据库确定第一系统漏洞详情，并根据应用程序版本及应用程序漏洞数据库确定第一应用程序漏洞详情；向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情；将所述第一系统漏洞详情与第二系统漏洞详情并集得到最终系统漏洞详情，并将第一应用程序漏洞详情与第二应用程序漏洞详情并集得到最终应用程序漏洞详情；将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI。
[0008]上述方案的效果在于：本专利技术通过VPS技术部署的数据爬虫节点，爬取网络空间主机及相应数据，而后通过判断域名是否合法及是否存活排除无效的主机，准确记录更新网络空间资源，其次先后通过MD5值及请求数据包从不同渠道获取系统漏洞信息及应用程序信息，从而取并集获得尽可能详细的漏洞详情，并显示于WebUI；本专利技术所采集的数据更为全面，解决了现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。
[0009]在进一步地优选方案中，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤之后还包括：利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI。
[0010]上述方案的效果在于：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，能够达到实时搜索，稳定、可靠且快速，安装使用方便。本专利技术利用ElasticSearch来解决搜索功能的创建问题，提供一个运行速度快、零配置且完全免费的搜索引擎，该搜索引擎可以使用JSON通过HTTP来索引数据，更重要的是其能够实时搜索，适用于多用户场景，且易扩展，可从一台扩展到数百台之多。
[0011]在进一步地优选方案中，所述向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情的步骤之后还包括：将第二系统漏洞详情与第一系统漏洞详情的差集按照系统版本存储于系统漏洞数据库，并将第二应用程序漏洞详情与第一应用程序漏洞详情的差集按照应用程序版本存储于应用程序漏洞数据库。
[0012]上述方案的效果在于：计算第一系统漏洞详情与第二系统漏洞详情的差集可得到：1、属于第一系统漏洞详情但不属于第二系统漏洞详情的漏洞数据，2、属于第二系统漏洞详情但不属于第一系统漏洞详情的漏洞数据，其中1已经存储于系统漏洞数据库，因此属于重合数据，2属于系统漏洞数据库未记录的数据，将2存储于系统漏洞数据库可更新补足
系统漏洞数据；本专利技术通过同样的方式可更新补足应用程序漏洞数据。
[0013]在进一步地优选方案中，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：回传后的最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库，主机信息、主机系统数据及应用程序数据存储于用户信息数据库，并在Mongo数据库或用户信息数据库创建主机信息与主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情的对照列表。
[0014]上述方案的效果在于：Mongo数据库是一种分布式文档存储数据库，性能高、易部署、易使用、易扩展，且存储数据非常方便；本专利技术将最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库可充分利用其易部署、易使用、数据存储方便的特性，同时将主机信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式网络空间搜索方法，其特征在于，包括：预先构建系统漏洞数据库及应用程序漏洞数据库；通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；判断所述主机信息内的域名是否合法，若是则继续判断所述域名是否存活，若是则分别根据所述主机系统数据的系统MD5值及应用程序数据中的应用MD5值确定系统版本及应用程序版本；根据系统版本及预先构建的系统漏洞数据库确定第一系统漏洞详情，并根据应用程序版本及应用程序漏洞数据库确定第一应用程序漏洞详情；向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情；将所述第一系统漏洞详情与第二系统漏洞详情并集得到最终系统漏洞详情，并将第一应用程序漏洞详情与第二应用程序漏洞详情并集得到最终应用程序漏洞详情；将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI。2.根据权利要求1所述的分布式网络空间搜索方法，其特征在于，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤之后还包括：利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI。3.根据权利要求2所述的分布式网络空间搜索方法，其特征在于，所述向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情的步骤之后还包括：将第二系统漏洞详情与第一系统漏洞详情的差集按照系统版本存储于系统漏洞数据库，并将第二应用程序漏洞详情与第一应用程序漏洞详情的差集按照应用程序版本存储于应用程序漏洞数据库。4.根据权利要求3所述的分布式网络空间搜索方法，其特征在于，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：回传后的最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库，主机信息、主机系统数据及应用程序数据存储于用户信息数据库，并在Mongo数据库或用户信息数据库创建主机信息与主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情的对照列表。5.根据权...

【专利技术属性】
技术研发人员：高磊，唐平，
申请(专利权)人：深圳安巽科技有限公司，
类型：发明
国别省市：