一种公网资产的识别方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种公网资产的识别方法、装置及存储介质，用以解决现有技术中存在的公网资产的识别效率较低的技术问题，该方法包括：基于预设关键字，从资产库中识别出疑似企业资产；其中，资产库中存储有从公网中获取的网络资产，预设关键字为与企业信息相关的关键字，疑似企业资产为网络上可能属于企业的网络资产；利用网络爬虫，对疑似企业资产进行深层信息爬取，获得疑似企业资产对应的第一网络指纹信息；其中，第一网络指纹信息为能表征疑似企业资产对应的网页的基本特征的信息；判断第一网络指纹信息中是否存在预设关键字，从存在预设关键字的第一网络指纹信息中提取域名资产和网址资产，将域名资产和网址资产确定为企业资产。

An identification method, device and storage medium of public network assets

【技术实现步骤摘要】
一种公网资产的识别方法、装置及存储介质
本专利技术涉及互联网领域，尤其是涉及一种公网资产的识别方法、装置及存储介质。
技术介绍
随着互联网技术的飞速发展，企业部署在公网上的业务越来越多，也越来越复杂，这使得企业暴露在公网上的资产也越来越多，进而导致企业对其公网资产的管理难度也越来越大，面临的安全风险也日益增大。如果企业不能对这些公网资产进行有效的管控，一方面容易产生大量的僵尸资产，使资源不能得到有效利用造成浪费，另一方面这些资产可能因为疏于维护成为外界对内攻击的重要切入点，甚至被篡改变成一些恶意信息的散播者，从而为企业安全带来极大的隐患。在现有技术中，通常采用两种方式对企业的公网资产进行管理，一种为采用人工统计的方式，定期对公网资产进行统计；另一种则是利用扫描软件，识别企业的公网资产。然而，采用人工统计的方式管理公网资产，往往容易产生遗漏和错误，且手工添加效率低；采用扫描软件的方式识别公网资产，有存在获取信息不够全面、效率低的问题。鉴于此，如何有效的提高公网资产的识别效率，成为一个亟待解决的技术问题。
技术实现思路
本专利技术提供一种公网资产的识别方法、装置及存储介质，用以解决现有技术中存在的公网资产的识别效率较低的技术问题。第一方面，为解决上述技术问题，本专利技术实施例提供的一种公网资产识别方法的技术方案如下：基于预设关键字，从资产库中识别出疑似企业资产；其中，所述资产库中存储有从公网中获取的网络资产，所述预设关键字为与企业信息相关的关键字，所述疑似企业资产为网络上可能属于企业的网络资产；利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息；其中，所述第一网络指纹信息为能表征所述疑似企业资产对应的网页的基本特征的信息；判断所述第一网络指纹信息中是否存在所述预设关键字，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产，将所述域名资产和网址资产确定为企业资产。可选的，基于预设关键字，从资产库中识别出疑似企业资产，包括：对所述资产库中每个网络资产执行以下操作：判断所述每个网络资产对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字；若为是，从所述第二网页信息及所述第二网络指纹信息中，提取第一域名资产和第一网址资产；将所有第一域名资产和第一网址资产作为所述疑似企业资产。可选的，判断所述每个网络资产对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字，包括：判断所述每个网络资产中的域名、所述域名的备案信息和whois信息、网址对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字。可选的，所述资产库中的网络资产是通过分布式部署的网络爬虫从所述公网中爬取的。可选的，利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息，包括：将所述疑似企业资产的主域名和子域名对应网页的URL存入待扫描队列；对所述待扫描队列中的URL进行web指纹识别，获取所述第一网络指纹信息。可选的，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产之后，还包括：获取并存储所述域名资产下的相关信息；其中，所述相关信息为所述域名资产下的网页跳转信息；将所述相关信息作为所述企业资产的间接关联资产。可选的，将所述域名资产和网址资产确定为企业资产之后，还包括：基于预设风险信息，对所述企业资产进行风险识别；其中，所述预设风险信息包括所述企业资产对应网页的访问量超过设定阈值，所述企业资产中的高危端口，所述企业资产中的存在的漏洞，及所述企业资产中的不良信息；当识别出任一企业资产存在风险时，发送警示信息。可选的，将所述域名资产和网址资产确定为企业资产之后，还包括：对所述企业资产进行监控，在所述企业资产生送变化时，更新所述企业资产；对所述疑似企业资产进行定期扫描，将扫描结果中确定为企业资产的疑似资产剔除。第二方面，本专利技术实施例提供了一种用于公网资产的识别装置，包括：识别单元，用于基于预设关键字，从资产库中识别出疑似企业资产；其中，所述资产库中存储有从公网中获取的网络资产，所述预设关键字为与企业信息相关的关键字，所述疑似企业资产为网络上可能属于企业的网络资产；获得单元，用于利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息；其中，所述第一网络指纹信息为能表征所述疑似企业资产对应的网页的基本特征的信息。确定单元，用于判断所述第一网络指纹信息中是否存在所述预设关键字，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产，将所述域名资产和网址资产确定为企业资产。可选的，所述识别单元用于：对所述资产库中每个网络资产执行以下操作：判断所述每个网络资产对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字；若为是，从所述第二网页信息及所述第二网络指纹信息中，提取第一域名资产和第一网址资产；将所有第一域名资产和第一网址资产作为所述疑似企业资产。可选的，所述识别单元还用于：判断所述每个网络资产中的域名、所述域名的备案信息和whois信息、网址对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字。可选的，所述资产库中的网络资产是通过分布式部署的网络爬虫从所述公网中爬取的。可选的，所述获得单元用于：将所述疑似企业资产的主域名和子域名对应网页的URL存入待扫描队列；对所述待扫描队列中的URL进行web指纹识别，获取所述第一网络指纹信息。可选的，所述确定单元还用于：获取并存储所述域名资产下的相关信息；其中，所述相关信息为所述域名资产下的网页跳转信息；将所述相关信息作为所述企业资产的间接关联资产。可选的所述确定单元还用于：基于预设风险信息，对所述企业资产进行风险识别；其中，所述预设风险信息包括所述企业资产对应网页的访问量超过设定阈值，所述企业资产中的高危端口，所述企业资产中的存在的漏洞，及所述企业资产中的不良信息；当识别出任一企业资产存在风险时，发送警示信息。可选的，所述确定单元还用于：对所述企业资产进行监控，在所述企业资产生送变化时，更新所述企业资产；对所述疑似企业资产进行定期扫描，将扫描结果中确定为企业资产的疑似资产剔除。第三方面，本专利技术实施例还提供一种用于公网资产的识别装置，包括：至少一个处理器，以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上述第一方面所述的方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机指令，当所述计算机指本文档来自技高网...

【技术保护点】
1.一种公网资产的识别方法，其特征在于，包括：/n基于预设关键字，从资产库中识别出疑似企业资产；其中，所述资产库中存储有从公网中获取的网络资产，所述预设关键字为与企业信息相关的关键字，所述疑似企业资产为网络上可能属于企业的网络资产；/n利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息；其中，所述第一网络指纹信息为能表征所述疑似企业资产对应的网页的基本特征的信息；/n判断所述第一网络指纹信息中是否存在所述预设关键字，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产，将所述域名资产和网址资产确定为企业资产。/n

【技术特征摘要】
1.一种公网资产的识别方法，其特征在于，包括：
基于预设关键字，从资产库中识别出疑似企业资产；其中，所述资产库中存储有从公网中获取的网络资产，所述预设关键字为与企业信息相关的关键字，所述疑似企业资产为网络上可能属于企业的网络资产；
利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息；其中，所述第一网络指纹信息为能表征所述疑似企业资产对应的网页的基本特征的信息；
判断所述第一网络指纹信息中是否存在所述预设关键字，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产，将所述域名资产和网址资产确定为企业资产。


2.如权利要求1所述的识别方法，其特征在于，基于预设关键字，从资产库中识别出疑似企业资产，包括：
对所述资产库中每个网络资产执行以下操作：
判断所述每个网络资产对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字；
若为是，从所述第二网页信息及所述第二网络指纹信息中，提取第一域名资产和第一网址资产；
将所有第一域名资产和第一网址资产作为所述疑似企业资产。


3.如权利要求2所述的识别方法，其特征在于，判断所述每个网络资产对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字，包括：
判断所述每个网络资产中的域名、所述域名的备案信息和whois信息、网址对应的第二网页信息及第二网络指纹信息中，是否存在所述预设关键字。


4.如权利要求1所述的识别方法，其特征在于，所述资产库中的网络资产是通过分布式部署的网络爬虫从所述公网中爬取的。


5.如权利要求1-4任一项所述的识别方法，其特征在于，利用网络爬虫，对所述疑似企业资产进行深层信息爬取，获得所述疑似企业资产对应的第一网络指纹信息，包括：
将所述疑似企业资产的主域名和子域名对应网页的URL存入待扫描队列；
对所述待扫描队列中的URL进行web指纹识别，获取所述第一网络指纹信息。


6.如权利要求5所述的识别方法，其特征在于，从存在所述预设关键字的第一网络指纹信息中提取域名资产和网址资产之后，还包括：
获取并存...

【专利技术属性】
技术研发人员：周素华，杨乐，战辉，孙建鹏，范敦球，叶晓虎，
申请(专利权)人：北京神州绿盟信息安全科技股份有限公司，北京神州绿盟科技有限公司，
类型：发明
国别省市：北京;11