子域名采集方法、装置制造方法及图纸

本申请的实施例提供了一种子域名采集方法、装置。该方法包括：从预设任务队列中获取目标域名，所述目标域名包括根域名；确定与所述目标域名对应的URL地址，以通过对所述URL地址发送第一网络请求，获取与所述第一网络请求对应的页面响应数据；对所述页面响应数据进行解析，以从所述页面响应数据中得到所述根域名的第一子域名；将所述第一子域名存储至预设数据库。本申请实施例的技术方案可以提高对子域名采集的全面性。采集的全面性。采集的全面性。

Subdomain name collection method and device

【技术实现步骤摘要】
子域名采集方法、装置


[0001]本申请涉及计算机及信息安全
，具体而言，涉及一种子域名采集方法、装置。

技术介绍

[0002]当前在信息安全监控场景中，例如在企业信息安全的监控场景，为减少监控盲点，需要尽可能的采集企业的域名信息。在现有技术中，通常基于DNS协议枚举查询目标企业域名的子域名，然而，依赖枚举关键词字典丰富度，容易导致域名采集不够全面。基于此，如何能够提高对子域名采集的全面性是亟待解决的技术问题。

技术实现思路

[0003]本申请的实施例提供了一种子域名采集方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备，进而至少在一定程度上可以提高对子域名采集的全面性。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种子域名采集方法，所述方法包括：从预设任务队列中获取目标域名，所述目标域名包括根域名；确定与所述目标域名对应的URL地址，以通过对所述URL地址发送第一网络请求，获取与所述第一网络请求对应的页面响应数据；对所述页面响应数据进行解析，以从所述页面响应数据中得到所述根域名的第一子域名；将所述第一子域名存储至预设数据库。
[0006]根据本申请实施例的一个方面，提供了一种子域名采集装置，所述装置包括：第一获取单元，被用于从预设任务队列中获取目标域名，所述目标域名包括根域名；确定单元，被用于确定与所述目标域名对应的URL地址，以通过对所述URL地址发送第一网络请求，获取与所述第一网络请求对应的页面响应数据；解析单元，被用于对所述页面响应数据进行解析，以从所述页面响应数据中得到所述根域名的第一子域名；第一存储单元，被用于将所述第一子域名存储至预设数据库。
[0007]在本申请的一些实施例中，基于前述方案，所述装置还包括：第二获取单元，被用于所述目标域名还包括第二子域名，在从预设任务队列中获取目标域名之前，获取根域名，并通过预定子域名探测方式，对所述根域名的子域名进行探测，得到所述根域名的第二子域名；第二存储单元，被用于将所述第二子域名添加至所述预设任务队列中，并将所述第二子域名存储至所述预设数据库。
[0008]在本申请的一些实施例中，基于前述方案，所述预定子域名探测方式包括如下至少一种：向预定搜索引擎发送子域名搜索请求，所述子域名搜索请求包括所述根域名的关键字，接收所述预定搜索引擎返回的子域名搜索响应，对所述子域名搜索响应进行正则表达式匹配，以匹配出的所述根域名的第二子域名；向本地DNS服务器发送DNS查询命令，所述DNS查询命令中包括所述根域名，接收所述本地DNS服务器返回的DNS查询响应，以在所述
DNS查询响应中确定所述根域名的第二子域名；获取常用子域名字典，对所述常用子域名字典中的子域名进行枚举，以得到所述根域名的第二子域名。
[0009]在本申请的一些实施例中，基于前述方案，所述装置还包括提取单元，被用于在对所述页面响应数据进行解析之前，在所述页面响应数据中提取同源URL地址，所述同源URL地址为符合所述目标域名同源策略的URL地址；发送单元，被用于通过对所述同源URL地址发送第二网络请求，获取与所述第二网络请求对应的页面响应数据。
[0010]在本申请的一些实施例中，基于前述方案，所述提取单元配置为：在获取与所述第二网络请求对应的页面响应数据之后，将与所述第二网络请求对应的页面响应数据作为新的页面响应数据，返回执行在所述页面响应数据中提取同源URL地址的步骤，直至在与所述第二网络请求对应的页面响应数据中不存在未提取过的同源URL地址。
[0011]在本申请的一些实施例中，基于前述方案，所述解析单元配置为：从所述页面响应数据中确定代码字符串；按照预设的子域名提取规则，在所述代码字符串中提取所述根域名的互不重复的子域名作为第一子域名。
[0012]在本申请的一些实施例中，基于前述方案，所述页面响应数据中包括响应头数据和响应体数据，所述解析单元配置为：从所述响应头数据和所述响应体数据中确定代码字符串。
[0013]在本申请的一些实施例中，基于前述方案，所述第一存储单元配置为：在所述预设数据库中不存在与所述第一子域名重复的域名时，将所述第一子域名存储至预设数据库。
[0014]在本申请的一些实施例中，基于前述方案，所述第一获取单元配置为：在将所述第一子域名存储至预设数据库之后，将所述第一子域名添加至所述预设任务队列中；将添加至所述预设任务队列中的第一子域名作为新的目标域名，返回执行从预设任务队列中获取目标域名的步骤，直至在所述预设任务队列中不存在目标域名。
[0015]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的子域名采集方法。
[0016]根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的子域名采集方法。
[0017]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的子域名采集方法。
[0018]在本申请的一些实施例所提供的技术方案中，通过确定并访问与任务队列中根域名所对应的URL地址，获取对应的页面响应数据，并通过对页面响应数据进行解析，可以得到根域名的第一子域名，将所述第一子域名存储至预设数据库。由于通过已知域名的URL地址所对应网络请求获取的页面响应数据中包括有与根域名相关的大量子域名，因此，从页面响应数据中采集根域名的第一子域名可以弥补了传统子域名采集方法的不足，提高对子域名采集的全面性。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0021]图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
[0022]图2示出了根据本申请一个实施例的子域名采集方法的流程图；
[0023]图3示出了根据本申请一个实施例的在从预设任务队列中获取目标域名之前的方法流程图；
[0024]图4示出了根据本申请一个实施例的在对所述页面响应数据进行解析之前的方法流程图；
[0025]图5示出了根据本申请一个实施例的对所述页面响应数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种子域名采集方法，其特征在于，所述方法包括：从预设任务队列中获取目标域名，所述目标域名包括根域名；确定与所述目标域名对应的URL地址，以通过对所述URL地址发送第一网络请求，获取与所述第一网络请求对应的页面响应数据；对所述页面响应数据进行解析，以从所述页面响应数据中得到所述根域名的第一子域名；将所述第一子域名存储至预设数据库。2.根据权利要求1所述的方法，其特征在于，所述目标域名还包括第二子域名，在从预设任务队列中获取目标域名之前，所述方法还包括：获取根域名，并通过预定子域名探测方式，对所述根域名的子域名进行探测，得到所述根域名的第二子域名；将所述第二子域名添加至所述预设任务队列中，并将所述第二子域名存储至所述预设数据库。3.根据权利要求2所述的方法，其特征在于，所述预定子域名探测方式包括如下至少一种：向预定搜索引擎发送子域名搜索请求，所述子域名搜索请求包括所述根域名的关键字，接收所述预定搜索引擎返回的子域名搜索响应，对所述子域名搜索响应进行正则表达式匹配，以匹配出的所述根域名的第二子域名；向本地DNS服务器发送DNS查询命令，所述DNS查询命令中包括所述根域名，接收所述本地DNS服务器返回的DNS查询响应，以在所述DNS查询响应中确定所述根域名的第二子域名；获取常用子域名字典，对所述常用子域名字典中的子域名进行枚举，以得到所述根域名的第二子域名。4.根据权利要求1所述的方法，其特征在于，在对所述页面响应数据进行解析之前，所述方法还包括：在所述页面响应数据中提取同源URL地址，所述同源URL地址为符合所述目标域名同源策略的URL地址；通过对所述同源URL地址发送第二网络请求，获取与所述第二网络请求对应的页面响应数据。5.根据权利要求4所述的方法，其特征在于，在获取与所述第二网络请求对应的页面响应数据之后...

【专利技术属性】
技术研发人员：唐文韬，甘祥，郑兴，范宇河，郭晶，申军利，彭婧，刘羽，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：