一种构建服务属性数据库的方法及装置制造方法及图纸

本发明专利技术实施例提供了一种构建服务属性数据库的方法及装置，其中方法包括：构建存储有目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面的内容进行一一对应形成映射表的服务属性数据库，通过输入IP地址，可以更加便捷地从服务属性数据库中获取，与该IP地址关联的网站的行业属性以及该网站中网页的服务属性，提供给开发人员或者客户端，使得开发人员可以实时的对故障的网页进行修复以及全面的对整个网络空间进行监控、安全性分析或者维护。

A method and device of building service attribute database

【技术实现步骤摘要】
一种构建服务属性数据库的方法及装置
本专利技术涉及计算机
，特别是涉及一种构建服务属性数据库的方法及装置。
技术介绍
IP(InternetProtocolAddress，网际协议地址)技术作为连接客户端、服务器以及网络资源的纽带，常常被应用于网络技术中。在网络技术中，客户端可以通过输入域名从网络服务器获取网络资源，示例性的，网络资源可以是网站，解析服务器对域名解析获得与域名对应的网络服务器的IP地址，每一个IP地址对应一个网站，每个网站可以划分不同的行业属性，例如：教育类网站、金融类网站、小说阅读类网站。每一个行业属性的网站可能存在多个页面，每个页面有其服务属性，示例性教育类网站的页面可以包括登录页面、教学页面、考试页面等等，登录页面的服务属性可以为登录。网络服务器通过访问端口，从网站提供者处获取IP地址对应的网站，发送给客户端。如果当客户端在未获取网站时，想要获得网站中页面的服务属性，需要再次输入相同的域名访问网络服务器获取网站，网络服务器向解析服务器发送解析请求后，解析服务器重新解析域名对应的IP地址，将IP地址对应的网站发送网络服务器，网络服务器返回给客户端，客户端才能知道；或者当网络故障时，开发人员能监控到哪个域名的网站故障，却无法获知具体哪个服务属性的网页故障，导致不能实时的对网页进行修复，或者，当开发人员对整个网络空间进行监控、安全性分析或者维护都是根据域名去查询整个网站的状况，获知网络服务器、网站状况，却无法获知网站的服务属性。因此，亟需一种能够便捷的获取网站服务属性的方法。r>
技术实现思路
本专利技术实施例的目的在于提供一种构建服务属性数据库的方法及装置，以实现更加便捷的获取网站服务属性。具体技术方案如下：第一方面，本专利技术实施例提供的一种构建服务属性数据库的方法，包括：获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；爬取所述待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；获取主域名以及主域名下的各子域名的A记录，其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址；针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，方法还包括：接收查询指令，并根据查询指令中携带的目标页面域名对应的IP地址，在服务属性数据库中查询与目标页面相关的数据，与目标页面相关的数据包括：目标页面的服务属性，目标页面所在网站的行业属性，以及目标页面的内容。可选的，A记录通过以下步骤获得：模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；针对预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将目标页面的域名作为待解析域名，向解析服务器发送解析请求，解析请求包括：目标IP地址及待解析域名；获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，方法还包括：获取隐匿IP地址的服务列表，隐匿IP地址是与A记录中IP地址不同的IP地址；将隐匿IP地址的服务列表存储至服务属性数据库中。可选的，获取隐匿IP地址的服务列表的步骤包括：根据预设的长度以及A记录中的IP地址的网段，获取地址集，地址集中IP地址个数与预设的长度成倍数关系；针对地址集中的一个IP地址，当该IP地址与A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库的步骤之后，方法还包括：从头部信息中提取网络服务器的信息，并将网络服务器的信息与目标页面的域名对应存储入至映射表中。可选的，针对一个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性的步骤包括：针对一个网站，将该网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。第二方面，本专利技术实施例提供的一种构建服务属性数据库的装置，包括：域名获取模块，用于获取待探测域名列表，待探测域名列表包括多个待探测网站的主域名；页面爬取模块，用于爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面；其中，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；记录获取模块，用于获取主域名以及主域名下的各子域名的A记录，其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址；属性确定模块，用于针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；地址获取模块，用于当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址；存储模块，用于当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储；构建模块，用于将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据本文档来自技高网...

【技术保护点】
1.一种构建服务属性数据库的方法，其特征在于，所述方法包括：/n获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；/n爬取所述待探测域名列表中各个主域名对应的页面及所述各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将所述主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，所述http响应是向网络服务器发送http请求，网络服务器对所述http请求处理后返回的响应；/n获取所述主域名以及所述主域名下的各子域名的A记录，其中，所述A记录通过解析服务器根据预设的源IP地址列表，解析所述主域名及所述主域名下子域名得到，所述A记录中包括所述主域名对应的IP地址，以及所述主域名下的各子域名对应的IP地址；/n针对所述待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；/n当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；/n当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；/n将所述目标页面的域名，目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，得到所述服务属性数据库。/n...

【技术特征摘要】
1.一种构建服务属性数据库的方法，其特征在于，所述方法包括：
获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；
爬取所述待探测域名列表中各个主域名对应的页面及所述各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将所述主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，所述http响应是向网络服务器发送http请求，网络服务器对所述http请求处理后返回的响应；
获取所述主域名以及所述主域名下的各子域名的A记录，其中，所述A记录通过解析服务器根据预设的源IP地址列表，解析所述主域名及所述主域名下子域名得到，所述A记录中包括所述主域名对应的IP地址，以及所述主域名下的各子域名对应的IP地址；
针对所述待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；
当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；
当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；
将所述目标页面的域名，目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，得到所述服务属性数据库。


2.根据权利要求1所述的方法，其特征在于，在所述将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，所述方法还包括：
接收查询指令，并根据所述查询指令中携带的目标页面域名对应的IP地址，在所述服务属性数据库中查询与所述目标页面相关的数据，所述与所述目标页面相关的数据包括：所述目标页面的服务属性，所述目标页面所在网站的行业属性，以及所述目标页面的内容。


3.根据权利要求1所述的方法，其特征在于，所述A记录通过以下步骤获得：
模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；
针对所述预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将所述目标页面的域名作为待解析域名，向解析服务器发送解析请求，所述解析请求包括：目标IP地址及所述待解析域名；
获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。


4.根据权利要求1所述的方法，其特征在于，在所述将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，所述方法还包括：
获取隐匿IP地址的服务列表，所述隐匿IP地址是与A记录中IP地址不同的IP地址；
将所述隐匿IP地址的服务列表存储至所述服务属性数据库中。


5.根据权利要求4所述的方法，其特征在于，所述获取隐匿IP地址的服务列表的步骤包括：
根据预设的长度...

【专利技术属性】
技术研发人员：张沛，黄小红，李丹丹，谢坤，刘志豪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11