一种互联网端口的整理装置制造方法及图纸

本实用新型专利技术实施例公开了一种互联网端口的整理装置，用于解决了现有的爬虫程序基于页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非http80端口的域名给取出的，从而避免了cache缓存加速时，在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。本实用新型专利技术实施例包括：获取单元，用于获取域名及与域名相对应的ip地址；建立单元，用于建立与域名相对应的中转ip地址；解析单元，用于通过重定向方式将域名分组解析至中转ip地址；提取单元，用于依次分析每组域名的端口，并提取非http80端口相对应的域名。

【技术实现步骤摘要】
一种互联网端口的整理装置
本技术涉及互联网
，尤其涉及一种互联网端口的整理装置。
技术介绍
在基于互联网的服务端口使用不统一不规范，常常面临着程序员使用非常规的80端口作为http的服务端口，如:8080、8090等端口，以及为了提高访问用户登陆网站用户数据的安全性，使用了 https的ssl数据加密传输，相当部分的网站会选择在同一个域名底下使用http和https两种协议等，基于这样两种互联网技术中的cache缓存技术，通常使用爬虫程序，对互联网页面进行爬取，然后将页面内的目标取出，通过判断协议和域名后面的端口来将非http80端口服务的域名挑出来。 然而，上述的通过爬虫程序对非httpSO端口服务的域名挑出来的技术，当页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非http80端口的域名给取出的，从而导致cache缓存错误的技术问题。 因此，为了完善爬虫程序基于某些场景下无法取出所需的非httpSO端口的域名的技术缺陷，本领域技术人员亟待解决前述的技术问题。
技术实现思路
本技术实施例提供了一种互联网端口的整理方法及装置，用于解决了现有的爬虫程序基于页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非httpSO端口的域名给取出的，从而避免了 cache缓存加速时，在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。 本技术实施例中提供的一种互联网端口的整理装置，包括: 获取单元，用于获取域名及与所述域名相对应的ip地址； 建立单元，用于建立与所述域名相对应的中转ip地址； 解析单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址； 提取单元，用于依次分析每组所述域名的端口，并提取非httpSO端口相对应的所述域名。 可选地， 所述的互联网端口的整理装置还包括: 提取单元，用于提取cache缓存中的所有的所述域名。 可选地， 建立单元具体包括: 建立子单元，用于建立多组中转ip地址； 分组子单元，用于将所述域名分组对应所述中转ip地址。 可选地， 解析单元具体包括: 映射子单元，用于对所述域名通过nat平台分进行nat映射； 解析子单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址。 可选地， 提取单元具体包括: 分析子单元，用于通过日志分析每组所述域名； 获取写入子单元，用于通过所述域名和与之对应的所述中转ip地址的相对应的所述端口，并写入数据库； 提取子单元，用于提取非http80端口相对应的所述域名。 所述获取单元，所述建立单元，所述解析单元，所述提取单元--相互连接。 可选地， 所述建立子单元和所述分组子单元相互连接。 可选地， 所述映射子单元与所述解析子单元相互连接。 可选地， 所述分析子单元，所述获取写入子单元，所述提取子单元一一相互连接。 从以上技术方案可以看出，本技术实施例具有以下优点: 本技术实施例提供了一种互联网端口的整理装置，包括:获取单元，用于获取域名及与域名相对应的ip地址；建立单元，用于建立与域名相对应的中转ip地址；解析单元，用于通过重定向方式将域名分组解析至中转ip地址；提取单元，用于依次分析每组域名的端口，并提取非http80端口相对应的域名。本实施例中，通过建立单元先建立与域名相对应的中转ip地址，再通过解析单元重定向方式将域名分组解析至中转ip地址，然后依次分析每组域名的端口，最后提取单元提取非httpSO端口相对应的域名的方法，便解决了现有的爬虫程序基于页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非httpSO端口的域名给取出的，从而避免了 cache缓存加速时，在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。 【附图说明】 为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。 图1为本技术实施例提供的一种互联网端口的整理装置的一个实施例的结构示意图； 图2为本技术实施例提供的一种互联网端口的整理装置的另一个实施例的结构示意图； 图3为本技术实施例提供的一种互联网端口的整理装置的另一个实施例的结构示意图。 【具体实施方式】 获取单元，用于获取域名及与域名相对应的ip地址；建立单元，用于建立与域名相对应的中转ip地址；解析单元，用于通过重定向方式将域名分组解析至中转ip地址；提取单元，用于依次分析每组域名的端口，并提取非httpSO端口相对应的域名。 为使得本技术的目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。 请参阅图1，本技术实施例中提供的一种互联网端口的整理装置的一个实施例包括: 获取单元101，用于获取域名及与域名相对应的ip地址； 建立单元102，用于建立与域名相对应的中转ip地址； 解析单元103，用于通过重定向方式将域名分组解析至中转ip地址； 提取单元104，用于依次分析每组域名的端口，并提取非httpSO端口相对应的域名。 本实施例中，通过建立单元102先建立与域名相对应的中转ip地址，再通过解析单元103重定向方式将域名分组解析至中转ip地址，然后依次分析每组域名的端口，最后提取单元104提取非httpSO端口相对应的域名的方法，便解决了现有的爬虫程序基于页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非httpSO端口的域名给取出的，从而避免了cache缓存加速时，在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。 上面是对互联网端口的整理装置的各单元进行详细的描述，下面将对附加单元进行详细的描述，请参阅图2，本技术实施例中提供的一种互联网端口的整理装置的另一个实施例包括: 提取单元201，用于提取cache缓存中的所有的域名； 获取单元202，用于获取域名及与域名相对应的ip地址； 建立单元203，用于建立与域名相对应的中转ip地址； 其中，建立单元203还可以进一步包括: 建立子单元2031，用于建立多组中转ip地址； 分组子单元2032，用于将域名分组对应中转ip地址。 解析单元204，用于通过重定向方式将域名分组解析至中转ip地址； 提取单元205，用于依次分析每组域名的端口，并提取本文档来自技高网...

【技术保护点】
一种互联网端口的整理装置，其特征在于，包括：获取单元，用于获取域名及与所述域名相对应的ip地址；建立单元，用于建立与所述域名相对应的中转ip地址；解析单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址；提取单元，用于依次分析每组所述域名的端口，并提取非http80端口相对应的所述域名；所述获取单元，所述建立单元，所述解析单元，所述提取单元一一相互连接；另一提取单元，用于提取cache缓存中的所有的所述域名。

【技术特征摘要】
1.一种互联网端口的整理装置，其特征在于，包括: 获取单元，用于获取域名及与所述域名相对应的ip地址； 建立单元，用于建立与所述域名相对应的中转ip地址； 解析单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址； 提取单元，用于依次分析每组所述域名的端口，并提取非httpSO端口相对应的所述域名； 所述获取单元，所述建立单元，所述解析单元，所述提取单元--相互连接； 另一提取单元，用于提取cache缓存中的所有的所述域名。2.根据权利要求1所述的互联网端口的整理装置，其特征在于，建立单元具体包括: 建立子单元，用于建立多组中转ip地址； 分组子单元，用于将所述域名分组对应所述中转ip地址。3.根据权利要求1所述的互联网端口的整理装置，其特征在于，解析单元具体包括: 映射子单元，用...

【专利技术属性】
技术研发人员：周丰杰，康向荣，
申请(专利权)人：北京浩瀚深度信息技术股份有限公司，
类型：新型
国别省市：北京;11