一种网页解析、获取方法及装置制造方法及图纸

技术编号:14347585 阅读:71 留言:0更新日期:2017-01-04 18:18
本申请公开了一种网页解析、获取方法及装置,其中网页解析过程包括:在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;对各所述域名进行预解析,获取各所述域名对应的IP地址;将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。由此可知,本申请在对待显示网页进行解析过程,即获取网页所包含的各域名,进而在网页解析过程并行对各域名进行解析,获取域名对应的IP地址并保存,避免了当用户请求网页中某个域名对应的资源时,临时对域名进行解析所带来的时间消耗,降低了用户等待时间。

【技术实现步骤摘要】

本申请涉及网页处理
,更具体地说,涉及一种网页解析、获取方法及装置
技术介绍
用户在浏览网页时,通常是通过域名的形式来打开远程网页。如浏览新浪门户网站http://www.sina.com.cn,www.sina.com.cn就是新浪网的域名。用户只需要在浏览器的地址栏输入这个域名,就可以打开远程服务器上的网页进行浏览了。浏览器与远程服务器之间的数据交互,使用的是IP网络,必须使用IP地址才能进行。因此,浏览器需要先对用户输入的域名进行解析,解析成IP地址之后,才能够访问IP地址对应的远程服务器。在网页上会有很多的超级链接,指向其他网页或资源。如果这个超级链接指向一个域名形式的其他网页或资源,那么浏览器需要先把这个域名地址解析成服务器的IP地址,才能进行数据载入。现有浏览器处理机制是,当用户打开一个包含超级链接的网页并触发点击该超级链接时,浏览器响应用户操作,对该超级链接对应的域名进行解析,获取IP地址。进而根据该IP地址下载数据。由于域名解析过程会消耗一定时间,因此会导致响应时间长,增加用户等待时间的问题。
技术实现思路
有鉴于此,本申请提供了一种网页解析、获取方法及装置,以解决现有技术当用户触发网页中的超级链接时,浏览器临时进行域名解析所造成的响应时间长,增加用户等待时间的问题。为了实现上述目的,现提出的方案如下:一种网页解析方法,包括:在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;对各所述域名进行预解析,获取各所述域名对应的IP地址;将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。优选地,所述在对待显示网页进行解析时,获取所述待显示网页所包含的域名,包括:在对待显示网页进行解析时,获取所述待显示网页所包含的各超级链接地址;获取各所述超级链接地址中的域名。优选地,在获取待显示网页所包含的域名之后,该方法还包括:将获取的域名添加至域名预解析队列中;所述对各所述域名进行预解析,获取各所述域名对应的IP地址,包括:调用后台线程,对所述域名预解析队列中的各所述域名进行预解析,获取各所述域名对应的IP地址。优选地,还包括:在判断保存的域名及对应的IP地址达到失效时限时,将达到失效时限的域名添加至所述域名预解析队列中。一种网页获取方法,基于上述所述的网页解析方法,该网页加载方法包括:接收对网页中目标超级链接的触发指令;在所述目标超级链接中提取域名,并查询已存储的域名及IP地址对应关系列表,确定与提取的域名对应的IP地址;其中,所述域名及IP地址对应关系列表中记录有,在所述网页解析时得到的各域名,以及对各域名预解析所得到的对应的IP地址;根据确定的与提取的域名对应的IP地址,访问该IP地址对应的服务器,获取网页数据。一种网页解析装置,包括:域名获取单元,用于在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;域名预解析单元,用于对各所述域名进行预解析,获取各所述域名对应的IP地址;对应关系保存单元,用于将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。优选地,所述域名获取单元包括:超级链接地址获取单元,用于在对待显示网页进行解析时,获取所述待显示网页所包含的各超级链接地址;域名提取单元,用于获取各所述超级链接地址中的域名。优选地,还包括:第一队列添加单元,用于在获取待显示网页所包含的域名之后,将获取的域名添加至域名预解析队列中;所述域名预解析单元包括:后台预解析单元,用于调用后台线程,对所述域名预解析队列中的各所述域名进行预解析,获取各所述域名对应的IP地址。优选地,还包括:第二队列添加单元,用于在判断保存的域名及对应的IP地址达到失效时限时,将达到失效时限的域名添加至所述域名预解析队列中。一种网页获取装置,基于上述所述的网页解析装置,该网页获取装置包括:触发指令接收单元,用于接收对网页中目标超级链接的触发指令;IP地址查询单元,用于在所述目标超级链接中提取域名,并查询已存储的域名及IP地址对应关系列表,确定与提取的域名对应的IP地址;其中,所述域名及IP地址对应关系列表中记录有,在所述网页解析时得到的各域名,以及对各域名预解析所得到的对应的IP地址;IP地址访问单元,用于根据确定的与提取的域名对应的IP地址,访问该IP地址对应的服务器,获取网页数据。从上述的技术方案可以看出,本申请实施例提供的网页解析方法,在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;对各所述域名进行预解析,获取各所述域名对应的IP地址;将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。由此可知,本申请在对待显示网页进行解析过程,即获取网页所包含的各域名,进而在网页解析过程并行对各域名进行解析,获取域名对应的IP地址并保存,避免了当用户请求网页中某个域名对应的资源时,临时对域名进行解析所带来的时间消耗,降低了用户等待时间。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本申请实施例公开的一种网页解析方法流程图;图2为本申请实施例公开的另一种网页解析方法流程图;图3为本申请实施例公开的又一种网页解析方法流程图;图4为本申请实施例公开的一种网页获取方法流程图;图5为本申请实施例公开的一种网页解析装置结构示意图;图6为本申请实施例公开的一种网页获取装置结构示意图。具体实施方式在介绍本申请方案之前首先对文中会提及的专业名词进行解释:1.1IP地址IP地址是指互联网协议地址(英语:InternetProtocolAddress,又译为网际协议地址),是IPAddress的缩写。IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异。1.2域名域名(DomainName),是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置,地理上的域名,指代有行政自主权的一个地方区域)。一个域名的目的是便于记忆和沟通的一组服务器的地址(网站,电子邮件,FTP等)。IP地址是Internet主机的作为路由寻址用的数字型标识,人不容易记忆。因而产生了域名(domainname)这一种字符型标识。1.3DNS(域名系统)DNS(DomainNameSystem,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。DNS协议运行在UDP协议之上,使用端口本文档来自技高网...
一种网页解析、获取方法及装置

【技术保护点】
一种网页解析方法,其特征在于,包括:在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;对各所述域名进行预解析,获取各所述域名对应的IP地址;将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。

【技术特征摘要】
1.一种网页解析方法,其特征在于,包括:在对获取的待显示网页进行解析时,获取所述待显示网页所包含的域名;对各所述域名进行预解析,获取各所述域名对应的IP地址;将各所述域名对应的IP地址进行保存,以便在请求所述待显示网页中目标域名对应的资源时,查询保存的与所述目标域名对应的IP地址,并基于查询到的IP地址进行资源的下载。2.根据权利要求1所述的网页解析方法,其特征在于,所述在对待显示网页进行解析时,获取所述待显示网页所包含的域名,包括:在对待显示网页进行解析时,获取所述待显示网页所包含的各超级链接地址;获取各所述超级链接地址中的域名。3.根据权利要求1或2所述的网页解析方法,其特征在于,在获取待显示网页所包含的域名之后,该方法还包括:将获取的域名添加至域名预解析队列中;所述对各所述域名进行预解析,获取各所述域名对应的IP地址,包括:调用后台线程,对所述域名预解析队列中的各所述域名进行预解析,获取各所述域名对应的IP地址。4.根据权利要求3所述的网页解析方法,其特征在于,还包括:在判断保存的域名及对应的IP地址达到失效时限时,将达到失效时限的域名添加至所述域名预解析队列中。5.一种网页获取方法,其特征在于,基于权利要求1-4任一项所述的网页解析方法,该网页加载方法包括:接收对网页中目标超级链接的触发指令;在所述目标超级链接中提取域名,并查询已存储的域名及IP地址对应关系列表,确定与提取的域名对应的IP地址;其中,所述域名及IP地址对应关系列表中记录有,在所述网页解析时得到的各域名,以及对各域名预解析所得到的对应的IP地址;根据确定的与提取的域名对应的IP地址,访问该IP地址对应的服务器,获取网页数据。6.一种网页解析装置,其特征在于,包括:域名获取单元,用于在对获取的待显...

【专利技术属性】
技术研发人员:徐佳宏朱吕亮
申请(专利权)人:深圳市茁壮网络股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1