一种关联网页搜索方法和系统技术方案

本发明专利技术公开了一种关联网页搜索方法和系统，所述方法包括：接收搜索请求；所述请求中包括搜索关键词；依据所述搜索关键词在预置的关联网页数据库中进行查找，获得与所述关键词匹配的网页；判断所述网页是否为关联网页；若是，则返回所述网页及所述网页关联的首页信息。本发明专利技术在判断获得与关键词匹配的网页为关联网页时，返回该网页及该网页关联的首页信息，避免了用户重复搜索或者查找首页的过程，进一步减少了系统的操作，减少了系统资源的占用，提高了搜索的效率。

【技术实现步骤摘要】
一种关联网页搜索方法和系统
本专利技术涉及数据搜索
，具体涉及一种关联网页搜索方法、一种关联网页搜索系统。
技术介绍
随着因特网的发展，愈来愈多的信息是通过网页方式呈现在因特网上供用户查询，同样的通过搜寻引擎在因特网中查询数据也成为最常使用的数据搜寻方法。搜索引擎收录网页时需要针对不同种类的网页采取不同的调度策略，网页种类的识别是一项基础工作，其中翻页(Page turning)网页的识别是一项比较关键的工作。所谓翻页网页，即查看分页文件的上一个页面、下一个页面或任意存在的非当前页面。翻页网页可以将实体书或者移动Web窗体中的内容进行改变，以观看不同内容。在互联网上运用时该机制还呈现可用于浏览到其他页的用户界面元素。现有的翻页网页的识别方法是根据网页的URL(Uniform Resource Locator,统一资源定位符)所包含的关键词来识别是否是索引页。例如，当URL包含有page、pn、p等关键词以及关键词后面有数字时，判断该URL对应的网页为翻页网页。但是，这种识别方法召回率低，并且很多网站的翻页是不具有这些关键词的，t匕如 “http://cq.ABC.com/lvshi/ol2/，，、“http: //bbs.BCA.com/t661_10，，、“http://china.BCD.com/product/20110617/2647”，但是这些网页依然是翻页，使得这些识别方法容易造成误操作，实用性低。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种关联网页搜索方法和相应的一种关联网页搜索系统。依据本专利技术的一个方面，提供了一种关联网页搜索方法，包括:接收搜索请求；所述请求中包括搜索关键词；依据所述搜索关键词在预置的关联网页数据库中进行查找，获得与所述关键词匹配的网页；判断所述网页是否为关联网页；若是，则返回所述网页及所述网页关联的首页信肩、O可选地，所述关联网页数据库通过以下方式建立:判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式；采用所述关联网页URL模式获取对应的关联网页；采用所述所述关联网页URL模式对应的关联网页建立关联网页数据库。可选地，所述判断抓取到的网页是否包括关联网页URL模式的步骤包括:判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL ；采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。可选地，所述判断当前网页的页面元素中是否具有翻页特征字符串的步骤包括:采用翻页特征字符串在当前网页的DOM树节点中进行匹配；当匹配成功时，则判断当前网页具有翻页特征字符串。可选地，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为:采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为:采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。可选地，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为:分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为:分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。可选地，所述采用所述关联网页URL模式获取对应的关联网页的步骤包括:将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。可选地，所述获取所述关联网页URL模式对应的关联网页的步骤包括:通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL ;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；访问所述首页关联网页的URL获取所述首页关联网页。可选地，所述首页标识包括0、1和/或当前关联网页中的最大数值。根据本专利技术的另一方面，提供了一种关联网页搜索系统，包括:搜索请求接收模块，适于接收搜索请求；所述请求中包括搜索关键词；匹配网页获得模块，适于依据所述搜索关键词在预置的关联网页数据库中进行查找，获得与所述关键词匹配的网页；多页关联网页判断模块，适于判断所述网页是否为关联网页；若是，则调用信息返回模块；信息返回模块，适于返回所述网页及所述网页关联的首页信息。可选地，所述关联网页数据库通过调用以下子模块建立:关联网页URL判断子模块，适于判断抓取到的网页是否包括关联网页URL模式；若是，则调用关联网页URL模式获取子模块；关联网页URL模式获取子模块，适于获取所述关联网页URL模式；关联网页获取子模块，适于采用所述关联网页URL模式获取对应的关联网页；关联网页数据库建立子模块，适于采用所述所述关联网页URL模式对应的关联网页建立关联网页数据库。可选地，所述关联网页URL模式子模块包括:翻页特征字符串判断单元，适于判断当前网页的页面元素中是否具有翻页特征字符串；若是，则调用URL提取单元；URL提取单元，适于提取所述翻页特征字符串链接的URL ；第一特征RUL前缀获得单元，适于采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；第二特征RUL前缀获得单元，适于采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；判定单元，适于关联网页URL模式当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。可选地，所述翻页特征字符串判断单元还适于:采用翻页特征字符串在当前网页的DOM树节点中进行匹配；当匹配成功时，则判断当前网页具有翻页特征字符串。可选地，所述第一特征RUL前缀获得单元还适于:采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；所述第二特征RUL前缀获得单元还适于:采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。可选地，所述第一特征RUL前缀获得单元还适于:分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；所述第二特征RUL前缀获得单元还适于:分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。可选地，所述关联网页URL模式获取模块还适于:将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对本文档来自技高网...

【技术保护点】
一种关联网页搜索方法，包括：接收搜索请求；所述请求中包括搜索关键词；依据所述搜索关键词在预置的关联网页数据库中进行查找，获得与所述关键词匹配的网页；判断所述网页是否为关联网页；若是，则返回所述网页及所述网页关联的首页信息。

【技术特征摘要】
1.一种关联网页搜索方法，包括: 接收搜索请求；所述请求中包括搜索关键词； 依据所述搜索关键词在预置的关联网页数据库中进行查找，获得与所述关键词匹配的网页； 判断所述网页是否为关联网页；若是，则返回所述网页及所述网页关联的首页信息。2.如权利要求1所述的方法，其特征在于，所述关联网页数据库通过以下方式建立: 判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式； 采用所述关联网页URL模式获取对应的关联网页； 采用所述所述关联网页URL模式对应的关联网页建立关联网页数据库。3.如权利要求2所述的方法，其特征在于，所述判断抓取到的网页是否包括关联网页URL模式的步骤包括: 判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL ； 采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字； 采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀； 当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。4.如权利要求3所述的方法，其特征在于，所述判断当前网页的页面元素中是否具有翻页特征字符串的步骤包括: 采用翻页特征字符串在当前网页的DOM树节点中进行匹配； 当匹配成功时，则判断当前网页具有翻页特征字符串。5.如权利要求3所述的方法，其特征在于，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为: 采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前三双； 所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的...

【专利技术属性】
技术研发人员：王智广，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：