本发明专利技术公开了一种网页信息更新发现与统计的方法和装置，属于计算机应用领域，解决传统的RSS订阅新闻无法获得新的新闻源，也无法对新闻源进行跟踪统计的问题。具体步骤如下：(1)抓取URL模块抓取网页链接的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。本发明专利技术能动态抓取并分析获得的新闻源。
【技术实现步骤摘要】
一种网页信息更新发现与统计的方法和装置
一种网页信息更新发现与统计的方法和装置，用于动态抓取并分析获得的新闻源，属于计算机应用领域。
技术介绍
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。“新URL源”是指Web服务器提供的一个URL，其对应的网页内容是目录导航型，包含大量指向正文内容型(即“新闻报道”)网页的链接。该目录会定期更新，不断出现一些指向新发布新闻报道的链接，同时指向过期新闻的链接则被移除。在网络信息搜索系统中，要对不同的网站和下级链接的内容更新活跃度进行自动实时统计，统计结果作为搜索结果排序的指标之一。对于安全应用领域来说，每个浏览器也需要检测每个新闻URL的安全性以及合法性。对于搜索引擎来说，需要抓取即时新闻的更新，然而现有方法是通过RSS(简易信息聚合)订阅来获得新闻的更新。RSS是一种消息来源格式规范，用以聚合经常发布更新数据的网站，例如博客文章、新闻、音频或视频的网摘。RSS文件(或称做摘要、网络摘要、或频更新，提供到频道)包含了全文或是节录的文字，再加上发用者所订阅之网摘布数据和授权的元数据。把新闻标题、摘要(Feed)、内容按照用户的要求，“送”到用户的桌面就是RSS的目的，但是这种方法有一个缺点:无法自动获得新的新闻源，更无法跟踪统计新闻源的更新情况。
技术实现思路
本专利技术针对现有技术的不足之处提供了一种网页信息更新发现与统计的方法和装置装置，解决传统的RSS订阅新闻无法获得新的新闻源，也无法对新闻源进行跟踪统计的问题，并在分析新闻源的过程中估算新闻源的更新周期和更新频度。为了实现上述目的，本专利技术采用的技术方案如下:一种网页信息更新发现与统计的方法，其特征在于，步骤如下:(I)抓取URL模块抓取网页链接的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(I);(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤⑷，否则转到步骤⑴；(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。作为优选，所述步骤(2)中，判定网页链接是否为新闻链接的步骤如下:(21)通过正则表达式匹配判断抓取的网页链接地址字符串中是否包含“news”关键字，是则转到步骤(22)，否则继续判断并记录链接数；(22)通过该网页链接抓取它指向的网页界面，通过正则表达式匹配判断来抓取页面里面所有字符串是否同时包含“时间”、“来源”、“标题”三个关键字，如果是则为新闻链接并记录新闻链接数，否则记录链接数；(23)判断是否抓取完该网页链接中的所有链接，如果是则结束，否则转到步骤(21)。作为优选，所述步骤(3)中，判定网页链接是否为新闻源的步骤如下:(31)将该网页URL中新闻链接数除以该网页URL中所有链接数来确定该网页URL里面新闻链接的比例，当该URL中新闻链接比例大于80%时跳到步骤(32)，否则该网页URL不是新闻源；(32)抓取该网页URL所指向界面的汉字，得到最大的连续汉字长度；(33)判断连续汉字长度是否小于30个，如果是则该网页URL即为新闻源，返之不是新闻源。作为优选，所述步骤(4)中，获取网页的更新时间并计算新闻源的更新周期，步骤如下:(41)给定一个网页新闻链接,通过TCP连接建立http请求后，通过TCP返回的http头部信息,来得到页面的更新时间；(42)如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；(43)通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式匹配提取出新闻更新时间，更新间隔时间的公式为4 =第i次更新时间-第(1-1)次更新时间，其中，\是第i次更新间隔时间；(44)计算第i次更新的权值，计算公式为:Wi = rij-1-N,其中，Wi是第i次更新权值，Hi是第i次更新数量，N是i次抓取得到的新闻源总的更新数量；(45)计算新闻源的更新周期,公式为:T = StiXwp—种网页信息更新发现与统计的装置，其特征在于:包括抓取链接的抓取URL模块；判定网页URL是否为新闻链接的新闻链接模块；判定网页URL是否为新闻源的新闻源模块；获得网页的更新时间并计算新闻源的更新周期的统计新闻信息模块。与现在技术相比，本专利技术的优点在于:一、本专利技术可以即时的发现新的URL中的新闻源，不需要手动添加新URL新闻源；二、本专利技术可以对新闻源进行跟踪统计得到新闻源的更新周期并依据更新周期进行新闻源的排名。【附图说明】[0031 ] 图1是本专利技术的流程示意图；图2是本专利技术的程序的功能模块示意图。【具体实施方式】下面将结合附图及【具体实施方式】对本专利技术作进一步的描述。参阅附图，一种网页信息更新发现与统计的方法，步骤如下:(I)通过抓取URL模块抓取输入要查找总域名，如:www.news, baidu.com的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)，判定URL是否为新闻链接的步骤如下:(21)通过正则表达式匹配判断抓取的网页链接地址字符串(www.news, baidu.com)中是否包含“news”关键字，如果包含则转到步骤(22)，否则继续判断并记录链接数；(22)通过该网页链接抓取它指向的网页界面，通过正则表达式匹配判断来抓取页面里面所有字符串是否同时包含“时间”、“来源”、“标题”三个关键字，如果是则为新闻链接并记录新闻链接数，否则记录链接数；(23)判断是否抓取完该网页链接中的所有链接，如果是则结束，否则转到步骤(21)。(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤⑷，否则转到步骤(1)，URL是 否为新闻源的判定步骤如下:(31)将该网页URL中新闻链接数除以该网页URL中所有链接数来确定该网页URL里面新闻链接的比例，当该URL中新闻链接比例大于80%时跳到步骤(32)，否则该网页URL不是新闻源；(32)抓取该网页URL所指向界面的汉字，得到最大的连续汉字长度；(33)判断连续汉字长度是否小于30个，如果是则该网页URL即为新闻源，返之不是新闻源。(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤，获取网页的更新时间并计算新闻源的更新周期，步骤如下:(41)给定一个网页新闻链接，通过TCP连接建立http请求后，通过TCP返回的http头部信息，头部信息一般包含了 HTTP协议版本、更新时间、返回的文本类型、服务器信息、返回内容的长度，用来得到页面的更新时间；(42)如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；(43)在新闻报道界面都会有时间字符串，通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式本文档来自技高网...
【技术保护点】
一种网页信息更新发现与统计的方法，其特征在于，步骤如下：(1)抓取URL模块抓取网页链接的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。
【技术特征摘要】
1.一种网页信息更新发现与统计的方法，其特征在于，步骤如下: (1)抓取URL模块抓取网页链接的步骤； (2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤⑴； (3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤⑴; (4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。2.根据权利要求1所述的一种网页信息更新发现与统计的方法，其特征在于，所述步骤(2)中，判定网页链接是否为新闻链接的步骤如下: (21)通过正则表达式匹配判断抓取的网页链接地址字符串中是否包含“news”关键字，是则转到步骤(22)，否则继续判断并记录链接数； (22)通过该网页链接抓取它指向的网页界面，通过正则表达式匹配判断来抓取页面里面所有字符串是否同时包含“时间”、“来源”、“标题”三个关键字，如果是则为新闻链接并记录新闻链接数，否则记录链接数； (23)判断是否抓取完该网页链接中的所有链接，如果是则结束，否则转到步骤(21)。3.根据权利要求1所述的一种网页信息更新发现与统计的方法，其特征在于，所述步骤(3)中，判定网页链接是否为新闻源的步骤如下: (31)将该网页URL中新闻链接数除以该网页URL中所有链接数来确定该网页URL里面新闻链接的比例，当该URL中新闻链接比例大于80%时跳到步骤(32)，否则该网页...
【专利技术属性】
技术研发人员：张小松，戴中印，牛伟纳，陈瑞东，王东，樊添，向琦，李金栓，柯明敏，张艺峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。