一种互联网舆情数据的获取方法及系统技术方案

本发明专利技术公开了一种互联网舆情数据的获取方法及系统，包括：利用爬虫技术，确定舆情相关度大于预设值的URL队列；对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对应的页面信息；利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件；可见，在本实施例中，利用爬虫技术能够获取更多的舆情相关度大于预设值的URL地址，从而剔除了无关网站的URL地址，提高了抓取相关度，缩小网络资源和硬件资源的消耗，并且通过Lucene给每条舆情索引关键词信息自动创建反向索引，增加了检索效率。

【技术实现步骤摘要】

本专利技术涉及舆情监控
，更具体地说，涉及一种互联网舆情数据的获取方法及系统。
技术介绍
随着因特网的飞速发展，网络媒体已成为第四媒体。社会舆情也越来越多在网络里集中爆发，成为反映民间舆论的主要形式之一。网络舆情与生俱来有偏差性(即缺乏规限和监督)、突发性(热点事件加上情绪化意见会成为导火索迅速点燃一片舆论，难以掌控)、直接性(微博、微信、qq群已经成为网民立即发表意见的平台)。但是目前市场上的公共舆情监测系统普遍存在爬虫抓取范围不广、海量数据查询检索效率低下等问题。因此，如何高效率的检测范围更广的互联网舆情数据，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种互联网舆情数据的获取方法及系统，以实现高效率的检测范围更广的互联网舆情数据。为实现上述目的，本专利技术实施例提供了如下技术方案：一种互联网舆情数据的获取方法，包括：利用爬虫技术，确定舆情相关度大于预设值的URL队列；对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对应的页面信息；利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件。其中，所述利用爬虫技术，确定舆情相关度大于预设值的URL队列，包括：确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种子URL地址存入所述URL队列；获取所述URL队列中的每个种子URL地址的源代码，并提取每个源代码中的所有URL地址，形成URL地址集，并将所述URL地址集存入所述URL队列。其中，将所述URL地址集存入所述URL队列之前，还包括：判断所述URL地址集中的每个URL地址是否符合预定网页提取规则；若符合，则保留；若不符合，则从所述URL地址集中删除。其中，所述利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件，包括：从每个URL地址对应的页面信息中提取与预设舆情参数相对应的舆情索引关键词信息；其中，所述预设舆情参数至少包括：标题、发布时间、发布者、正文等；将所述舆情索引关键词信息整理成规范的结构化数据保存至本地数据库；通过Lucene技术，为每个URL地址对应舆情索引关键词信息创建索引文件。其中，所述为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件之后，还包括：接收用户发送的索引请求；利用Lucene技术，解析所述索引请求中的关键词，查找与所述关键词相对应的索引文件，并将查找到的索引文件所对应的URL地址返回给用户。一种互联网舆情数据的获取系统，包括：URL队列确定模块，用于利用爬虫技术，确定舆情相关度大于预设值的URL队列；页面信息解析模块，用于对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对应的页面信息；索引文件创建模块，用于利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件。其中，所述URL队列确定模块，包括：种子URL地址确定单元，用于确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种子URL地址存入所述URL队列；URL地址集提取单元，用于获取所述URL队列中的每个种子URL地址的源代码，并提取每个源代码中的所有URL地址，形成URL地址集；URL地址集添加单元，用于将所述URL地址集存入所述URL队列。其中，所述URL队列确定模块，还包括：判断单元，用于判断所述URL地址集中的每个URL地址是否符合预定网页提取规则；若符合，则保留；若不符合，则从所述URL地址集中删除。其中，所述索引文件创建模块，包括：舆情索引关键词信息提取单元，用于从每个URL地址对应的页面信息中提取与预设舆情参数相对应的舆情索引关键词信息；其中，所述预设舆情参数至少包括：标题、发布时间、发布者、正文等；保存单元，用于将所述舆情索引关键词信息整理成规范的结构化数据保存至本地数据库；索引文件创建单元，用于通过Lucene技术，为每个URL地址对应舆情索引关键词信息创建索引文件。其中，所述获取系统还包括：接收模块，用于接收用户发送的索引请求；解析模块，用于利用Lucene技术，解析所述索引请求中的关键词，查找与所述关键词相对应的索引文件，并将查找到的索引文件所对应的URL地址返回给用户。通过以上方案可知，本专利技术实施例提供的一种互联网舆情数据的获取方法及系统，包括：利用爬虫技术，确定舆情相关度大于预设值的URL队列；对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对应的页面信息；利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件；可见，在本实施例中，利用爬虫技术能够获取更多的舆情相关度大于预设值的URL地址，从而剔除了无关网站的URL地址，提高了抓取相关度，缩小网络资源和硬件资源的消耗，并且通过Lucene给每条舆情索引关键词信息自动创建反向索引，增加了检索效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种互联网舆情数据的获取方法；图2为本专利技术实施例公开的一种互联网舆情数据的获取系统。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种互联网舆情数据的获取方法及系统，以实现高效率的检测范围更广的互联网舆情数据。参见图1，本专利技术实施例提供的一种互联网舆情数据的获取方法，包括：S101、利用爬虫技术，确定舆情相关度大于预设值的URL队列；其中，所述利用爬虫技术，确定舆情相关度大于预设值的URL队列，包括：确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种子URL地址存入所述URL队列；获取所述URL队列中的每个种子URL地址的源代码，并提本文档来自技高网...

【技术保护点】
一种互联网舆情数据的获取方法，其特征在于，包括：利用爬虫技术，确定舆情相关度大于预设值的URL队列；对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对应的页面信息；利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件。

【技术特征摘要】
1.一种互联网舆情数据的获取方法，其特征在于，包括：
利用爬虫技术，确定舆情相关度大于预设值的URL队列；
对所述URL队列中的每一URL地址进行解析，得到与每一URL地址对
应的页面信息；
利用Lucene技术，为每一URL地址对应的页面信息创建与舆情索引关
键词信息对应的索引文件。
2.根据权利要求1所述的获取方法，其特征在于，所述利用爬虫技术，
确定舆情相关度大于预设值的URL队列，包括：
确定与目标主题的舆情相关度大于预设值的种子URL地址，并将所述种
子URL地址存入所述URL队列；
获取所述URL队列中的每个种子URL地址的源代码，并提取每个源代
码中的所有URL地址，形成URL地址集，并将所述URL地址集存入所述
URL队列。
3.根据权利要求2所述的获取方法，其特征在于，将所述URL地址集
存入所述URL队列之前，还包括：
判断所述URL地址集中的每个URL地址是否符合预定网页提取规则；
若符合，则保留；若不符合，则从所述URL地址集中删除。
4.根据权利要求1所述的获取方法，其特征在于，所述利用Lucene技
术，为每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引
文件，包括：
从每个URL地址对应的页面信息中提取与预设舆情参数相对应的舆情索
引关键词信息；其中，所述预设舆情参数至少包括：标题、发布时间、发布
者、正文等；
将所述舆情索引关键词信息整理成规范的结构化数据保存至本地数据
库；
通过Lucene技术，为每个URL地址对应舆情索引关键词信息创建索引
文件。
5.根据权利要求1-4中任意一项所述的获取方法，其特征在于，所述为
每一URL地址对应的页面信息创建与舆情索引关键词信息对应的索引文件之
后，还包括：
接收用户发送的索引请求；
利用Lucene技术，解析所述索引请求中的关键词，查找与所述关键词相
对应的索引文件，并将查找到的索引文件所对应的URL地址返回给用户。
6.一种互联网舆情数据的获取系统，其特...

【专利技术属性】
技术研发人员：董启文，
申请(专利权)人：上海珍岛信息技术有限公司，
类型：发明
国别省市：上海;31