一种微博热点话题分析预测方法及系统技术方案

本发明专利技术公开了一种微博热点话题分析预测方法及系统，包括数据采集模块、预处理模块、计算分析模块和展示模块。本发明专利技术通过聚类分析技术将采集到的微博进行分类；本发明专利技术通过对微博内容进行分词，进行词性标注，对源微博和转发微博进行合并处理，基于社交网络的隐含狄利克雷分配模型微博话题识别方法,并在词汇计算时考虑了微博的类型、时间因素重新构建LDA模型。本发明专利技术通过相关性分析微博发送一个小时内的传播信息和24小时之内的传播规模和传播深度得到相关性强的话题热度的评估指标；本发明专利技术可以应用于开发商对用户进行消息的推送和广告的推送。

【技术实现步骤摘要】
一种微博热点话题分析预测方法及系统
本专利技术涉及电子产品领域，特别是涉及一种微博热点话题预测方法及系统。
技术介绍
微博的自由性和庞大的信息量使得其难以人工整理归类，人工操作在效率上是无法满足需求的，迅速合理地预测出微博发展趋势具有重要意义，众多学者开始研究话题发现与预测技术。
技术实现思路
本专利技术的目的在于提出了一种微博热点话题分析预测方法，把采集到的微博信息利用数据挖掘算法进行有效处理，为用户提供灵活、快速、易用的数据推送体验。其中微博信息包括微博内容、以及微博参数。一种微博热点话题分析预测方法，其特征在于包括以下步骤：S1、从主流微博网站采集微博数据，述微博信息包括：微博内容、以及微博参数；S2、对微博文本进行数据预处理，包括分词和词频统计等步骤；S3、进一步计算分析微博文本，统计描述话题的各个量化指标，并计算微博的各个热度指标，计算出当前的微博热点话题；S4、按照热度从高到低的顺序输出显示微博热点话题。所述采集微博数据具体为：通过一门户微博指定的开放接口采集该门户的微博信息，一般采用网络爬虫，作用是搜索网络，并从中下载和存储所需数据。所述采集微博数据过程为：过程1.1，跟踪爬虫所有已知URL的存储模块；过程1.2，根据给定的URL从网络中获取文件的文件下载模块；过程1.3，负责从Html、PDF、Word等各种格式的文件中提取原始内容的文件解析模块，也负责提取文件中的URL,以及其他在索引中有用的数据,尤其是元数据信息；过程1.4，存放已经采集到的文件的元数据和在爬取过程中从原始文件提取出来的内容的存储模块；过程1.5，将URL转换到标准形式,以便比较和计算URL的规则化模块；过程1.6，避免无效URL的URL过滤模块；网络爬虫自动获取多个初始网页的URL,在搜索和抓取URL的过程中,引用增量更新的概念,在爬取当前页面的同时也在爬取后面接连而来的URL,直到满足0定义的结束判定条件。所述采集微博数据适于对已采集的微博内容采用自动聚类的方法对微博进行分类，得出微博所属类别。数据预处理具体工作过程如下：过程2.1，输入文档集合，将源微博与转发微博进行合并，过程2.2，使用分词技术现有工具jieba对微博文本进行分词；过程2.3，滤停用词包括数字、标点符号和其他无意义的词汇，要保留包含“#”表示一个讨论的话题、“@用户”表示话题的转发适于根据垃圾词组数据库中心词组中过滤垃圾词组；过程2.4，以及对分词结果进行词性标注，标注内容的有词频WF、词位WL、特殊标志SI、命名实体NE等参数。话题计算分析的具体步骤如下：步骤3.1，对微博进行分类，根据微博的来源将其分为，源微博与转发微博；步骤3.2，基于Mantaras距离优化提取关键词；步骤3.3，根据关键词的三元组<w,t,s>,w表示微博链中某个单词；t表示该单词所在微博与被转发微博之间的时间间隔,为了方便计算这里采用的是时间划分等级；s表示该单词所在微博的类型，取值是(0、1、2)，分别对应的就是上面的一般式、显式、广播式；三元组的数据空间表示为W，很显然被转发消息中单词所对应的三元组中的t的取值为0；步骤3.4，根据关键词及其三元组计算话题的热度。基于Mantaras距离优化的提取关键词的具体步骤如下：步骤4.1，使用“Mantaras距离”作为分支划分标准，对训练数据进行学习，构造决策树T；步骤4.2，输入数据集；步骤4.3，根据数据预处理模块中提取的词语的相关属性：词频WF、词位WL、特殊标志SI、命名实体NE等参数，计算每个属性的值，单词的权值可以通过如下公式计算：其中，α、β、γ、μ分别为次品、位置、特殊标志和命名实体的调节因子，Q(wi,dj)为词语wi,的权重，WL(wi,dj)为词语的位置，SI是特殊标志，是一种加粗或加黑等凸显性的词语SIH，是一种在特殊符号内的词语，如在“”之内的词SIS；步骤4.4，对步骤4.3计算出的单词的权值进行从大到小排序，选取出前5000个单词构造关键词集合，并且为每个关键词分配一个id号。所述话题计算分析具体为：选取权利要求7所得的关键词集合，基于隐含狄利克雷模型(LDA)的思想，根据以下公式得出微博文本中关键词与主题的联合概率分布为：p(w|θ,β)＝p(w|z,β)p(z|θ)＝p(w|z)p(w|β)p(z|θ)＝∑<w，t，s>∈Wp(t,s)p(wi|t,s,zi)∑zp(w|z,β)p(z|θ)；(2)表示词分布；θ表示主题分布；α是主题分布θ的先验分布即Dirichlet分布参数；β是词分布的先验分布即Dirichlet分布的参数。所述的话题展示过程为：将微博热点话题按照当前的热度从低到高排序并显示。一种微博热点话题分析预测系统，所述系统包括：数据采集模块，用于从新浪微博网站采集源微博，以及在一定时间内的微博的转发信息，所述微博信息包括：微博内容、以及微博参数；数据预处理模块，用于对数据采集模块采集得到的微博进行相应处理，包括微博的合并、分词、过滤无用信息等，以找出频率较高的词；话题计算分析模块，根据数据预处理模块最终得到的单词计算微博话题的热度，包括话题特征词提取、相似话题合并，适于把数据预处理模块得到的高频词，建立基于LDA的改进的热点话题分析预测模型，合并相似度超过阈值的话题并合并相似的话题，并根据该模型判断之后的微博是否能够成为热点话题；话题展示模块,所述热门话题的热度值进行排序，得出微博热点话题排行；数据采集模块为数据预处理模块提供了处理数据，经过数据预处理模块处理后的数据再由话题计算分析模块计算出已有的话题并对当前微博进行话题预测，最后话题展示模块显示出微博热点话题。本专利技术有益效果如下：本专利技术通过根据采集的微博内容进行热词计算，并根据获取的微博参数对计算出的热词进行热度计算，从而能够准确地判断出微博的热门话题，并根据获取的微博参数对计算出的热词计算热度计算，从而能够准确地判断出微博的热门话题，使挖掘结果更能反映互联网舆论的客观事实。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容给予实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方案。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于显示出优选方案实施方式的目的，而并不是认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术一个实施例的微博热点话题分析预测系统的结构示意图；图2是热点话题识别流程图；图3是数据采集过程图；图4是数据预处理模块的基本流程图；图5是预测分析模块的基本框架图。具体实施方式下面将结合附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护的范围。根据本专利技术的实施例，提供了一种微博热点话题分析预测系统，图1是本专利技术一个实施例的微博热点话题分析预测系统的结构示意图，如图1所示，根据本专利技术实施本文档来自技高网...

【技术保护点】
一种微博热点话题分析预测方法，其特征在于包括以下步骤：S1、从主流微博网站采集微博数据，述微博信息包括：微博内容、以及微博参数；S2、对微博文本进行数据预处理，包括分词和词频统计等步骤；S3、进一步计算分析微博文本，统计描述话题的各个量化指标，并计算微博的各个热度指标，计算出当前的微博热点话题；S4、按照热度从高到低的顺序输出显示微博热点话题。

【技术特征摘要】
1.一种微博热点话题分析预测方法，其特征在于包括以下步骤：S1、从主流微博网站采集微博数据，述微博信息包括：微博内容、以及微博参数；S2、对微博文本进行数据预处理，包括分词和词频统计等步骤；S3、进一步计算分析微博文本，统计描述话题的各个量化指标，并计算微博的各个热度指标，计算出当前的微博热点话题；S4、按照热度从高到低的顺序输出显示微博热点话题。2.根据权利要求1所述的一种微博热点话题分析预测方法，其特征在于所述采集微博数据具体为：通过一门户微博指定的开放接口采集该门户的微博信息，一般采用网络爬虫，作用是搜索网络，并从中下载和存储所需数据。3.根据权利要求1所述的一种微博热点话题分析预测方法，其特征在于所述采集微博数据过程为：过程1.1，跟踪爬虫所有已知URL的存储模块；过程1.2，根据给定的URL从网络中获取文件的文件下载模块；过程1.3，负责从Html、PDF、Word等各种格式的文件中提取原始内容的文件解析模块，也负责提取文件中的URL,以及其他在索引中有用的数据,尤其是元数据信息；过程1.4，存放已经采集到的文件的元数据和在爬取过程中从原始文件提取出来的内容的存储模块；过程1.5，将URL转换到标准形式,以便比较和计算URL的规则化模块；过程1.6，避免无效URL的URL过滤模块；网络爬虫自动获取多个初始网页的URL,在搜索和抓取URL的过程中,引用增量更新的概念,在爬取当前页面的同时也在爬取后面接连而来的URL,直到满足0定义的结束判定条件。4.根据权利要求2所述的一种微博热点话题分析预测方法，其特征在于：所述采集微博数据适于对已采集的微博内容采用自动聚类的方法对微博进行分类，得出微博所属类别。5.根据权利要求1所述的一种微博热点话题分析预测方法，其特征在于所述数据预处理具体工作过程如下：过程2.1，输入文档集合，将源微博与转发微博进行合并，过程2.2，使用分词技术现有工具jieba对微博文本进行分词；过程2.3，滤停用词包括数字、标点符号和其他无意义的词汇，要保留包含“#”表示一个讨论的话题、“@用户”表示话题的转发适于根据垃圾词组数据库中心词组中过滤垃圾词组；过程2.4，以及对分词结果进行词性标注，标注内容的有词频WF、词位WL、特殊标志SI、命名实体NE等参数。6.根据权利要求1所述的一种微博热点话题分析预测方法，其特征在于所述话题计算分析的具体步骤如下：步骤3.1，对微博进行分类，根据微博的来源将其分为，源微博与转发微博；步骤3.2，基于Mantaras距离优化提取关键词；步骤3.3，根据关键词的三元组<w,t,s>,w表示微博链中某个单词；t表示该单词所在微博与被转发微博之间的时间间隔,为了方便计算这里采用的是时间划分等级；s表示该单词所在微博的类型，取值是(0、1、2)，分别对应的就是上面的一般式、显式...

【专利技术属性】
技术研发人员：钱晨嗣，周从华，陈伟鹤，王润宇，刘志锋，李雷，单田华，
申请(专利权)人：江苏大学，无锡恒创医信科技发展有限公司，
类型：发明
国别省市：江苏,32