一种基于大数据技术的舆论热点预测方法及系统技术方案

本发明专利技术公开了一种基于大数据技术的舆论热点预测方法及系统，其中，包括：通过爬虫技术对指定的网页抓取历史舆论热点数据和实时舆论数据，并按数据属性将历史舆论热点数据进行标记，以及存储到对应的数据库中；通过TF－IDF算法和SIFT算法将数据库中的所有数据进行特征提取，生成对应的特征矩阵；对特征矩阵进行降维处理；构建舆论热点预测网络，将降维处理后的特征矩阵和对应的热点权重输入至舆论热点预测网络中，利用均方误差作为损失函数对舆论热点预测网络进行训练，直至损失函数值最小时停止训练；利用训练后的舆论热点预测网络对实时舆论数据进行热点预测。本发明专利技术能够有效提高舆论热点预测准确率。高舆论热点预测准确率。高舆论热点预测准确率。

【技术实现步骤摘要】
一种基于大数据技术的舆论热点预测方法及系统


[0001]本专利技术涉及舆论热点预测的
，尤其涉及一种基于大数据技术的舆论热点预测方法及系统。

技术介绍

[0002]随着互联网和移动互联网的发展，人们获取信息的方式发生了很大的变化，信息量急剧增加，这也给品牌营销带来了很大的挑战。为了在激烈的市场竞争中占据优势，企业需要借助大数据和舆论监测等技术手段，提高品牌营销效率，从而更好地满足消费者的需求和期望。
[0003]目前通常使用传统的数据建模方式来预测网络舆论热点，通常没有考虑多源数据的关联分析，预测效果难以满足需求。

技术实现思路

[0004]鉴于上述现有存在的问题，提出了本专利技术。
[0005]为解决上述技术问题，本专利技术提供如下技术方案，包括：通过爬虫技术对指定的网页抓取历史舆论热点数据和实时舆论数据，并按数据属性将历史舆论热点数据进行标记，以及存储到对应的数据库中；其中，所述数据属性为三维属性，包括一维属性、二维属性和三维属性，所述一维属性包括文本、图片、视频，所述二维属性包括人物事件、非人物事件；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据技术的舆论热点预测方法，其特征在于，包括：通过爬虫技术对指定的网页抓取历史舆论热点数据和实时舆论数据，并按数据属性将历史舆论热点数据进行标记，以及存储到对应的数据库中；其中，所述数据属性为三维属性，包括一维属性、二维属性和三维属性，所述一维属性包括文本、图片、视频，所述二维属性包括人物事件、非人物事件；所述三维属性包括舆论热点持续时间；通过TF－IDF算法和SIFT算法将数据库中的所有数据进行特征提取，生成对应的特征矩阵；对所述特征矩阵进行降维处理；构建舆论热点预测网络，将降维处理后的特征矩阵和对应的热点权重输入至舆论热点预测网络中，利用均方误差作为损失函数对舆论热点预测网络进行训练，直至损失函数值最小时停止训练；所述舆论热点预测网络包括第一子网络、第二子网络和第三子网络和反馈网络；利用训练后的舆论热点预测网络对实时舆论数据进行热点预测。2.如权利要求1所述的基于大数据技术的舆论热点预测方法，其特征在于，所述特征提取包括：通过TF－IDF算法提取文本特征；通过SIFT算法提取图片/视频特征。3.如权利要求2所述的基于大数据技术的舆论热点预测方法，其特征在于，所述降维处理包括：对所述特征矩阵进行中心化处理，并计算中心化处理后的特征矩阵的协方差矩阵；对所述协方差矩阵进行特征分解，得到特征值和其对应的特征向量；根据特征值的大小进行排序，取前n个特征值对应的特征向量作为基向量；将所述中心化处理后的特征矩阵乘以所述基向量，获得降维后的特征矩阵。4.如权利要求3所述的基于大数据技术的舆论热点预测方法，其特征在于，所述舆论热点预测网络包括：所述第一子网络包括第一输入门、第一遗忘门、第一输出门和第一注意力机制层；所述第二子网络包括第二输入门、第二遗忘门、第二输出门和第二注意力机制层；所述第三子网络包括第三输入门、第三遗忘门、第三输出门和第三注意力机制层；所述反馈网络包括输入层、3层隐层和输出层，用于融合第一子网络、第二子网络和第三子网络输出的热点权重，并根据融合结果进行舆论热点预测，采用ELU激活函数输出预测结果。5.如权利要求4所述的基于大数据技术的舆论热点预测方法，其特征在于，所述热点权重包括：定义第一属性的热点权重为x，第二属性的热点权重为y，第三属性的热点权重为z；S＝algx+blgy2+clgz3其中，a、b、c为权重系数，S为融合结果。6.如权利要求3或4所述的基于大数据技术的舆论热点预测方法，其特征在于，所述损失函数包括：
其中，L为损失函数值，n为降维处理后...

【专利技术属性】
技术研发人员：于霄，
申请(专利权)人：北京宏博知微科技有限公司，
类型：发明
国别省市：