一种高校网络舆情监测预警方法和系统技术方案

本发明专利技术涉及一种高校网络舆情监测预警方法及系统，该方法首先通过爬虫获取高校舆情监测所需数据；然后使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。利用网络爬虫技术对微博数据、微信数据、论坛数据、新闻媒体数据等学生数据进行爬取、清洗，使用深度学习中情感计算算法处理已获取的学生数据，以学校内部数据为主、社会媒体信息为辅，综合运用文本挖掘技术，对学生思想动态、负面情绪进行分析，从而预防负面事件的爆发，针对性更强，效果更突出。

A Method and System for Monitoring and Early Warning of Network Public Opinion in Colleges and Universities

【技术实现步骤摘要】
一种高校网络舆情监测预警方法和系统
本专利技术涉及数据处理
，具体涉及一种高校网络舆情监测预警方法和系统。
技术介绍
网络舆情监测预警系统可以在一定的社会空间内，通过采集网络信息，对已发生事件的发展和变化进行预警以及监测，使管理者熟知群众在网络上表达出来的态度和意愿，从而制定相应的应对政策与正确的管理措施。随着互联网的快速发展，高校这一事业单位越来越受社会媒体关注，高校形象的维护至关重要，如何第一时间发现高校内部大学生思想动态预警信息以及高校外部可能爆发的负面舆情事件，并做出及时的处理，关系着高校的社会声誉、大学生思潮引导、高校稳定甚至社会稳定。目前的舆情监测预警系统多面向社会媒体、社交网站开展监测并形成预警策略，但没有专门针对高校内部官方微博、学生微博、QQ空间等进行监测，导致很多负面事件在校内酝酿阶段没有得到预警，等到了社会媒体上曝光时为时已晚，错失了最好的舆情处置机会。本项专利技术同时面向校内、校外各类网络信息进行监测预警，针对性强、效果好。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种高校网络舆情监测预警方法和系统。本专利技术解决上述技术问题的技术方案如下：一方面，本专利技术提供一种高校网络舆情监测预警方法，包括：步骤1，通过爬虫获取高校舆情监测所需数据；步骤2，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。进一步的，所述高校舆情监测所需数据包括：学生微博数据、微信数据、论坛数据、新闻媒体数据；针对学生微博、微信、论坛、新闻媒体4大类数据源进行不同的爬虫处理，设计出各自不同的数据采集框架。进一步的，针对学生微博数据，所述数据采集框架，搭建cookies池进行安全采集，且在scrapy框架中包括微博自动翻页、自动获取、设置时间节点、去重模块。进一步的，针对论坛数据，所述数据采集框架，依托scrapy框架设立与论坛相适应的深入爬虫，设置时间节点、去重模块。进一步的，针对新闻媒体数据，所述数据采集框架针对不同类型的新闻网站的网页特性，分别设计依托scrapy框架及传统爬虫框架且加上设置时间节点、自动翻页及新闻有效性判断模块的爬虫框架。进一步的，所述的使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测，包括：在神经网络进行正负面判断中，分批次获取本地更新数据，并使用已训练好的单向LSTM神经网络对数据进行预测，及时以自动发送邮箱的形式向内部人员发送预警信息。进一步的，所述单向LSTM神经网络的训练过程包括：将历史获取的数据进行人工标注，标注出学生有关负面评价、负面情绪、负面思想内容；标注完成后使用jieba分词技术分成词语链并去掉口语化停用词，再使用word2vac模型使其词向量化，添0补齐之后处理成矩阵形式供模型训练；深度学习所使用的框架为tensorflow，定义完成各个结点以及LSTM核心之后进行训练，在控制其不出现过拟合前提下充分训练模型，当准确率达到预定程度时结束训练定下参数，做一定调整之后保存模型。进一步的，所述的使用已训练好的单向LSTM神经网络对数据进行预测包括：对数据做预处理，包括分词、词向量化、矩阵化处理；调用已经训练好的单向LSTM神经网络进行情感计算，选出负面评价、负面情绪、负面思想的学生言论；通过所述学生言论的点赞数、评论数、回复数判断关注度；提取关注度高的所述学生言论并进行恶劣程度辨别，若恶劣程度达到预警界限则将内容进行预警。另一方面，本专利技术还提供一种高校网络舆情监测预警系统，包括：数据获取模块，通过爬虫获取高校舆情监测所需数据；预警监测模块，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。进一步的，所述高校舆情监测所需数据包括：学生微博数据、微信数据、论坛数据、新闻媒体数据；针对学生微博、微信、论坛、新闻媒体4大类数据源进行不同的爬虫处理，设计出各自不同的数据采集框架。本专利技术的有益效果是：本专利技术利用网络爬虫技术对学生数据进行爬取、清洗使用深度学习中情感计算算法处理已获取的学生数据，以学校内部数据为主、社会媒体信息为辅，综合运用文本挖掘技术，对学生思想动态、负面情绪进行分析，从而预防负面事件的爆发，针对性更强，效果更突出。附图说明图1为本专利技术方法流程图；图2为本专利技术数据采集流程示意图；图3为本专利技术单向LSTM神经网络的训练过程流程示意图；图4为本专利技术预测过程流程示意图；图5为本专利技术实施例提供的系统结构图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例1如图1所示，本专利技术提供一种高校网络舆情监测预警方法，包括：步骤1，通过爬虫获取高校舆情监测所需数据；步骤2，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。所述高校舆情监测所需数据包括：学生微博数据、微信数据、论坛数据、新闻媒体数据；针对学生微博、微信、论坛、新闻媒体4大类数据源进行不同的爬虫处理，设计出各自不同的数据采集框架。如图2所示，针对学生微博数据，所述数据采集框架，搭建cookies池进行安全采集，且在scrapy框架中包括微博自动翻页、自动获取、设置时间节点、去重模块。针对论坛数据，所述数据采集框架，依托scrapy框架设立与论坛相适应的深入爬虫，设置时间节点、去重模块。针对新闻媒体数据，所述数据采集框架针对不同类型的新闻网站的网页特性，分别设计依托scrapy框架及传统爬虫框架(请求-解析-定位)且加上设置时间节点、自动翻页及新闻有效性判断模块的爬虫框架。进一步的，所述的使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测，包括：在神经网络进行正负面判断中，分批次获取本地更新数据，并使用已训练好的单向LSTM神经网络对数据进行预测，及时以自动发送邮箱的形式向内部人员发送预警信息。所述单向LSTM神经网络的训练过程，如图3所示，包括：将历史获取的数据进行人工标注，标注出学生有关负面评价、负面情绪、负面思想内容；标注完成后使用jieba分词技术分成词语链并去掉口语化停用词，再使用word2vac模型使其词向量化，添0补齐之后处理成矩阵形式供模型训练；深度学习所使用的框架为tensorflow，定义完成各个结点以及LSTM核心之后进行训练，在控制其不出现过拟合前提下充分训练模型，当准确率达到预定程度时结束训练定下参数，做一定调整之后保存模型。进一步的，所述的使用已训练好的单向LSTM神经网络对数据进行预测，如图4所示，包括：对数据做预处理，包括分词、词向量化、矩阵化处理；调用已经训练好的单向LSTM神经网络进行情感计算，选出负面评价、负面情绪、负面思想的学生言论；通过所述学生言论的点赞数、评论数、回复数判断关注度；提取关注度高的所述学生言论并进行恶劣程度辨别，若恶劣程度达到预警界限则将内容进行预警。实施例2本专利技术还提供一种高校网络舆情监测预警系统，如图5所示，包括：数据获取模块，通过爬虫获取高校舆情监测所需数据；预警监测模块，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。进一步的，所述高校舆情监测所需数据包括：学生微博数据、微信数据、论坛数据、新闻媒体数据；针对学生微博、微信、论坛、新闻媒体4大类数据源进行不同的爬虫处理，设计出各自不同的数据采集框架。本文档来自技高网...

【技术保护点】
1.一种高校网络舆情监测预警方法，其特征在于，包括：步骤1，通过爬虫获取高校舆情监测所需数据；步骤2，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。

【技术特征摘要】
1.一种高校网络舆情监测预警方法，其特征在于，包括：步骤1，通过爬虫获取高校舆情监测所需数据；步骤2，使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测。2.根据权利要求1所述的方法，其特征在于，所述高校舆情监测所需数据包括：学生微博数据、微信数据、论坛数据、新闻媒体数据；针对学生微博、微信、论坛、新闻媒体4大类数据源进行不同的爬虫处理，设计出各自不同的数据采集框架。3.根据权利要求2所述的方法，其特征在于，针对学生微博数据，所述数据采集框架，搭建cookies池进行安全采集，且在scrapy框架中包括微博自动翻页、自动获取、设置时间节点、去重模块。4.根据权利要求2所述的方法，其特征在于，针对论坛数据，所述数据采集框架，依托scrapy框架设立与论坛相适应的深入爬虫，设置时间节点、去重模块。5.根据权利要求2所述的方法，其特征在于，针对新闻媒体数据，所述数据采集框架针对不同类型的新闻网站的网页特性，分别设计依托scrapy框架及传统爬虫框架且加上设置时间节点、自动翻页及新闻有效性判断模块的爬虫框架。6.根据权利要求1所述的方法，其特征在于，所述的使用神经网络对收集的数据进行正负面判断，进行实时的舆情预警监测，包括：在神经网络进行正负面判断中，分批次获取本地更新数据，并使用已训练好的单向LSTM神经网络对数据进行预测，及时以自动发送邮箱的形式向内部人员发送预警信息。7.根据权利要求6所述的方法，其特征在于...

【专利技术属性】
技术研发人员：张耀峰，朱艳敏，程威，张浩浩，谢松俊，陈丹，
申请(专利权)人：湖北经济学院，武汉易学易成教育信息咨询有限公司，
类型：发明
国别省市：湖北,42