基于激活-池化增强BERT模型的在线课程评论情感分析方法技术

本发明专利技术公开了一种基于激活‑池化增强BERT模型的在线课程评论情感分析方法，涉及在线课程评估技术领域，包括构建在线课程评论情感分析模型来编码评论文本中分句内词语上下文语义和分句间逻辑关系；设计激活函数层和最大‑平均池化层解决BERT模型在课程评论情感分析中存在的过拟合问题；通过新增的情感分类层对在线课程评论进行情感正负极性分类。本发明专利技术改进了直接应用BERT模型做课程评论情感分析任务时出现过拟合的问题，同时增加了情感分类层对课程评论情感进行分析；相对于传统课程评论情感分析模型，在线课程评论情感分析模型具有精确度高，训练容易的优点，该模型的准确率和AUC值与基准模型相比分别有显著的提升。

Emotion analysis method of online course review based on activation pooling enhanced Bert model

【技术实现步骤摘要】
基于激活-池化增强BERT模型的在线课程评论情感分析方法
本专利技术涉及在线课程评估
，特别涉及一种基于激活-池化增强BERT模型的在线课程评论情感分析方法。
技术介绍
由于在线课程开放、方便和优质的特点，使得在线学习者数量快速增加。数量庞大、背景各异、层次多样的学习者对在线课程的管理提出了新的挑战：实时掌握学习动因、学情/状态变化以更好地提供个性化教育服务。为适应这一趋势，在线学习平台会提供评论、论坛等社区功能，方便学习者、教师和平台管理方之间的交流互动。在线交互过程中会产生大量的交互文本等非结构化数据，对评论文本进行情感分析可以有效获取学习者的情感态度、学习体验等，从而理解学习者的需求变化和“学习痛点”，为个性化服务提供参考。现有的在线课程评论情感分析主要有情感词典、机器学习和深度学习三类方法。基于情感词典的方法主要是依据人类先验知识构建情感词典，将课程评论分词后与情感词典比对计算实现对课程评论的情感分析。该类方法受情感词典质量的影响较大，不适用于在线课程海量评论信息情感分析的需要。基于机器学习的方法是将从评论文本中抽取的特征本文档来自技高网...

【技术保护点】
1.一种基于激活-池化增强BERT模型的在线课程评论情感分析方法，该方法包括：/n步骤1、构建在线课程评论情感分析模型，所述在线课程评论情感分析模型包括输入表征层、语义提取层、激活函数层、池化层和情感分类层；/n步骤2、获取原始课程评论文本；/n步骤3、输入表征层对原始课程评论文本进行预处理，得到课程评论文本，并对课程评论文本进行编码，输出评论编码；/n步骤4、语义提取层对输出评论编码进行语义提取，输出语义提取结果，并将语义提取结果输入到激活函数层进行非线性映射；/n步骤5、池化层进一步缩减激活函数层的网络规模、提取关键特征，输出结果到情感分类层；/n步骤6、通过情感分类层对课程评论情感极性进...

【技术特征摘要】
1.一种基于激活-池化增强BERT模型的在线课程评论情感分析方法，该方法包括：
步骤1、构建在线课程评论情感分析模型，所述在线课程评论情感分析模型包括输入表征层、语义提取层、激活函数层、池化层和情感分类层；
步骤2、获取原始课程评论文本；
步骤3、输入表征层对原始课程评论文本进行预处理，得到课程评论文本，并对课程评论文本进行编码，输出评论编码；
步骤4、语义提取层对输出评论编码进行语义提取，输出语义提取结果，并将语义提取结果输入到激活函数层进行非线性映射；
步骤5、池化层进一步缩减激活函数层的网络规模、提取关键特征，输出结果到情感分类层；
步骤6、通过情感分类层对课程评论情感极性进行分类表达。


2.如权利要求1所述的一种基于激活-池化增强BERT模型的在线课程评论情感分析方法，其特征在于，所述输入表征层对原始课程评论文本进行预处理以及对课程评论文本进行编码的具体流程如下：
步骤31、对原始课程评论文本进行预处理，包括：
去除重复灌水评论以及与情感表达无关的链接、代码类型数据；
对课程评论中含糊不清的情感字符、数字和英文词汇以及使用语义相同的中文词汇进行替换；
步骤32、使用WordPiece嵌入模型，按照双字节编码方式对单个汉字进行编码；
步骤33、按照原始课程评论文本语句结构的不同，将课程评论文本分为短句评论文本和长句评论文本。


3.如权利要求1所述的一种基于激活-池化增强BERT模型的在线课程评论情感分析方法，其特征在于，所述语义提取层是以Transformer编码器为基础单元组成的多层双向解码器，其中，Transformer编码器包括；
字向量与位置编码，所述位置编码用于提供课程评论文本中每个字的位置信息给Transformer编码器，Transformer编码器用于识别字在原始课程评论文本中的依赖关系和时序特性，计算公式如下：









式中：E(·)为字对应的嵌入表示，P为由式(2)和(3)求得的位置编码，batch-size为输入课程评论文本数，seq.len为每条课程评论文本的长度，embed.dim为课程评论文本中每个字的嵌入维度，pos为课程评论文本中字的位置，i为字对应的向量维度；
注意力机制，用于保持每条评论文本中的每个字向量都含有该条课程评论文本中所有字向量的信息，计算公式如下：
Q＝Linear(X)＝XWQ
K＝Linear(X)＝XWK
V＝Linear(X)...

【专利技术属性】
技术研发人员：张会兵，董俊超，贾飞，周娅，林煜明，张敬伟，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45