基于联邦学习框架的Bert结合卷积神经网络的情感分类方法技术

本发明专利技术公开了一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，该方法提出使用Bert来提取全局特征，减少神经网络的迭代次数，加速神经网络的收敛，提升下游分类模型的准确率；提出使用联邦学习框架对各个客户端训练的最优参数发送给中心服务器进行整合后下发新的共同参数给各个客户端使用，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。本发明专利技术方法可有效保护各个客户端的数据隐私性，并且在短文本、少数据的情况下对不同种类商品评论的分类效果优于其他方法。不同种类商品评论的分类效果优于其他方法。不同种类商品评论的分类效果优于其他方法。

【技术实现步骤摘要】
基于联邦学习框架的Bert结合卷积神经网络的情感分类方法


[0001]本专利技术涉及自然语言处理领域，更具体的说，涉及一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法。

技术介绍

[0002]自从Web2.0时代的出现，互联网就开始倡导“以用户为中心，用户参与”的理念。也是从那个时代开始，互联网的使用者逐渐从最开始的“读”网页，到后面的“写”网页，再到参与互联网的“共同建设”，由Web1.0时代的被动的接受互联网信息到后面的主动创造互联网信息。而如今已经步入Web2.0时代十余载，人们对于在日常生活中常登陆不同类型网站(如社交网站、电商网站等)发表和分享个人观点、在社交网站上评论新闻时事、在电商网站上快速浏览商品评论、在影评网站上发表影片观后感早已习以为常。这些通过互联网预定的行为给人们的生活带来了极大的便利，也使得人们的互联网信息呈井喷式增长。而在这些信息当中，用户对于这次活动体验的好坏通过评论表现出来。这些评论对于商家以及政府以后的发展有着很重要的意义。国内外学者对情感分类进行了大量研究。研究方法最初主要基于情感字典的方法，此方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：包括以下步骤：1)各个客户端分别获取商品的评论文本，所述评论文本是有标签的，积极文本为1，消极文本为0；2)对评论文本进行一系列预处理操作，最终得到干净且可读的纯文本；所述的预处理操作包括分词、清洗非文本内容、词形还原、去除部分停用词；3)将步骤2)中预处理后的评论文本作为神经网络输入，使用Bert将预处理后的评论文本转换为词向量，并对词向量进行微调从而提取评论文本的全局特征；4)将步骤3)得到的商品评论文本的全局特征输入到多层卷积神经网络中，得到神经网络的输出；将所述神经网络的输出输入到softmax函数中，最终得到0
‑
1之间的值组成的矩阵；5)根据步骤4)得到的矩阵对神经网络的参数进行调整，经过多轮训练，使得神经网络的误差最小，得到最优的神经网络参数并保存；6)各个客户端通过联邦学习框架上传各自最优的神经网络参数到中心服务器上，中心服务器对这些参数进行加权平均得到一个新的共同参数，然后再将这个新的共同参数下发给各个客户端；7)各个客户端使用各参数经加权平均后得到的神经网络作为分类器，对输入的待分类的文本进行情感分类。2.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤2)中所述的去除部分停用词，是指去除一些对理解文本含义帮助不大的词，在删除这些词后，不影响原有句子的含义，也不影响句子的可读性。3.根据权利要求2所述的基于联邦学习框架的Bert结合卷积神经网络...

【专利技术属性】
技术研发人员：严珂，熊光浩，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：