一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法技术

本发明专利技术针对跨领域文本情感分类任务提出了一种基于参数迁移和注意力共享机制方法与系统。特别地，本发明专利技术体系结构包括源领域网络和目标领域网络。首先，在训练数据上构建具有预训练语言模型的分层注意力网络，预训练语言模型包含用于单词表示的全局矢量和双向编码器语言模型。其次，在模型迁移中，本发明专利技术引入了单词和句子级别参数迁移机制，采用参数迁移和微调技术将网络参数从源领域网络迁移到目标领域网络。最后，情感注意力可以充当连接不同领域的情感传递的桥梁，本发明专利技术引入单词和句子级别的注意力机制，并从这两个级别共享跨领域情感注意力。实验表明，本发明专利技术提出的方法在亚马逊跨领域情感分类数据集上达到了最优的结果。

【技术实现步骤摘要】
一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
本专利技术涉及自然语言处理文本情感分析领域，提出了一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法。
技术介绍
传统的文本情感分类方法假定用于训练和测试之间的领域是独立同分布的。但是，在实际条件下，不同的领域之间具有分布差异。跨领域文本情感分类采用源领域数据资源来实现目标领域中的情感分类任务。为了有效解决特定领域中数据标记不足的问题，跨领域情感分类扩展了基于文本的社交媒体中迁移学习的应用，可以提高数据源不足的文本情感分类任务的分类效果。此外，它可以促进基于文本的情感分析相关的应用和行业的快速发展。深度学习方法在文本情感分类任务上取得了出色的成绩，但它需要大量的带标签训练数据。然而，标注特定领域的数据是一项非常费时费力的任务。情感的分布在不同的领域有所不同。在不同的领域，用户倾向于用不同的情感词表达情感。因此，情感的表达具有领域依赖性。在不同领域训练的分类器很难应用到其他领域，需要执行特定的情感迁移策略。跨领域的情感迁移的核心是找到领域不变性作为实现跨领域迁移的桥梁。社交媒体中的文本具有三个层次的语义结构，分别是单词、句子和文档。在文档的构成中，单词的情感决定句子的情感，而句子的情感决定文档的整体情感。容易注意到不同的单词和句子对文档整体情感表达的贡献不同。注意力机制可以通过执行加权变换有效地提升序列模型的效果。直觉表明，从源领域训练中获得的单词级和句子级注意权重可以指导目标领域注意权重的训练。通过注意力机制，可以找到对于情感决策中最重要的单词和句子。在跨领域文本情感分类任务中，需要解决两个问题：(1)如何迁移不同领域深层神经网络的结构和参数？(2)如何在不同领域训练的神经网络模型中共享注意力机制？首先，可以采用模型迁移机制来迁移模型的结构和参数。同时，在深度迁移学习中使用微调策略是模型迁移的关键科学问题。其次，情感注意力机制可以用作连接不同领域的桥梁，单词和句子级别的注意力机制可以跨领域相互指导和训练。跨领域文本情感分类任务中基于模型或参数迁移的方法假定相关任务的模型共享参数的先验分布。现有方法主要解决两个问题：(1)确定模型中可以共享哪些参数？(2)如何共享模型参数？即使用哪种方法来实现模型参数的迁移。在这些方法中，深度迁移学习是解决跨领域情感迁移问题的一种新方法。通常，深度迁移学习方法主要分为两个步骤：首先，选择合适的深度情感语义组合方法，然后选择合适的学习算法来迁移相关的情感知识。现有方法侧重于使用深度学习方法来提取特征，并使用模型迁移或参数迁移方法来迁移跨领域不变情感特征。例如，Li等人提出了用于跨领域文本情感分类任务的端到端对抗记忆网络框架(End-to-endadversarialmemorynetworkforcross-domainsentimentclassification,in:Proceedingsofthe26thInternationalJointConferenceonArtificialIntelligence,550IJCAI-17,Melbourne,Australia,2017,pp.2237–2243)。为了解决情感分类的领域适应问题，Bach等人采用了特征学习和特征子空间映射的通用方法，并将词嵌入和典型相关分析应用于跨领域情感分类任务(Cross-domainsentimentclassificationwithwordembeddingsandcanonicalcorrelationanalysis,in:Proceedingsofthe7thSymposiumonInformationandCommunicationTechnology,SoICT’16,AssociationforComputingMachinery,NewYork,NY,USA,2016,pp.159–166)。Yu和Jiang利用结构一致学习策略，采用了深度学习架构来解决跨领域情感分类，并采用了两个辅助任务来改善句子嵌入(J.Yu,J.Jiang,Learningsentenceembeddingswithauxiliarytasksforcross-domainsentimentclassification,in:Proceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,AssociationforComputationalLinguistics,Austin,Texas,2016,pp.236–246)。Zhao等人提出了一个两阶段双向长短期记忆和参数迁移框架，用于短文本跨领域情感分类任务(C.Zhao,S.Wang,D.Li,Deeptransferlearningforsocialmediacross-domainsentimentclassification,in:Proceedingsofthe2017ChineseNationalConferenceonSocialMediaProcessing,Springer,SpringerSingapore,Singapore,2017,pp.232–243)；另外，Zhao使用来自多个源域的数据和模型迁移方法来实现多源域适应分类任务(C.Zhao,S.Wang,D.Li,Multi-sourcedomainadaptationwithjointlearningforcross-domainsentimentclassification,Knowledge-BasedSystems(2019)105254)。BERT(Bidirectionalencoderrepresentationsfromtransformers)预训练模型是Google公司提出的一种基于双向迁移的语言模型(A.Vaswani,N.Shazeer,N.Parmar,J.Uszkoreit,L.Jones,A.N.Gomez,u.Kaiser,I.Polosukhin,Attentionisallyouneed,in:Proceedingsofthe31stInternationalConferenceonNeuralInformationProcessingSystems,NIPS’17,CurranAssociatesInc.,RedHook,NY,USA,2017,pp.6000–6010)。随着在诸如BERT等大型语料库上训练的预训练模型的兴起，许多学者将预训练模型添加到领域适应模型中以解决跨领域情感分类任务。两种典型的方法是基于Wasserstein距离的迁移网络模型(WTN)(Y.Du,M.He,L.Wang,H.Zhang,Wassersteinbasedtransfernetworkforcross-domainsentimentclassification,Knowledge-BasedSystems204(2020)106162)和对抗领域感知的BERT(BERT-DAAT本文档来自技高网...

【技术保护点】
1.一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，包括以下步骤：/nS1，基于参数迁移和注意力共享机制(Parameter transferring and attentionsharing mechanism，PTASM)的可迁移神经网络体系，具体包括源领域网络(Source domainnetwork)和目标领域网络(Target domain network)。源领域网络和目标领域网络具有相似的网络结构。它们包括单词序列层和编码层、单词注意力层、句子序列层和编码层、句子注意力层以及情感分类层；/nS2，分层注意力网络(Hierarchical attentional network，HAN)重视文档中的局部语义，并采用双向门控循环单元(Gated recurrent neural networks，GRU)学习单词和句子的表示形式。文档x由数个句子s组成，s由数个单词w组成，并且词w表示为固定维度的单词向量。通过文档级分布式表示可以有效地捕捉情感语义特征；/nS3，通过参数迁移技术将源领域网络参数直接迁移到目标领域网络。在源领域D

【技术特征摘要】
1.一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，包括以下步骤：
S1，基于参数迁移和注意力共享机制(Parametertransferringandattentionsharingmechanism，PTASM)的可迁移神经网络体系，具体包括源领域网络(Sourcedomainnetwork)和目标领域网络(Targetdomainnetwork)。源领域网络和目标领域网络具有相似的网络结构。它们包括单词序列层和编码层、单词注意力层、句子序列层和编码层、句子注意力层以及情感分类层；
S2，分层注意力网络(Hierarchicalattentionalnetwork，HAN)重视文档中的局部语义，并采用双向门控循环单元(Gatedrecurrentneuralnetworks，GRU)学习单词和句子的表示形式。文档x由数个句子s组成，s由数个单词w组成，并且词w表示为固定维度的单词向量。通过文档级分布式表示可以有效地捕捉情感语义特征；
S3，通过参数迁移技术将源领域网络参数直接迁移到目标领域网络。在源领域DS上训练源领域网络最佳参数Ws，以最大程度地降低经验风险；使用目标领域带有标记训练数据对目标领域网络进行微调；
S4，将情感注意力视为一组映射，对分层注意力网络输入最重要的单词或句子经过编码以确定其最终输出。使用源领域带标签数据DS和目标领域带标签数据获取与文档中的情感类别相关的位置信息，将此类信息视为情感注意力，并通过编码和解码过程在DS和上共享它们。采用注意力共享机制，将情感注意力信息共享到未标记的目标领域数据
S5，在基于分层注意力机制的可迁移神经网络的训练阶段，源领域DS和目标领域带标签数据可以指导彼此的训练过程。训练过程采用小批量的梯度下降优化策略用于源领域DS和目标领域带标签数据


2.根据权利要求1所述的一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，所述步骤S1包括：
S11，对源领域带标签数据DS和目标领域带标签数据进行预处理，然后执行单词向量化。随后，构建分层注意力网络(Hierarchicalattentionalnetwork，HAN)模型，然后分别在源领域带标签数据DS和目标领域带标签数据上进行特征提取，以获得文本数据的分布式表示形式；
S12，词级匹配网络包括正向和反向门控循环单元层(Gatedrecurrentneuralnetwork，GRU)，这些层旨在获得句子的情感语义表示。同样，句子级网络包含正向和反向的门控循环单元层，可以通过引入句子级注意力来提供文档的最终表示。网络输出是积极或消极的文本情感倾向；
S13，在模型迁移方面，将源领域网络中双向门控循环单元层的参数迁移到目标领域网络。源领域网络和目标领域网络的分层的注意机制在训练过程中互相指导。源领域词级注意力和目标领域词级注意力可以共享；源领域句子级注意力和目标领域句子级注意力也可以共享。注意力共享机制在学习过程中不断减小不同领域中注意力向量之间的距离。


3.根据权利要求1所述的一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，所述步骤S2包括：
S21，单词序列和编码层。在第i个句子si中，
xit＝Ewit，t∈[1，...，N]









其中N是si中的单词数；
S22，单词注意力层。此发明引入注意机制来提取这些重要单词的...

【专利技术属性】
技术研发人员：赵传君，
申请(专利权)人：山西财经大学，
类型：发明
国别省市：山西;14