【技术实现步骤摘要】
本申请属于量子语言模型领域，尤其涉及一种方面级情感预测方法、电子设备及存储介质。
技术介绍
1、方面级别的情感分析是一项细粒度的情感分析任务，其目的是在一个或多个方面对句子的情感极性进行分类。通常，absa(aspect based sentiment analysis，基于方面的情感分析)由两个子任务组成：方面提取(aspect extraction，ae)和方面级情感分类(aspect-level sentiment classification，alsc)。
2、此前，为了避免设计手工制作的特征，已经提出了大量基于深度学习的神经网络模型来解决alsc任务，例如基于rnn(recurrent neural network)的模型、基于cnn(convolutional neural network)的模型。在各种nlp(natural language processing)任务中占主导地位的预训练的基于transformer的模型，在alsc任务中也受到了很多关注。然而，在大多数这些中使用的向量表示模型，受限于实数值。
3、另外，复值向量具有更丰富的表示能力，复数神经网络已经应用于众多领域。从量子理论的角度来看空间，多维实值输入向量映射到频率或波向量时可以自然地表示为复值向量。固有地具有与复数值的兼容性向量、量子语言模型(quantum language model，qlm)量子理论具有出色的透明度和可解释性。
技术实现思路
1、本申请的目的是提供一种
2、为实现以上目的，本申请是通过以下技术方案予以实现的：
3、本申请公开了一种方面级情感预测方法，该方法包括：确定输入文本以及所述输入文本中待预测的方面级词汇；利用预设复数化量子语言模型，预测所述输入文本对所述方面级词汇的情感极性，从而实现方面级情感极性分类，其中所述预设复数化量子语言模型是将数据集作为输入而基于预设损失函数进行训练得到的模型，所述数据集包括预设批量大小的训练文本组，每个训练文本中的任一词汇在预设空间中的表示为复数。
4、在一些实施例中，所述每个训练文本中的任一词汇在预设空间中的表示为|w>＝|wr>+i|wm>，其中|wα>表示实数词嵌入空间中的向量，大小为wα＝uα·xt，α∈{r,m}，x为词嵌入w在词嵌入查找表中相应的词嵌入向量，uα为所述词嵌入向量的线性变换矩阵。
5、在一些实施例中，所述预设损失函数为其中，i是所述数据集中训练文本的序列号，j为分类号，λ是l2正则化项的系数，θ是参数集，为将所述数据集中第i个训练文本输入到所述预设复数化量子语言模型而输出的第j个分类的预测表示，表示所述数据集中第i个训练文本对应的第j个分类的真实表示；将所述数据集作为输入而基于预设损失函数进行训练，包括：响应于所述预设损失函数的值满足预设条件时，获取相应的参数集，以作为所述预设复数化量子语言模型的参数，从而完成训练。
6、在一些实施例中，所述预设复数化量子语言模型包括复数化lstm模型、基于注意力机制的复数化lstm模型、复数化bert模型和复数化roberta模型中的一个。
7、在一些实施例中，所述复数化lstm模型包括第一lstm和第二lstm，其中所述第一lstm用于生成所述数据集中词汇的隐藏向量的实部，所述第二lstm用于生成所述数据集中词汇的隐藏向量的虚部，所述隐藏向量的实部和虚部用于表示将所述数据集中词汇输入到所述复数化lstm模型所输出的输出隐藏状态。
8、在一些实施例中，所述基于注意力机制的复数化lstm模型包括第一lstm和第二lstm，其中所述第一lstm用于生成所述数据集中词汇的隐藏层向量的实部，所述第二lstm用于生成所述数据集中词汇的隐藏层向量的虚部，所述隐藏层向量的实部和所述隐藏层向量的虚部用于被级联以得到所述隐藏层向量的复数表示；其中，基于注意力机制，所述隐藏层向量的复数表示用于确定将所述数据集中词汇输入到所述基于注意力机制的复数化lstm模型而输出的复数隐藏层向量层的输出。
9、在一些实施例中，所述复数化bert模型或复数化roberta模型的输出的复数化表示为hcomplex＝hr+ihm，hα＝uα·xt，α∈{r,m}；其中，x表示将所述数据集中两个具有上下文关系的训练文本输入到所述复数化bert模型或复数化roberta模型而直接输出的输出向量。
10、在一些实施例中，在所述预设复数化量子语言模型包括所述复数化lstm模型或所述基于注意力机制的复数化lstm模型时，所述数据集中的词汇的实部和虚部被编码成相应模型中lstm预设维度，所述隐藏层的复数向量亦被设置成相应模型中lstm预设维数。
11、在所述预设复数化量子语言模型包括所述复数化bert模型或所述复数化roberta模型时，所述数据集中的每个词汇依据所述复数化bert或所述复数化roberta模型编码，所述复数化bert模型或所述复数化roberta模型的隐藏层的复数向量被设置成所述模型预设维数。
12、本申请还提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，用于实现上述的方面级情感预测方法。
13、本申请还提供了一种非易失性计算机可读存储介质，用于存储程序指令，所述程序指令在被处理器执行时，用于实现上述的方面级情感预测方法。
14、本申请的有益效果在于：通过确定输入文本以及输入文本中待预测的方面级词汇；利用预设复数化量子语言模型，预测输入文本对方面级词汇的情感极性，从而实现方面级情感极性分类，其中预设复数化量子语言模型是将数据集作为输入而基于预设损失函数进行训练得到的模型，数据集包括预设批量大小的训练文本组，每个训练文本中的任一词汇在预设空间中的表示为复数。本申请提供的方法能够实现复数化语言模型在方面级情感分类上的应用，并且在增强模型解释性的同时，提升模型的性能。
本文档来自技高网...【技术保护点】
1.一种方面级情感预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述每个训练文本中的任一词汇在预设空间中的表示为|w>＝|wr＞+i|wm>，
3.根据权利要求2所述的方法，其特征在于，所述预设损失函数为
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述预设复数化量子语言模型包括复数化LSTM模型、基于注意力机制的复数化LSTM模型、复数化BERT模型和复数化RoBERTa模型中的一个。
5.根据权利要求4所述的方法，其特征在于，所述复数化LSTM模型包括第一LSTM和第二LSTM，其中所述第一LSTM用于生成所述数据集中词汇的隐藏向量的实部，所述第二LSTM用于生成所述数据集中词汇的隐藏向量的虚部，所述隐藏向量的实部和虚部用于表示将所述数据集中词汇输入到所述复数化LSTM模型所输出的输出隐藏状态。
6.根据权利要求4所述的方法，其特征在于，所述基于注意力机制的复数化LSTM模型包括第一LSTM和第二LSTM，其中所述第一LSTM用于生成所述数据集中词汇的隐藏层向量的实部，
7.根据权利要求4所述的方法，其特征在于，所述复数化BERT模型或复数化RoBERTa模型的输出的复数化表示为hcomplex＝hr+ihm，hα＝Uα·XT，α∈{r,m}；
8.根据权利要求4所述的方法，其特征在于，在所述预设复数化量子语言模型包括所述复数化LSTM模型或所述基于注意力机制的复数化LSTM模型时，所述数据集中的词汇的实部和虚部被初始化为相应模型中LSTM预设维数，所述隐藏层的复数向量亦被设置成相应模型中LSTM预设维数；
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1至8任一项所述的方面级情感预测方法。
10.一种非易失性计算机可读存储介质，用于存储程序指令，其特征在于，所述程序指令在被处理器执行时，用于实现如权利要求1至8任一项所述的方面级情感预测方法。
...【技术特征摘要】
1.一种方面级情感预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述每个训练文本中的任一词汇在预设空间中的表示为|w>＝|wr＞+i|wm>，
3.根据权利要求2所述的方法，其特征在于，所述预设损失函数为
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述预设复数化量子语言模型包括复数化lstm模型、基于注意力机制的复数化lstm模型、复数化bert模型和复数化roberta模型中的一个。
5.根据权利要求4所述的方法，其特征在于，所述复数化lstm模型包括第一lstm和第二lstm，其中所述第一lstm用于生成所述数据集中词汇的隐藏向量的实部，所述第二lstm用于生成所述数据集中词汇的隐藏向量的虚部，所述隐藏向量的实部和虚部用于表示将所述数据集中词汇输入到所述复数化lstm模型所输出的输出隐藏状态。
6.根据权利要求4所述的方法，其特征在于，所述基于注意力机制的复数化lstm模型包括第一lstm和第二lstm，其中所述第一lstm用于生成所述数据集中词汇的...
【专利技术属性】
技术研发人员：徐睿峰，赵琴，梁斌，方明，党一学，余晓琪，
申请(专利权)人：招商证券股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。