训练神经网络的方法、装置及电子设备制造方法及图纸

本说明书实施例提供训练神经网络的方法、装置及电子设备，其中一个方法包括：获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注；向基于注意力的神经网络输入语料文本；以及通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。

Method, device and electronic equipment of training neural network

【技术实现步骤摘要】
训练神经网络的方法、装置及电子设备
本说明书涉及制图
，更具体地，涉及一种训练用于情感分析的基于注意力的神经网络的方法、装置及电子设备。
技术介绍
情感分析是自然语言处理中一项语义理解任务。情感分析可以应用到很多场景中。例如，通过用户的影评判断其对电影的喜爱程度，通过用户微博判断其心情，或者通过商品评论判断用户对商品的情感趋向进而判断商品质量。可以利用基于注意力的神经网络来进行情感分析。因此，需要提供训练用于情感分析的基于注意力的神经网络的方案。
技术实现思路
本说明书的实施例提供训练用于情感分析的基于注意力的神经网络的新技术方案。根据本说明书的第一方面，提供了一种训练用于情感分析的基于注意力的神经网络的方法，包括：获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注；向基于注意力的神经网络输入语料文本；以及通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。根据本说明书的第二方面，提供了一种训练用于情感分析的基于注意力的神经网络的装置，包括：获取模块，获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注；输入模块，向基于注意力的神经网络输入语料文本；训练模块，通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。根据本说明书的第三方面，提供了一种电子设备，包括处理器和存储器，存储器存储可执行指令，当运行电子设备时，可执行指令控制处理器执行根据实施例的训练用于情感分析的基于注意力的神经网络的方法，以训练用于情感分析的基于注意力的神经网络。根据本说明书的第四方面，提供了一种情感分析方法，包括：向使用上述训练方法所训练的神经网络输入文本；以及从所述神经网络获取所输入的文本的情感信息。根据本说明书的第五方面，提供了一种电子设备，包括处理器和存储器，存储器存储可执行指令，当运行电子设备时，可执行指令控制处理器执行上述情感分析方法以获取所输入的文本的情感信息。在不同实施例中，可以提高训练用于情感分析的基于注意力的神经网络的性能。通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的实施例的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了的实施例，并且连同其说明一起用于解释各个实施例的原理。图1示出了根据一个实施例的训练用于情感分析的基于注意力的神经网络的方法的示意性流程图。图2示出了根据一个实施例的训练用于情感分析的基于注意力的神经网络的装置置的示意性框图。图3示出了根据一个实施例的电子设备的示意性框图。图4示出了将实施例中的方案应用于BERT神经网络的过程。具体实施方式以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。下面，参照附图描述本说明书的不同实施例和例子。图1示出了根据一个实施例的训练用于情感分析的基于注意力的神经网络的方法的示意性流程图。如图1所示，在步骤S12，获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注。在步骤S14，向基于注意力的神经网络输入语料文本。在步骤S16，通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。这里，通过标注作为判断情感极性的依据的依据文本片段并且监督所述依据文本片段的作用，来训练基于注意力的神经网络。这可以提高所述神经网络的性能。例如，所述情感极性包括正面情感、负面情感和中性情感中的至少一个。例如，可以在基于注意力的神经网络的最后阶段，通过利用所述依据文本片段校正注意力，而实现对神经网络的训练。举例来说，在一个句子中，词A被标注为正面感情。可以利用词A的标注信息来校正在神经网络的注意力函数L，例如，神经网络的损失函数。例如，将所述依据文本片段的参数值设为B。可以通过将B结合进注意力函数L，来训练神经网络，从而提升所述神经网络的训练性能。相比于相比于纯依赖神经网络模型自己尝试和摸索注意力的方案，通过这种主动监督注意力的方式，可以使得神经网络更快速/更准确地收敛到期望的结果，从而极大地提升情感分类的精度。所述基于注意力的神经网络可以是BERT神经网络。可以通过监督BERT神经网络的注意力值来训练所述BERT神经网络的变换器。例如，可以在BERT神经网络的最后一个自注意力层监督所述依据文本片段是否作为判断语料文本的依据。通过这种方式，可以使得所标注的依据文本片段较为有效地产生作用。例如，可以在最后一个自注意力层的Query向量中包含依据文本片段的信息；通过所述Query向量判断输入语料中的目标文本片段是否是依据文本片段；以及如果是依据文本片段，则将该目标文本片段的注意力值设为1，或者如果是依据文本片段，则将该目标文本片段的注意力值设为0。接着，可以将注意力监督的损失函数和情感分类损失函数相加，在训练阶段联合求解。这不是这里所关注的，因此，在这里省略对它的详细描述。图2示出了根据一个实施例的训练用于情感分析的基于注意力的神经网络的装置的示意性框图。如图2所示，训练用于情感分析的基于注意力的神经网络的装置20包括：获取模块22、输入模块24、训练模块26。获取模块22获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注。输入模块24向基于注意力的神经网络输入语料文本。训练模块26通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。图2的训练用于情感分析的基于注意力的神经网络的装置20可以实现图1的实施例中的方案，在这里省略重复的部分。本说明书还提供一种电子设备。图3示出了电子设备300。电子设备300可以训练用于情感分析的基于注意力的神经网络，也可以使用所训练的神经网络执行情感分析。如图3所示，电子设备300包括处理器302、存储器304。电子设备300还可以包括显示屏310、用户接口312、摄像头314、音频/视频接口316、传感器318和通信部件320等。此外，电子设备300还可以还包括电源管理芯片306以及电池308等。电子设备300可以智能手机、平板电脑、笔记本电脑、台式机、服务器等。处理器302可以是各种处理器。例如，它可以是ARM架构的处理器，诸如，苹果公司的应用处理器、高通公司的处理器、华为公司的处理器等。存储器304可以存储电子设备300运行所需的底层软件、系统软件、应用软件、数据等。存储器304可以包括多种形式的存储器，例如，ROM、RAM、Flash等。显示屏310可以是液晶显示屏、OLED显示屏等。在一个例子本文档来自技高网...

【技术保护点】
1.一种训练用于情感分析的基于注意力的神经网络的方法，包括：/n获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性依据的依据文本片段被标注；/n向基于注意力的神经网络输入语料文本；以及/n通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。/n

【技术特征摘要】
1.一种训练用于情感分析的基于注意力的神经网络的方法，包括：
获取经情感标注的语料文本，其中，所述语料文本的情感极性被标注，以及所述语料文本中作为判断情感极性依据的依据文本片段被标注；
向基于注意力的神经网络输入语料文本；以及
通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。


2.根据权利要求1所述的方法，其中，所述情感极性包括正面情感、负面情感和中性情感中的至少一个。


3.根据权利要求1所述的方法，其中，所述基于注意力的神经网络是BERT神经网络。


4.根据权利要求3所述的方法，其中，通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络包括：通过监督所述BERT神经网络的注意力值来训练所述BERT神经网络的变换器。


5.根据权利要求4所述的方法，其中，通过监督所述BERT神经网络的注意力值来训练所述BERT神经网络的变换器包括：
在BERT神经网络的最后一个自注意力层监督所述依据文本片段是否作为判断语料文本的依据。


6.根据权利要求5所述的方法，其中，在BERT神经网络的最后一个自注意力层监督所述依据文本片段是否作为判断语料文本的依据包括：
在所述最后一个自注意力层的Qu...

【专利技术属性】
技术研发人员：梁忠平，蒋亮，温祖杰，张家兴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33