一种基于忆阻器的文本情感检测系统及方法技术方案

本发明专利技术涉及文本情感识别技术领域，具体公开了一种基于忆阻器的文本情感检测系统及方法，该系统包括预处理模块、注意力计算模块和情感分类模块。本系统中的线性映射和矩阵乘法操作采用忆阻交叉阵列构建，而其余电路模块也采用CMOS技术组建。与传统的计算架构(GPU)相比，本发明专利技术所设计的硬件方案具有更低的功耗，同时减少了因内存和计算单元分离而造成的额外电路面积开销；本发明专利技术提出了名为MLA

【技术实现步骤摘要】
一种基于忆阻器的文本情感检测系统及方法


[0001]本专利技术涉及文本情感识别
，尤其涉及一种基于忆阻器的文本情感检测系统及方法。

技术介绍

[0002]随着Web 2.0和5G网络的快速发展，互联网上大量的社交媒体已经影响到人们生活的各个方面。由于用户数量的增加，大量不同格式的数据被上传到网络上进行分享，包括照片、语音和文字。因此，大量的可用文本数据最近受到了很多关注。
[0003]由于NLP(情感分析、机器阅读理解)任务的扩展，深度神经网络(DNN)被广泛用于处理文本数据，包括循环神经网络(RNN)和长短期记忆(LSTM)网络。虽然RNN和LSTM网络都解决了文本信息处理中的一些问题，但它们仍然不能完全理解上下文关系。因此，基于注意力的网络被用来实现NLP任务，在处理上下文信息方面比RNN和LSTM网络表现更好。新颖的网络模型Transformer，利用多头注意力机制作为编码器和解码器，正在成为NLP中的一种计算范式。最近，有几项工作应用预先训练好的BERT模型，也就是NLP中普遍使用的Transformer的变体，来检测对话任务中的情绪，并得到了一个很好的分数。然而，由于基于注意力的网络模型的参数迅速增加，在将基于注意力的网络部署到嵌入式设备时，需要更多的内存和计算资源。另一方面，经典的冯
‑
诺依曼结构将计算和内存单元分开，这被称为"内存墙"，导致在执行大量数据传输时，能量开销和计算延迟增加。这表明，在实际应用中实现文本情感检测系统会受到内存墙的严重阻碍。特别是，社交媒体和其他应用程序已经可以应用于嵌入式设备，如手机、平板电脑，甚至是智能手表。因此，在嵌入式设备上部署文字情感检测系统是嵌入式应用的一个很有前景的方向。然而，为了克服内存墙的瓶颈，需要为嵌入式情感检测系统建立一个新的计算架构，为此，本实施例基于忆阻的神经形态计算系统提供了一个可行的解决方案。
[0004]忆阻器是一种理想的内存计算设备，因为它是一种双终端设备，具有动态电阻、低功耗和易于集成的特点。此外，忆阻交叉阵列已被证明可用于实现卷积神经网络(CNN)的硬件部署，也被广泛用于开发各种智能应用。然而，只有少数硬件解决方案被提出用于实现基于注意力的架构。目前通过使用忆阻器电路成功地完成了一个字符识别任务，证明了忆阻器可以被用来在硬件上部署基于注意力的网络。但仍有许多工作需要完成。首先，用于多层注意力网络的忆阻器硬件实现方案仍然是空缺的。此外，由于大量的网络参数和计算资源的开销，在嵌入式设备上实现文本情感检测仍然是一个巨大的挑战。
[0005]简单来说，文本对话中的情感检测在人机交互领域有广泛的应用。与检测单句不同，检测对话文本中的潜在情绪需要对上下文和局部信息之间的依赖关系进行建模。然而，传统的情感检测网络并不关注对话的局部和整体之间的内在联系。同时，由于情感检测网络的参数数量巨大，文本信息的规模巨大，目前将文本情感检测系统部署到嵌入式设备上仍具有挑战性。

技术实现思路

[0006]本专利技术提供一种基于忆阻器的文本情感检测系统及方法，解决的技术问题在于：如何关注对话的局部和整体之间的内在联系，以及如何降低网络参数数量以及系统面积。
[0007]为解决以上技术问题，本专利技术提供一种基于忆阻器的文本情感检测系统，包括预处理模块、注意力计算模块和情感分类模块；
[0008]所述预处理模块用于输入话语文本数据并对话语文本数据进行位置编码和标记嵌入，得到嵌入后的文本数据；
[0009]所述注意力计算模块包括多层注意力电路和前向传播电路；第一层的注意力电路用于提取嵌入后的文本数据的多头注意力，所述前向传播电路用于将当前层的注意力电路的输出传播至下一层的注意力电路作为输入，直至最后一层注意力电路，得到最终的注意力输出至所述情感分类模块；
[0010]所述情感分类模块包括顺序连接的最大池化电路、第三层正则化电路、第一点向卷积电路、深度卷积电路、Swish激活函数电路、第二点向卷积电路、第四层正则化电路、全连接层电路和第二SoftMax激活函数电路，用于对各自的输入执行对应的最大池化、正则化、点向卷积、深度卷积、Swish激活函数计算、点向卷积、正则化、全连接和SoftMax激活函数计算操作，最后输出情感检测结果；
[0011]所述注意力计算模块中的注意力提取操作、权重映射操作和所述第一点向卷积电路、所述深度卷积电路、所述第二点向卷积电路、所述全连接层电路均基于忆阻交叉阵列构建，所述忆阻交叉阵列的每两列对应于神经网络中的正负权重，每两列的输出对应于一个输出电压。
[0012]具体的，所述注意力电路包括基于忆阻交叉阵列构建的多头注意力电路，用于存储电压信号的第一记忆单元模块电路，连接所述第一记忆单元模块电路的第一乘累加电路、第二乘累加电路，还包括第一SoftMax激活函数电路，所述多头注意力电路用于对嵌入后的文本数据进行多头注意力提取输出多头的Q、K、V信号，所述第一乘累加电路用于对多头的Q、K信号进行乘累加得到总的Q、K信号，所述第二乘累加电路用于对多头的V信号进行乘累加得到总的V信号，所述第一SoftMax激活函数电路用于对总的Q、K信号采用softmax函数进行计算，其计算结果与所述总的V信号进行权重相乘后输出至所述前向传播电路；
[0013]所述注意力电路的输出表示为：
[0014][0015]其中，Concat{}表示进行串联，softmax()表示softmax函数，d
h
＝d/h表示头的维度，h表示头的数量，d是输入Q、K、V的维度，Q
h
、K
h
、V
h
分别表示单头输出的Q、K、V值，W
Z
表示映射矩阵。
[0016]具体的，所述前向传播电路包括顺序连接的第一权重映射电路、第一层正则化电路、第二权重映射电路、第三权重映射电路和第二层正则化电路，还包括第二记忆单元模块电路；其中所述第二层正则化电路用于连接下一层的所述注意力电路，所述第二记忆单元模块电路用于存储前向传播过程中每一次计算得到的注意力；
[0017]所述第一权重映射电路、所述第二权重映射电路、所述第三权重映射电路均基于
所述忆阻交叉阵列构建；
[0018]所述前向传播电路的前向传播过程表示为：
[0019]Forward＝LN{W3[W2(LN(W1·
Attention+b1))+b2]+b3}，
[0020]其中，Forward表示该次前向传播的输出，Attention表示该次前向传播的输入，W1、b1分别表示所述第一权重映射电路的权重和偏置，W2、b2分别表示所述第二权重映射电路的权重和偏置，W3、b3分别表示所述第三权重映射电路的权重和偏置，LN()表示正则化函数。
[0021]所述深度卷积电路单通道的输出表示为：
[0022][0023]其中，k是深度卷积的核宽度，表示核权值，表示深度卷积电路的输入，U表示通道数；
[0024]所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于忆阻器的文本情感检测系统，其特征在于：包括预处理模块、注意力计算模块和情感分类模块；所述预处理模块用于输入话语文本数据并对话语文本数据进行位置编码和标记嵌入，得到嵌入后的文本数据；所述注意力计算模块包括多层注意力电路和前向传播电路；第一层的注意力电路用于提取嵌入后的文本数据的多头注意力，所述前向传播电路用于将当前层的注意力电路的输出传播至下一层的注意力电路作为输入，直至最后一层注意力电路，得到最终的注意力输出至所述情感分类模块；所述情感分类模块包括顺序连接的最大池化电路、第三层正则化电路、第一点向卷积电路、深度卷积电路、Swish激活函数电路、第二点向卷积电路、第四层正则化电路、全连接层电路和第二SoftMax激活函数电路，用于对各自的输入执行对应的最大池化、正则化、点向卷积、深度卷积、Swish激活函数计算、点向卷积、正则化、全连接和SoftMax激活函数计算操作，最后输出情感检测结果；所述注意力计算模块中的注意力提取操作、权重映射操作和所述第一点向卷积电路、所述深度卷积电路、所述第二点向卷积电路、所述全连接层电路均基于忆阻交叉阵列构建，所述忆阻交叉阵列的每两列对应于神经网络中的正负权重，每两列的输出对应于一个输出电压。2.根据权利要求1所述的一种基于忆阻器的文本情感检测系统，其特征在于：所述注意力电路包括基于忆阻交叉阵列构建的多头注意力电路，用于存储电压信号的第一记忆单元模块电路，连接所述第一记忆单元模块电路的第一乘累加电路、第二乘累加电路，还包括第一SoftMax激活函数电路；所述多头注意力电路用于对嵌入后的文本数据进行多头注意力提取输出多头的Q、K、V信号，所述第一乘累加电路用于对多头的Q、K信号进行乘累加得到总的Q、K信号，所述第二乘累加电路用于对多头的V信号进行乘累加得到总的V信号，所述第一SoftMax激活函数电路用于对总的Q、K信号采用softmax函数进行计算，其计算结果与所述总的V信号进行权重相乘后输出至所述前向传播电路；所述注意力电路的输出表示为：其中，Concat{}表示进行联结，softmax()表示softmax函数，d
h
＝d/h表示头的维度，h表示头的数量，d是输入Q、K、V的维度，Q
h
、K
h
、V
h
分别表示单头输出的Q、K、V值，W
Z
表示映射矩阵。3.根据权利要求2所述的一种基于忆阻器的文本情感检测系统，其特征在于：所述前向传播电路包括顺序连接的第一权重映射电路、第一层正则化电路、第二权重映射电路、第三权重映射电路和第二层正则化电路，还包括第二记忆单元模块电路；其中所述第二层正则化电路用于连接下一层的所述注意力电路，所述第二记忆单元模块电路用于存储前向传播过程中每一次计算得到的注意力；所述第一权重映射电路、所述第二权重映射电路、所述第三权重映射电路均基于所述忆阻交叉阵列构建；
所述前向传播电路的前向传播过程表示为：Forward＝LN{W3[W2(LN(W1·
Attention+b1))+b2]+b3}，其中，Forward表示该次前向传播的输出，Attention表示该次前向传播的输入，W1、b1分别表示所述第一权重映射电路的权...

【专利技术属性】
技术研发人员：周跃，肖和，胡小方，洪浩钦，段书凯，
申请(专利权)人：西南大学，
类型：发明
国别省市：