基于轻量化Transformer网络的语音识别系统及方法技术方案

本发明专利技术涉及人工智能领域中的语音识别技术，具体公开了一种基于轻量化Transformer网络的语音识别系统及方法，系统包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，该系统通过模块化硬件设计且将部分参数利用忆阻交叉阵列予以实现，不仅具有较轻的网络模型，而且在不同的硬件规模下具有良好的识别精度，能有效地减少电路的能耗和面积开销，可以在功耗低、结构轻的边缘设备上实现语音识别任务，并具有较好的稳定性和抗噪性。具有较好的稳定性和抗噪性。具有较好的稳定性和抗噪性。

【技术实现步骤摘要】
基于轻量化Transformer网络的语音识别系统及方法


[0001]本专利技术涉及人工智能领域中的语音识别技术，更具体地说，是一种基于轻量化Transformer网络的语音识别系统及方法。

技术介绍

[0002]随着人工智能的发展，深度神经网络已经得到广泛应用，特别是在图像处理、语音识别、机器翻译等复杂任务中取得很好的表现。随着任务挑战性逐渐增强，业界也提出了许多更加复杂的网络模型，其中：Transformer网络(简称TN)是一个非常典型的深度神经网络模型，且引起了业界的广泛关注，同时也有许多基于经典TN模型的改进措施逐渐被提出。
[0003]传统的TN模型如图1所示，其核心思想是依赖于编码器和解码器架构，而这些架构主要是基于图2所示的注意力机制，通过图2可以看出，注意力机制实际就是通过查询矩阵W
Q
、键矩阵W
K
和值矩阵W
V
计算输入信息特征X的单头注意力，而多头注意力就是将多个单头注意力串联起来，利用权重矩阵W
Z
将其映射到最终输出。而随着TN的发展，其训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化Transformer网络的语音识别系统，其特征在于，包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，其中：所述预处理模块用于采集语音数据并提取语音数据中的特征参数，形成训练样本、验证样本和测试样本；所述第一前向传播模块包括第一层正则化电路、第一线性化电路、第一Swish激活函数电路、第二线性化电路和第一加法电路，所述第一层正则化电路用于对所述预处理模块提取的每一项特征参数进行正则化处理，正则化处理后的数据依次经过第一线性化电路、第一Swish激活函数电路和第二线性化电路处理后，由所述第一加法电路实现残差连接并传递到所述多头注意力模块中；所述第一前向传播模块中的至少一部分参数由忆阻交叉阵列电路实现；所述多头注意力模块包括第二层正则化电路、查询矩阵电路、键矩阵电路、值矩阵电路、第一存储模块、第一乘累加电路、SoftMax激活函数电路、第二乘累加电路、第二加法电路和第二存储模块；所述第二层正则化电路对所述第一前向传播模块输出的每一项信号进行正则化处理，所述查询矩阵电路、所述键矩阵电路和所述值矩阵电路由忆阻交叉阵列电路实现，用于计算输入信息特征的单头注意力，所述第一存储阵列用于实现多个单头注意力的缓存，并在控制信号的驱动下选择性输出至第一乘累加电路中，得到查询矩阵每一行输出电压和键矩阵每一列输出电压的乘积，所述第一乘累加电路每一项输出经过SoftMax激活函数电路处理后再利用所述第二乘累加电路实现与所述值矩阵每一列输出电压进行乘积运算，最后利用第二加法电路进行残差连接后将计算结果存储在第二存储模块中；所述卷积模块包括第三层正则化电路、第一点向卷积模块、门控线性单元、深度卷积电路和第二点向卷积模块；所述第二前向传播模块的电路结构与所述第一前向传播模块的电路结构相通，用于对所述卷积模块的输出进行前向传播，最后经过所述全连接层模块得出最终输出；通过训练样本对所述第一前向传播模块、所述多头注意力模块、所述卷积模块、所述第二前向传播模块和所述全连接层模块中的各项参数进行训练，利用验证样本对训练后的系统电路进行验证，最后训练好的系统电路作为语音识别系统进行测试样本的语音识别。2.根据权利要求1所述的基于轻量化Transformer网络的语音识别系统，其特征在于，所述预处理模块利用梅尔
‑
频谱系数将获取的语音数据进行预处理，并在每一帧语音中提取20个特征。3.根据权利要求1或2所述的基于轻量化Transformer网络的语音识别系统，其特征在于，在所述第一前向传播模块中的第一层正则化电路的每一路输入端上设置有信号选择开关，用于实现每一路信号特征的选择性输入。4.根据权利要求1所述的基于轻量化Transformer网络的语音识别系统，其特征在于，所述第一层正则化电路按照对输入的每一路信号特征进行正则化处理，其中V

【专利技术属性】
技术研发人员：周跃，肖和，胡小方，洪浩钦，段书凯，
申请(专利权)人：西南大学，
类型：发明
国别省市：