面向语音常用词识别的二值网络实现系统技术方案

本发明专利技术公开了一种面向语音常用词识别的二值网络实现系统，用二值化的卷积网络识别语音常用词。其电路结构包括异或乘法器，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块。应用于关键词语音识别、卷积神经网络二值化、以及近似加法器设计。本发明专利技术不仅可以减少计算产生的功耗和时间，同时还保证了一定的计算精度，并且简化了计算的复杂度。

【技术实现步骤摘要】
面向语音常用词识别的二值网络实现系统
本专利技术涉及一种面向语音常用词识别的二值网络实现系统，属于人工神经网络

技术介绍
随着网络的日益庞大，在软件模型方面和硬件体系结构方面对网络压缩与适当处理精度的研究也越来越深入。尽管一般用于语音识别的递归神经网络具有比较高的准确度，但在减少面积和能量消耗方面存在问题。因此，引入了具有高能源效率的二值卷积网络，用很少的精确度损失换取了更低的能耗。基于延时的近似加法器在处理二值网络时在性能和灵活性方面表现出优越性。随着神经网络的影响越来越大，对低功耗常用词语音识别的研究迫在眉睫。我们进一步优化了二值网络的实现方式，提出了一种基于精度要求的时钟分配方式。
技术实现思路
专利技术目的：为了解决现有应用于语音识别的神经网络存在网络规模大、功耗过大的问题，本专利技术提供一种面向语音常用词识别的二值网络实现系统，应用于关键词语音识别、卷积神经网络二值化、以及近似加法器设计。不仅可以减少计算产生的功耗和时间，同时还保证了一定的计算精度，并且简化了计算的复杂度。技术方案：一种面向语音常用词识别的二值网络实现系统，用二值化的卷积网络识别语音常用词。其电路结构包括异或乘法器，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块。所述异或乘法器通过对二值化的权重和每层数据的符号位进行异或操作实现-1或1与输入数据的乘法。异或后的结果按批次送入反相器链延时的数模混合矢量矩阵求和模块进行相加。所述基于反相器链延时的数模混合矢量矩阵求和模块用于实现将加法操作转换为反相器延时的叠加，输入数据的每一bit分别用一条反相器链来表示，对应的比特作为同一条延时链的控制信号，将1的个数转换为延时的长短。其中反相器链由两种针对不同时钟边沿触发的可控延时块构成：del1为时钟上升沿触发可控延时块，当控制信号(数据对应的bit)为0时，延时为Δt，控制信号为1时，延时为2Δt；del2为时钟下降沿触发可控延时块，当控制信号(数据对应的bit)为0时，延时为Δt，控制信号为1时，延时为2Δt。具体实现方式包括以下方面：(1)近似加法器树规模为一次处理256个16bit的数据加法，对应的比特作为同一条延时链的控制信号，将1的个数转换为延时的长短。(2)通过RS锁存器检测两个上升沿，得到使能信号en，与高频时钟CK相与，控制计数器工作，在下一个en之前将计数器置0。高频时钟由y级控制信号均为0的del1级联，周期为2yΔt。(3)由于存在本征延时，需要增加校准模式，将本征延时消除。其中x为延时链中1的个数，Δt为单个延时块控制信号为0的延时，t1为延时链的延时，t1min为延时链的输入控制信号全为0时的延时，y为控制信号均为0的del1延时块级联的个数，Tox为输入边沿信号的周期，dump_i与cali_i分别表示第i条延时链和第i条校正链，dunp_cali_i为第i条延时链量化后输出的部分和。(4)在数字域进行校准，并将16个反相器链的输出转化为最终和。所述基于混合时钟频率的计数量化模块，通过高频时钟采样计数反相器链的输出进而得出延时的大小。其中根据输入数据不同的bit位，分配的计数器clk时钟也不同。最高两位数据的精度的要求最高，所以它们的反相器链的采样时钟不进行分频，充当基准时钟；对于中间4位数据，其采样时钟进行二分频，为基准时钟的一半；对于的最后10位数据，其采样时钟进行四分频，为基准时钟的四分之一。附图说明图1为本专利技术的BCNN的拓扑结构示意图；图2为本专利技术的BCNN硬件实现示意图；图3为本专利技术的时钟上升沿触发可控延时块；图4为本专利技术的时钟下降沿触发可控延时块。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。面向语音常用词识别的二值网络实现系统，是将二值网络中输入数据与二值化的权重的乘加转换成异或和反相器链延时的操作。其中异或乘法器将乘法操作转换成数据的标志位与二值权重的异或，基于反相器链延时的数模混合矢量矩阵求和模块将加法操作转换成反相器链的延时叠加，再通过基于混合时钟频率的计数量化模块将延时量化成每bit位上的数据和，最后再转换成最终和。异或乘法器通过对二值化的权重和每层数据的符号位进行异或操作实现-1或1与输入数据的乘法。异或后的结果按批次送入反相器链延时的数模混合矢量矩阵求和模块进行相加。网络二值化主要是将网络的权重二值化成-1和1，减少网络的大小和存储需求，简化神经元的计算。相对一般用于语音识别的递归神经网络，设计一种新的二值化卷积神经网络结构，如图1所示，具体结构如下：网络一共分九层，输入是32乘32的规模，前六层是卷积层，后三层是全连接层。第一、二层均是128个卷积核，第三、四层是256个卷积核，第五、六层是512个卷积核。其中卷积核都是3乘3的规模，每两层卷积后有一层2乘2的最大池化。第七、八层均是1024个点的全连接层，第九层为10个点的全连接。如图2所示，二值网络的电路结构包括异或乘法部分，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块。基于二值网络拓扑结构中每层的数据规模多为256的倍数，所述的二值网络电路一次处理256个数据的乘加操作。网络中每层的数据按256个一批次输入到电路单元，与对应的二值化权重经过亦或乘法单元，得到的数据送入数模混合矢量矩阵求和模块进行按位累加操作，将对应数据位上的1的个数转化成延时的大小进行累加。再经过基于混合时钟频率的计数量化模块进行对延时的量化，进而将延时的大小量化成1的个数，即每个数据位上的和。最后再将得到的16个数据位上的和经过移位相加处理，得到最终和。如图2所示，基于反相器链延时的数模混合矢量矩阵求和模块用于实现将加法操作转换为反相器延时的叠加，数模混合矢量矩阵求和模块一次同时处理256个16bit的输入数据的乘加。数据的每一位分别用一条延时链来表示，对应的比特作为同一条延时链的控制信号。每个输入的16bit数的最高位即符号位先与对应的已经二值化的权重进行异或，得到的新的256个16bit数的对应的bit作为同一条反相器链的控制信号。由两种针对不同边沿触发的可控延时块组成的反相器链，当其控制信号为‘0’时，延时为Δt，控制信号为‘1’时，延时为2Δt，所以边沿信号经过反相器延时的自然累加，就可以将每条反相器链上的1的个数转换为延时的长短。延时用高频计数器模块采样得出，得到的延时通过基于混合时钟频率的计数量化模块转换成每条反相器链的输出和。延时链分别由时钟上升沿触发可控延时块del1和时钟下升沿触发可控延时块del2组成。如图3所示，时钟上升沿触发可控延时块del1由4个P型MOS管和4个N型MOS管组成，第一级为反相器电路，第二级为传输控制部分控制信号的传输通路。当输入端口A为上升沿，且输入端口D＝‘0’时，N型MOS管M2开启，信号通过N型MOS管M4、N型MOS管M6、N型MOS管M2从输入端口A传输到输出端口Y，延时为Δt；当输入端口D＝‘1’时，N型MOS管M2截止，信号通过N型MOS管M4从输入端口A传输到输出端口Y，延时为2Δt。而当A为下降沿，信号通过本文档来自技高网...

【技术保护点】
一种面向语音常用词识别的二值网络实现系统，其特征在于：用二值化的卷积网络识别语音常用词，包括异或乘法器，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块。

【技术特征摘要】
1.一种面向语音常用词识别的二值网络实现系统，其特征在于：用二值化的卷积网络识别语音常用词，包括异或乘法器，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块。2.如权利要求1所述的面向语音常用词识别的二值网络实现系统，其特征在于：所述异或乘法器通过对二值化的权重和每层数据的符号位进行异或操作实现-1或1与输入数据的乘法；异或后的结果按批次送入反相器链延时的数模混合矢量矩阵求和模块进行相加；所述基于反相器链延时的数模混合矢量矩阵求和模块用于实现将加法操作转换为反相器延时的叠加，输入数据的每一bit分别用一条反相器链来表示，对应的比特作为同一条延时链的控制信号，将1的个数转换为延时的长短。3.如权利要求2所述的面向语音常用词识别的二值网络实现系统，其特征在于：反相器链由两种针对不同时钟边沿触发的可控延时块构成：del1为时钟上升沿触发可控延时块，当控制信号为0时，延时为Δt，控制信号为1时，延时为2Δt；del2为时钟下降沿触发可控延时块，当控制信号为0时，延时为Δt，控制信号为1时，延时为2Δt。4.如权利要求1所述的面向语音常用词识别的二值网络实现系统，其特征在于：二值化的卷积网络一共分为九层，输入是32乘32的规模，前六层是卷积层，后三层是全连接层；第一、二层均是128个卷积核，第三、四层是256个卷积核，第五、六层是512个卷积核；其中卷积核都是3乘3的规模，每两层卷积后有一层2乘2的最大池化；第七、八层均是1024个点的全连接层，第九层为10个点的全连接；二值网络的电路结构包括异或乘法器，数模混合矢量矩阵求和模块和基于混合时钟频率的计数量化模块；二值网络的电路一次处理256个数据的乘加操作；网络中每层的数据按256个一批次输入到电路单元，与对应的二值化权重经过异或乘法器，得到的数据送入数模混合矢量矩阵求和模块进行按位累加操作，将对应数据位上的1的个数转化成延时的大小进行累加；再经过基于混合时钟频率的计数量化模块进行对延时的量化，进而将延时的大小量化成1的个数，即每个数据位上的和；最后再将得到的16个数据位上的和经过移位相加处理，得到最终和。5.如权利要求1所述的面向语音常用词识别的二值网络实现系统，其特征在于：基于混合时钟频率的计数量化模块，通过RS锁存器检测两个上升沿，得到使能信号en，与高频时钟CK相与，控制计数器工作，在下一个en之前将计数器置0；高频时钟由y级控制信号均为0的de...

【专利技术属性】
技术研发人员：刘波，秦海，孙锰阳，郑梦瑶，龚宇，杨军，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32