信号处理的系统和方法技术方案

本申请实施例公开了一种信号处理方法以及装置，包括：输入模块，用于接收输入信号矩阵和权重矩阵；第一交织模块，用于交织输入信号矩阵，得到交织信号矩阵；第一分块模块，用于分块该交织信号矩阵；第二交织模块，用于交织权重矩阵，得到交织权重矩阵；处理模块，用于处理该交织权重矩阵，得到多个稀疏化分块权重矩阵；矩阵乘模块，用于实现多个稀疏化分块权重矩阵与多个分块信号矩阵对应矩阵乘，得到多个矩阵乘运算结果；输出模块，用于输出信号处理结果。该方法及相关装置解决了关键权重分布不均匀导致的负载不均衡问题，提高了神经网络的运算效率。

System and Method of Signal Processing

The embodiment of this application discloses a signal processing method and device, including: an input module for receiving input signal matrix and weight matrix; a first interleaving module for interleaving input signal matrix to obtain interleaving signal matrix; a first block module for partitioning the interleaving signal matrix; and a second interleaving module for interleaving weight matrix to obtain interleaving weight matrix. The processing module is used to process the interleaved weight matrix and obtain multiple sparse block weight matrices; the matrix multiplication module is used to multiply multiple sparse block weight matrices with corresponding matrices of multiple block signal matrices to obtain multiple matrix multiplication results; and the output module is used to output signal processing results. This method and related devices solve the problem of load imbalance caused by the uneven distribution of key weights, and improve the operational efficiency of the neural network.

【技术实现步骤摘要】
信号处理的系统和方法
本申请涉及人工智能领域，尤其涉及信号处理的系统和方法。
技术介绍
人工神经网络(artificialneuralnetworks,ANN)，也简称为神经网络(neuralnetwork,NN)，是一种模仿动物神经网络行为特征进行信息处理的网络结构。该结构由大量的节点(或称神经元)相互联接构成，基于特定运算模型通过对输入信息进行学习和训练达到处理信息的目的。一个神经网络包括输入层、隐藏层及输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果，隐藏层负责学习、训练等计算过程，是网络的记忆单元，隐藏层的记忆功能由权重矩阵来表征。循环神经网络(recurrentneuralnetwork,RNN)是一种神经网络。循环神经网络的隐藏层存在一定的循环反馈机制，神经元彼此之间相互连接，且对历史输入信息具有记忆功能。通常每个隐藏层的神经元个数数以千计，其权重矩阵的大小远远超出神经网络硬件处理器的承载值，因此权重矩阵存储在外部存储器中，而从片外读取权重矩阵的操作大大增加了处理器的带宽需求和循环神经网络的处理功耗。针对权重矩阵过大的问题，通常的解决方案是对权重矩阵进行稀疏化，即将权重矩阵中小于预设阈值的元素置为零。这种稀疏化方案在降低权重矩阵大小的同时导致权重矩阵非零参数分布不均，由于权重矩阵的运算通常是在多个处理器核中并行运算的，权重矩阵的不均匀导致每个处理器核的运算量不均匀，运算资源利用率不高，从而降低了神经网络的运算效率。针对上述问题，现有的解决方案是对稀疏策略进行调整，通过设置自适应的稀疏化阈值，使得稀疏之后的权重矩阵的非零参数趋于均匀，从而使处理器核的运算负载趋于均匀。但是自适应阈值的选择与处理器核的个数强相关，对于不同的处理器规格稀疏方案也要相应调整，增加了计算复杂度；且关键权重的分布不可能是均匀的，通过改变阈值强行使其均匀会导致神经网络性能下降。
技术实现思路
本申请的实施例提供一种信号处理的系统和方法，用于提高神经网络的运算效率。有鉴于此，本申请第一方面提供了一种信号处理方法，该方法包括：接收输入信号矩阵，该信号矩阵包括多个计算机可处理的待处理信号；接收权重矩阵，该权重矩阵包括多个权重系数；对该输入信号矩阵进行交织，得到交织信号矩阵；对该交织信号矩阵进行分块，得到多个分块信号矩阵；对该权重矩阵进行交织，得到交织权重矩阵；对该交织权重矩阵进行处理，得到多个稀疏化分块权重矩阵；将该多个稀疏化分块权重矩阵与该多个分块信号矩阵进行矩阵乘运算得到多个矩阵乘运算结果，其中，每个稀疏化分块权重矩阵与对应于该稀疏化分块权重矩阵的分块信号矩阵进行矩阵乘运算得到一个矩阵乘运算结果，每个矩阵乘运算结果包括多个计算机可处理的输出信号；输出信号处理结果，其中该信号处理结果包括上述的多个矩阵乘运算结果。在一种可能的设计中，对交织权重矩阵的处理包括：先对交织权重矩阵进行分块，得到多个分块权重矩阵；再对该多个分块权重矩阵进行稀疏化，得到多个稀疏化分块权重矩阵。在一种可能的设计中，对交织权重矩阵的处理包括：先对交织权重矩阵进行稀疏化，得到稀疏化权重矩阵；再对该稀疏化权重矩阵进行分块，得到多个稀疏化分块权重矩阵。在一种可能的设计中，交织该输入信号矩阵和交织该权重矩阵遵循相同的交织规则。在一种可能的设计中，该待处理信号包括语音信号、文本信号或图像信号中的至少一项。在一种可能的设计中，该输入信号矩阵来自神经网络的输入层或中间层。在一种可能的设计中，该信号处理结果去往神经网络的输出层或中间层。在一种可能的设计中，该多个分块信号矩阵和该多个稀疏化分块权重矩阵满足矩阵乘规则。在一种可能的设计中，该多个分块信号矩阵的个数与该多个稀疏化分块权重矩阵的个数相同。在一种可能的设计中，该方法还包括：对该多个矩阵乘运算结果进行组合，得到该信号处理结果。在一种可能的设计中，该输出信号处理结果包括：将该多个矩阵乘运算结果作为整体输出，以形成该信号处理结果。本申请第二方面提供了一种信号处理装置，包括：第一输入模块，用于接收输入信号矩阵，该输入信号矩阵包括多个计算机可处理的待处理信号；第二输入模块，用于接收权重矩阵，该权重矩阵包括多个权重系数；第一交织模块，用于交织输入信号矩阵，得到交织信号矩阵；第一分块模块，用于分块该交织信号矩阵，得到多个分块信号矩阵；第二交织模块，用于交织权重矩阵，得到交织权重矩阵；处理模块，用于处理该交织权重矩阵，得到多个稀疏化分块权重矩阵；矩阵乘模块，用于将多个稀疏化分块权重矩阵与多个分块信号矩阵进行矩阵乘运算得到多个矩阵乘运算结果，其中，每个稀疏化分块权重矩阵与对应于该稀疏化分块权重矩阵的分块信号矩阵进行矩阵乘运算得到一个矩阵乘运算结果，每个矩阵乘运算结果包括多个计算机可处理的输出信号；输出模块，用于输出信号处理结果，其中该信号处理结果包括上述的多个矩阵乘运算结果。在一种可能的设计中，对交织权重矩阵进行处理的处理模块包括：第二分块模块和稀疏化模块，第二分块模块在稀疏化模块之前，先在第二分块模块中对交织权重矩阵进行分块，得到多个分块权重矩阵；然后在稀疏化模块中对该多个分块权重矩阵进行稀疏化，得到多个稀疏化分块权重矩阵。在一种可能的设计中，对交织权重矩阵进行处理的处理模块还可以包括：第二分块模块和稀疏化模块，稀疏化模块在第二分块模块之前，先在稀疏化模块中对交织权重矩阵进行稀疏化，得到稀疏化权重矩阵；然后在第二分块模块中对该稀疏化权重矩阵进行分块，得到多个稀疏化分块权重矩阵。在一种可能的设计中，该第一交织模块与该第二交织模块遵循相同的交织规则。在一种可能的设计中，该待处理信号包括语音信号、文本信号或图像信号中的至少一项。在一种可能的设计中，该输入信号矩阵来自神经网络的输入层或中间层。在一种可能的设计中，该信号处理结果去往神经网络的输出层或中间层。在一种可能的设计中，该第一分块模块与该第二分块模块遵循相同的分块规则。在一种可能的设计中，该多个分块信号矩阵和该多个稀疏化分块权重矩阵满足矩阵乘规则。本申请第三方面提供了一种信号处理装置，包括：输入接口，用于接收输入信号矩阵，该输入信号矩阵包括多个计算机可处理的待处理信号，以及用于接收权重矩阵，该权重矩阵包括多个权重系数；处理器，被配置为可处理如下操作：交织输入信号矩阵，得到交织信号矩阵；分块该交织信号矩阵，得到多个分块信号矩阵；交织该权重矩阵，得到交织权重矩阵；处理该交织权重矩阵，得到多个稀疏化分块权重矩阵；将该多个稀疏化分块权重矩阵与该多个分块信号矩阵进行矩阵乘运算得到多个矩阵乘运算结果，其中，每个稀疏化分块权重矩阵与对应于该稀疏化分块权重矩阵的分块信号矩阵进行矩阵乘运算得到一个矩阵乘运算结果，每个矩阵乘运算结果包括多个计算机可处理的输出信号；输出接口，用于输出信号处理结果，其中该信号处理结果包括上述的多个矩阵乘运算结果。在一种可能的设计中，处理该交织权重矩阵，得到多个稀疏化分块权重矩阵包括：先对交织权重矩阵进行分块，得到多个分块权重矩阵；再对该多个分块权重矩阵进行稀疏化，得到该多个稀疏化分块权重矩阵。在一种可能的设计中，处理该交织权重矩阵，得到多个稀疏化分块权重矩阵包括：先对交织权重矩阵进行稀疏化，得到稀疏化权重矩阵；再对该稀疏化权重矩阵进行分块，得到该多个本文档来自技高网...

【技术保护点】
1.一种信号处理方法，其特征在于，包括：接收输入信号矩阵，所述输入信号矩阵包括多个计算机可处理的待处理信号；接收权重矩阵，所述权重矩阵包括多个权重系数；交织所述输入信号矩阵，得到交织信号矩阵；分块所述交织信号矩阵，得到多个分块信号矩阵；交织所述权重矩阵，得到交织权重矩阵；处理所述交织权重矩阵，得到多个稀疏化分块权重矩阵；将所述多个稀疏化分块权重矩阵与所述多个分块信号矩阵进行矩阵乘运算得到多个矩阵乘运算结果，其中，每个稀疏化分块权重矩阵与对应于该稀疏化分块权重矩阵的分块信号矩阵进行矩阵乘运算得到一个矩阵乘运算结果，每个矩阵乘运算结果包括多个计算机可处理的输出信号；输出信号处理结果，其中所述信号处理结果包括所述多个矩阵乘运算结果。

【技术特征摘要】
1.一种信号处理方法，其特征在于，包括：接收输入信号矩阵，所述输入信号矩阵包括多个计算机可处理的待处理信号；接收权重矩阵，所述权重矩阵包括多个权重系数；交织所述输入信号矩阵，得到交织信号矩阵；分块所述交织信号矩阵，得到多个分块信号矩阵；交织所述权重矩阵，得到交织权重矩阵；处理所述交织权重矩阵，得到多个稀疏化分块权重矩阵；将所述多个稀疏化分块权重矩阵与所述多个分块信号矩阵进行矩阵乘运算得到多个矩阵乘运算结果，其中，每个稀疏化分块权重矩阵与对应于该稀疏化分块权重矩阵的分块信号矩阵进行矩阵乘运算得到一个矩阵乘运算结果，每个矩阵乘运算结果包括多个计算机可处理的输出信号；输出信号处理结果，其中所述信号处理结果包括所述多个矩阵乘运算结果。2.根据权利要求1所述方法，其特征在于，所述处理所述交织权重矩阵，得到多个稀疏化分块权重矩阵包括：分块所述交织权重矩阵，得到多个分块权重矩阵；稀疏化所述多个分块权重矩阵，得到所述多个稀疏化分块权重矩阵。3.根据权利要求1所述方法，其特征在于，所述处理所述交织权重矩阵，得到多个稀疏化分块权重矩阵包括：稀疏化所述交织权重矩阵，得到稀疏化权重矩阵；分块所述稀疏化权重矩阵，得到所述多个稀疏化分块权重矩阵。4.根据权利要求1至3中任一项所述方法，其特征在于，交织所述输入信号矩阵和交织所述权重矩阵遵循相同的交织规则。5.根据权利要求1至4中任一项所述方法，其特征在于，所述待处理信号包括语音信号、文本信号或图像信号中的至少一项。6.根据权利要求1至5中任一项所述方法，其特征在于，所述输入信号矩阵来自神经网络的输入层或中间层。7.根据权利要求1至6中任一项所述方法，其特征在于，所述信号处理结果去往神经网络的输出层或中间层。8.一种信号处理装置，其特征在于，包括：第一输入模块，用于接收输入信号矩阵，所述输入信号矩阵包括多个计算机可处理的待处理信号；第二输入模块，用于接收权重矩阵，所述权重矩阵包括多个权重系数；第一交织模块，用于交织所述输入信号矩阵，得到交织信号矩阵；第一分块模块，用于分块所述交织信号矩阵，得到多个分块信号矩阵；第二交织模块，用于交织所述权重矩阵，得到交织权重矩阵；处理模块，用于处理所述交织权重矩阵，得到多个稀疏化分块权...

【专利技术属性】
技术研发人员：许若圣，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44