数据处理方法及设备、处理芯片技术

本发明专利技术实施例提供了一种数据处理方法及设备、处理芯片，涉及数据处理技术领域。数据处理方法包括：将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号；在脉冲神经网络的多层被依次映射到处理芯片时，处理芯片基于多个脉冲周期的输入脉冲信号，得到在各脉冲周期内脉冲神经网络的输出脉冲信号；根据各脉冲周期内脉冲神经网络的输出脉冲信号，得到音视频信号经过脉冲神经网络处理后的处理结果。本发明专利技术中，在利用脉冲神经网络对包括多个脉冲周期的输入脉冲信号的处理时，先对周期进行流线运算，然后再对层进行流线运算，从而能够利用单个处理芯片实现复杂脉冲神经网络的流线运算，降低了对处理芯片的算力要求。降低了对处理芯片的算力要求。降低了对处理芯片的算力要求。

【技术实现步骤摘要】
数据处理方法及设备、处理芯片


[0001]本专利技术涉及数据处理
，具体涉及一种数据处理方法及设备、处理芯片。

技术介绍

[0002]深度神经网络(Deep Neural Networks，简称DNN)的研究近年来取得了飞速发展并得到初步应用。然而深度神经网络算法通常需要消耗大量的算力，大量的算力消耗也会带来更大的功耗，例如经典的深度卷积网络(CNN)模型AlexNet，需要进行至少7.2亿次的乘法运算，一般功耗在10瓦到100瓦左右。
[0003]为了提升分类精度，深度神经网络的结构也越来越复杂，目前已经出现超过了1000层的深度神经网络，即使在边缘端，深度神经网络一般都需要50层左右。由于芯片算力资源和存储资源的限制，在对复杂的深度神经网络进行硬件加速时，由于芯片计算资源、存储资源的限制，很少能够将整个深度神经网络一次性映射到芯片上。目前一般会采用流线化运算方式，例如将第一层映射到芯片上，芯片进行运算，同时将第二层的权重准备好，芯片将第一层算完后，进行第二层运算。以此类推，直到全部层运算完毕。
[0004]脉冲神经网络(Spiking Neural Network，简称SNN)近年来以其低功耗和更接近人脑的特点吸引了学术界和产业界的关注。在脉冲神经网络中，轴突是接收脉冲的单元，神经元是发送脉冲的单元，一个神经元通过树突连接到多个轴突，树突和轴突的连接点称为突触。轴突接收到脉冲后，所有和这一轴突有突触连接的树突会收到脉冲，进而影响到树突下游神经元。神经元将来自多个轴突的脉冲相加并与之前的膜电压累加，如果数值超过阈值，就向下游发送一个脉冲。脉冲神经网络内传播的是1比特的脉冲，脉冲的激活频率比较低，并且只需要加减法运算，没有乘法运算，算力消耗和功耗都较深度神经网络更低；由此，可以将深度神经网络脉冲化转成脉冲神经网络，从而能够充分利用脉冲神经网络的低功耗优势。
[0005]然而，用脉冲神经网络硬件对脉冲化后的深度神经网络进行加速时，也遇到资源不足的问题。若脉冲化后的深度神经网络的规模较大，需要将该网络映射到多片芯片，多片芯片并行工作，则会导致成本过高的问题。

技术实现思路

[0006]本专利技术的目的是提供了一种数据处理方法及设备、处理芯片，在利用脉冲神经网络对包括多个脉冲周期的输入脉冲信号的处理时，先对周期进行流线运算，然后再对层进行流线运算，从而能够利用单个处理芯片实现复杂脉冲神经网络的流线运算，降低了对处理芯片的算力要求；同时，适用于深度神经网络脉冲化得到的脉冲神经网络，避免了复杂网络需要映射到多个芯片带来的成本消耗。
[0007]为实现上述目的，本专利技术提供了一种数据处理方法，包括：将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号；在脉冲神经网络的多层被依次映射到处理芯片时，所述处理芯片基于多个脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述
脉冲神经网络的输出脉冲信号；根据各所述脉冲周期内所述脉冲神经网络的输出脉冲信号，得到所述音视频信号经过所述脉冲神经网络处理后的处理结果。
[0008]本专利技术还提供了一种处理芯片，用于执行上述的数据处理方法。
[0009]本专利技术还提供了一种数据处理设备，包括：上述的处理芯片。
[0010]本专利技术实施例中，先将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号，在脉冲神经网络的多层被依次映射到处理芯片时，处理芯片基于多个脉冲周期的输入脉冲信号，得到在各脉冲周期内脉冲神经网络的输出脉冲信号，继而再根据多个脉冲周期内脉冲神经网络的输出脉冲信号，得到音视频信号经过脉冲神经网络处理后的处理结果。即在利用脉冲神经网络对包括多个脉冲周期的输入脉冲信号的处理时，先对周期进行流线运算，然后再对层进行流线运算，从而能够利用单个处理芯片实现复杂脉冲神经网络的流线运算，降低了对处理芯片的算力要求；同时，适用于深度神经网络脉冲化得到的脉冲神经网络，避免了复杂网络需要映射到多个芯片带来的成本消耗。
[0011]在一个实施例中，在脉冲神经网络的多层被依次映射到处理芯片时，所述处理芯片基于多个脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的输出脉冲信号，包括：在脉冲神经网络的第一层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的第一层的膜电压与输出脉冲信号；在脉冲神经网络的第M层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号以及各所述脉冲周期内所述脉冲神经网络的第M层的膜电压，得到在各所述脉冲周期内所述脉冲神经网络的第M层的膜电压与输出脉冲信号，M为大于1的整数。
[0012]在一个实施例中，在脉冲神经网络的第一层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的第一层的膜电压与输出脉冲信号，包括：在脉冲神经网络的第一层被映射到处理芯片时，在所述输入脉冲信号的第一个脉冲周期，所述处理芯片将第一个脉冲周期的所述输入脉冲信号与所述脉冲神经网络的第一层的权重的相乘，得到所述第一个脉冲周期内所述脉冲神经网络的第一层的膜电压；基于所述第一个脉冲周期内所述脉冲神经网络的第一层的膜电压与预设的膜电压阈值，得到在所述第一个脉冲周期内所述脉冲神经网络的第一层的输出脉冲信号；在所述输入脉冲信号的第N个脉冲周期，所述处理芯片计算在第N个脉冲周期内所述脉冲神经网络的第一层的输入脉冲信号与所述脉冲神经网络的第一层的权重的乘积，N为大于1的整数；计算所述乘积与第N
‑
1个脉冲周期内所述脉冲神经网络的第一层的膜电压的和，作为所述第N个脉冲周期内所述脉冲神经网络的第一层的膜电压；并基于所述第N个脉冲周期内所述脉冲神经网络的第一层的膜电压与预设的膜电压阈值，得到在所述第N个脉冲周期内所述脉冲神经网络的第一层的输出脉冲信号。
[0013]在一个实施例中，在脉冲神经网络的第M层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号以及各所述脉冲周期内所述脉冲神经网络的第M层的膜电压，得到在各所述脉冲周期内所述脉冲神经网络的第M层的膜电压与输出脉冲信号，包括：在脉冲神经网络的第M层被映射到处理芯片时，在所述输入脉冲信号的第一个脉冲周期，所述处理芯片将第一个脉冲周期内所述脉冲神经网络的第M
‑
1层的输出脉冲信号与所述脉冲神经网络的第M层的权重的相乘，得到所述第一个脉冲周期内所述脉冲神经网
络的第M层的膜电压；基于所述第一个脉冲周期内所述脉冲神经网络的第M层的膜电压与预设的膜电压阈值，得到在所述第一个脉冲周期内所述脉冲神经网络的第M层的输出脉冲信号；在所述输入脉冲信号的第N个脉冲周期，所述处理芯片计算在第N个脉冲周期内所述脉冲神经网络的第M
‑
1层的输出脉冲信号与所述脉冲神经网络的第M层的权重的乘积，N为大于1的整数；计算所述乘积与第N
‑
1个脉冲周期内所述脉冲神经网络的第M层的膜电压的和，作为所述第N个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号；在脉冲神经网络的多层被依次映射到处理芯片时，所述处理芯片基于多个脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的输出脉冲信号；根据各所述脉冲周期内所述脉冲神经网络的输出脉冲信号，得到所述音视频信号经过所述脉冲神经网络处理后的处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，在脉冲神经网络的多层被依次映射到处理芯片时，所述处理芯片基于多个脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的输出脉冲信号，包括：在脉冲神经网络的第一层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的第一层的膜电压与输出脉冲信号；在脉冲神经网络的第M层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号以及各所述脉冲周期内所述脉冲神经网络的第M层的膜电压，得到在各所述脉冲周期内所述脉冲神经网络的第M层的膜电压与输出脉冲信号，M为大于1的整数。3.根据权利要求2所述的数据处理方法，其特征在于，在脉冲神经网络的第一层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的第一层的膜电压与输出脉冲信号，包括：在脉冲神经网络的第一层被映射到处理芯片时，在所述输入脉冲信号的第一个脉冲周期，所述处理芯片将第一个脉冲周期的所述输入脉冲信号与所述脉冲神经网络的第一层的权重的相乘，得到所述第一个脉冲周期内所述脉冲神经网络的第一层的膜电压；基于所述第一个脉冲周期内所述脉冲神经网络的第一层的膜电压与预设的膜电压阈值，得到在所述第一个脉冲周期内所述脉冲神经网络的第一层的输出脉冲信号；在所述输入脉冲信号的第N个脉冲周期，所述处理芯片计算第N个脉冲周期的所述输入脉冲信号与所述脉冲神经网络的第一层的权重的乘积，N为大于1的整数；计算所述乘积与第N
‑
1个脉冲周期内所述脉冲神经网络的第一层的膜电压的和，作为所述第N个脉冲周期内所述脉冲神经网络的第一层的膜电压；并基于所述第N个脉冲周期内所述脉冲神经网络的第一层的膜电压与预设的膜电压阈值，得到在所述第N个脉冲周期内所述脉冲神经网络的第一层的输出脉冲信号。4.根据权利要求2所述的数据处理方法，其特征在于，在脉冲神经网络的第M层被映射到处理芯片时，所述处理芯片根据多个所述脉冲周期的所述输入脉冲信号以及各所述脉冲周期内所述脉冲神经网络的第M层的膜电压，得到在各所述脉冲周期内所述脉冲神经网络的第M层的膜电压与输出脉冲信号，包括：在脉冲神经网络的第M层被映射到处理芯片时，在所述输入脉冲信号的第一个脉冲周期，所述处理芯片将第一个脉冲周期内所述脉冲神经网络的第M
‑
1层的输出脉冲信号与所述脉冲神经网络的第M...

【专利技术属性】
技术研发人员：陈克林，吕正祥，朱文俊，杨力邝，袁抗，陈旭，梁龙飞，
申请(专利权)人：上海新氦类脑智能科技有限公司，
类型：发明
国别省市：