一种神经网络模型的计算方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种神经网络模型的计算方法、装置、设备及存储介质。该方法包括：将输入数据集加载至目标芯片高级缓存区中；将输入数据集中数据搬运至低级缓存区再搬运至计算单元，进行一维DFT运算得到一半数据量的第一DFT结果，根据结果的共轭对称性得到第一输入DFT运算结果；再进行一维DFT运算得到一半数据量的第二DFT结果，根据结果的中心共轭对称性得到第二输入DFT运算结果；从目标级缓存区搬运共享卷积核DFT运算结果至低级缓存区，再搬运至计算单元，对各第二输入DFT运算结果以及共享卷积核DFT运算结果进行运算，得到卷积运算结果，进行神经网络模型计算。该方法可以提高目标芯片的运算速度。以提高目标芯片的运算速度。以提高目标芯片的运算速度。

【技术实现步骤摘要】
一种神经网络模型的计算方法、装置、设备及存储介质


[0001]本专利技术涉及深度学习
，尤其涉及一种神经网络模型的计算方法、装置、设备及存储介质。

技术介绍

[0002]随着深度学习技术的发展，卷积神经网络以其局部感知，权重共享等优点在图像识别等领域有着越来越多的应用，出现了很多更加复杂的网络结构。然而近年来，许多领域如自动驾驶，实时车辆检测等领域对神经网络推理的实时性能的要求越来越高，而卷积算子的计算在卷积神经网络的总计算量中的占比很高，是整个网络的性能瓶颈。
[0003]传统的快速傅里叶变换(fast Fourier transform，FFT)算法是对卷积计算加速的一种通用算法，一般通过蝶形变换将时间复杂度从O(N2)降低为O(NLogN)，其中N为待计算序列的长度，一般取值为2的幂次方。N非常大时，这一优化在时间维度上提升是非常显著的。
[0004]但在2D卷积实际运用场景中，受限于芯片缓存容量和实际的硬件指令，一方面N无法取值太大导致带来加速比有限。同时AI芯片指令层面往往对2D矩阵计算支持较好，蝶形变换带来理论本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的计算方法，其特征在于，包括：将神经网络模型的输入特征图对应的至少一个输入数据集加载至目标芯片的高级缓存区中；其中，各所述输入数据集的数据维度为2N+1，N为自然数；将所述高级缓存区中各所述输入数据集中的数据，逐级搬运至低级缓存区；并将所述低级缓存区中的目标输入数据搬运至计算单元；通过所述计算单元对所述目标输入数据进行一维行或者列离散傅里叶变换DFT运算，得到前N+1个第一DFT结果，或者第一个及后N个第一DFT结果；并根据第一DFT结果的共轭对称性得到各所述输入数据集的第一输入DFT运算结果；通过计算单元对各所述第一输入DFT运算结果进行一维列或行DFT运算，得到前N+1个第二DFT结果，或者第一个及后N个第二DFT结果；并根据第二DFT结果的中心共轭对称性得到各所述输入数据集的第二输入DFT运算结果；从存储神经网络模型共享卷积核DFT运算结果的目标级缓存区逐级搬运所述共享卷积核DFT运算结果至低级缓存区；将所述低级缓存区中的所述共享卷积核DFT运算结果搬运至计算单元，通过所述计算单元对各所述第二输入DFT运算结果以及所述共享卷积核DFT运算结果进行运算，得到卷积运算结果，并根据所述卷积运算结果进行神经网络模型计算。2.根据权利要求1所述的方法，其特征在于，在将神经网络模型的输入特征图对应的至少一个输入数据集加载至目标芯片的高级缓存区中之前，还包括：根据所述神经网络模型中卷积核的维度尺寸以及所述目标芯片的各级缓存区容量，对所述输入特征图进行切分，得到维度为奇数的输入特征块；提取各所述输入特征块对应的特征数据，得到各输入数据集。3.根据权利要求1所述的方法，其特征在于，在从存储神经网络模型共享卷积核DFT运算结果的目标级缓存区逐级搬运所述共享卷积核DFT运算结果至低级缓存区之前，还包括：将所述神经网络模型的卷积核对应的至少一个卷积核数据集加载至目标芯片的高级缓存区中；其中，各所述卷积核数据集的数据维度为2M+1，M为自然数；将所述高级缓存区中各卷积核数据集中的数据，逐级搬运至低级缓存区；并将所述低级缓存区中的目标卷积核数据搬运至计算单元；通过所述计算单元对所述目标卷积核数据进行一维行或者列DFT运算，得到前M+1个第三DFT结果，或者第一个及后M个第三DFT结果；并根据第三DFT结果的共轭对称性得到各所述卷积核数据集的第一卷积核DFT运算结果；通过计算单元对各所述第一卷积核DFT运算结果进行一维列或行DFT运算，得到前M+1个第四DFT结果，或者第一个及后M个第四DFT结果；并根据第四DFT结果的中心共轭对称性得到各所述卷积核数据集的第二卷积核DFT运算结果；将所述第二卷积核DFT运算结果搬运至低级缓存区，并逐级搬运至目标级缓存区，作为神经网络模型的共享卷积核DFT运算结果。4.根据权利要求3所述的方法，其特征在于，通过所述计算单元对各所述第二输入DFT运算结果以及所述共享卷积核DFT运算结果进行运算，得到卷积运算结果，包括：通过所述计算单元对各所述第二输入DFT运算结果以及所述共享卷积核DFT运算结果分别进行对位点乘运算，得到多个点乘结果；
通过所述计算单元对各所述点乘结果进行离散傅里叶逆变换IDFT运算，得到卷积运算结果。5.根据权利要求4所述的方法，其特征在于，通过所述计算单元对各所述点乘结果进行IDFT运算，得到卷积运算结果，包括：通过所述计算单元对各所述点乘结果进行一维列或行IDFT运算，得到前N+1个第一IDFT结果，或者第一个及后N个第一IDFT结果；并根据...

【专利技术属性】
技术研发人员：王效文，张亚林，尉迟博文，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：