基于中间层特征图压缩的卷积方法、模型及计算机设备技术

本申请涉及神经网络技术领域，提供一种基于中间层特征图压缩的卷积方法、模型及计算机设备，所述基于中间层特征图压缩的卷积方法，不依赖中间层特征图本身的稀疏性，采用量化及稀疏矩阵压缩对数据量较大的中间层特征图进行阵压缩，降低对硬件存储空间的要求及处理器的能耗，提升处理器的件吞吐率，从根本上解决处理器存储以及数据搬运的问题。处理器存储以及数据搬运的问题。处理器存储以及数据搬运的问题。

【技术实现步骤摘要】
基于中间层特征图压缩的卷积方法、模型及计算机设备


[0001]本申请涉及神经网络
，尤其涉及一种基于中间层特征图压缩的卷积方法、模型及计算机设备。

技术介绍

[0002]随着神经网络技术的发展与成熟，神经网络技术的应用领域越来越广，例如在工业领域，利用训练好的神经网络模型进行图片识别，对工业场景或者工业产品进行分类，相比于人工，分类神经网络不仅可以高效率的完成工作，而且极大的提高了准确率。
[0003]但是，嵌入式系统或物联网终端部署神经网络模型，由于输入神经网络模型的图片较大，在卷积过程中，中间层特征图数据量也会很大，将会造成了较高的片上存储需求以及较高的片上与片下的数据传输量，导致处理器的功耗较高，吞吐率下降。
[0004]在现有技术中，为了降低处理器的功耗，提高处理器的吞吐率，主要聚焦于神经网络模型的压缩和网络权重的压缩，但是，以上压缩方法对于特征图的压缩，无法得到较好的结果，此外，还存在一些技术方案，利用特征图的稀疏性来减少片上存储及数据搬运，但由于神经网络算法不断的发展，权重的稀疏性减少，激活函数ReLU被Leaky ReLU/PReLU等取代，导致特征图几乎不具有稀疏性，从而导致利用特征图稀疏性设计的硬件架构不仅不能带来提升，反而造成一些不必要的浪费，例如稀疏矩阵压缩的索引。

技术实现思路

[0005]针对中间层特征图数据量较大，且中间层特征图不具有稀疏性的卷积推理，为了降低处理器的功耗，提高处理器的吞吐率，本申请提供一种基于中间层特征图压缩的卷积方法、卷积模型及计算机设备。
[0006]本申请第一方面提供一种基于中间层特征图压缩的卷积方法，包括：
[0007]S101，获取输入图像；
[0008]S102，对所述输入图像进行预处理，所述预处理为高斯滤波处理；
[0009]S103，将预处理后的输入图像作为第一个硬件融合算子的输入，进行推理运算，获得第一个硬件融合算子的中间层特征图，所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；
[0010]S104，判断中间层特征图的数据量是否大于预设的阈值，若中间层特征图的数据量小于或等于预设的阈值，则直接存储所述中间层特征图；若中间层特征图的数据量大于预设的阈值，则对中间层特征图进行量化及稀疏矩阵压缩，并存储经过量化及稀疏矩阵压缩后的中间层特征图；
[0011]S105，提取S104中存储的中间层特征图或量化及稀疏矩阵压缩后的中间层特征图，并作为下一个硬件融合算子的推理运算的输入，获得下一个硬件融合算子的中间层特征图；
[0012]S106，重复S104至S105，直至所有硬件融合算子完成推理运算，获得最终的输出结
果。
[0013]可选的，在对中间层特征图进行量化及稀疏矩阵压缩的步骤之前，还包括：对所述中间层特征图进行DCT变换，获得DCT变换后的中间层特征图。
[0014]可选的，在所述提取所述中间层特征图或稀疏量化后的中间层特征图的步骤之后，还包括：
[0015]对所述中间层特征图进行IDCT变换，或对稀疏量化后的中间层特征图进行恢复量化和IDCT变换。
[0016]本申请第二方面提供另一种基于中间层特征图压缩的卷积方法，包括：
[0017]获取输入图像；
[0018]对所述输入图像进行预处理，所述预处理为高斯滤波处理；
[0019]将预处理后的输入图像作为多个硬件融合算子中第一个硬件融合算子的输入，依次进行多个硬件融合算子的推理运算，获得多个中间层特征图以及最终的输出结果；所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；
[0020]其中，所述硬件融合算子包括第一类硬件融合算子和第二类硬件融合算子，所述第一类硬件融合算子的中间层特征图，在存储前均经过量化及稀疏矩阵压缩，所述第二类硬件融合算子的中间层特征图采用直接存储方式进行存储。
[0021]本申请第三方面提供一种基于中间层特征图压缩的卷积模型,用于执行本申请第三方面提供的一种基于中间层特征图压缩的卷积方法，包括：输入端，用于获取输入图像；预处理模块；用于对输入图像进行高斯滤波处理；
[0022]多个硬件融合算子，用于获得多个中间层特征图以及最终输出矩阵，所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；
[0023]数据量判断模块，用于判断中间层特征图的数据量是否大于预设的阈值；量化及稀疏矩阵模块，用于对中间层特征图进行量化及稀疏矩阵压缩；存储模块，用于存储中间层特征图或经过量化及稀疏矩阵压缩后的中间层特征图；输出端，用于输出最终的输出结果。
[0024]可选的，还包括：DCT变换模块，用于对所述中间层特征图进行DCT变换。
[0025]可选的，还包括：IDCT变换模块，用于对所述中间层特征图进行IDCT变换；解压缩及恢复量化模块，用于对量化及稀疏矩阵压缩后的中间层特征图进行解压缩及恢复量化。
[0026]本申请第四方面提供一种基于中间层特征图压缩的卷积模型,用于执行本申请第二方面提供的一种基于中间层特征图压缩的卷积方法，包括：输入端，用于获取输入图像；预处理模块；用于对输入图像进行高斯滤波处理；
[0027]多个硬件融合算子，用于将输入图像作为输入，获取多个中间层特征图及最终的输出结果，所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；
[0028]量化及稀疏矩阵模块，用于对中间层特征图进行量化及稀疏矩阵压缩；存储模块，用于存储中间层特征图或经过量化及稀疏矩阵压缩后的中间层特征图；输出端，用于输出最终的输出结果。
[0029]本申请第五方面该提供一种计算机设备，包括：存储器，用于存储计算机程序；处
理器，用于执行所述计算机程序时实现本申请第一方面提供的一种基于中间层特征图压缩的卷积方法的步骤。
[0030]本申请第六方面还提供另一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现本申请第二方面提供的一种基于中间层特征图压缩的卷积方法的步骤。
[0031]本申请实施例提供的基于中间层特征图压缩的卷积方法、模型及计算机设备，不依赖中间层特征图本身的稀疏性，采用量化及稀疏矩阵压缩对数据量较大的中间层特征图进行阵压缩，降低对硬件存储空间的要求及处理器的能耗，提升处理器的件吞吐率，从根本上解决处理器存储以及数据搬运的问题。
附图说明
[0032]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于中间层特征图压缩的卷积方法，其特征在于，包括：S101，获取输入图像；S102，对所述输入图像进行预处理，所述预处理为高斯滤波处理；S103，将预处理后的输入图像作为第一个硬件融合算子的输入，进行推理运算，获得第一个硬件融合算子的中间层特征图，所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；S104，判断中间层特征图的数据量是否大于预设的阈值，若中间层特征图的数据量小于或等于预设的阈值，则直接存储所述中间层特征图；若中间层特征图的数据量大于预设的阈值，则对中间层特征图进行量化及稀疏矩阵压缩，并存储经过量化及稀疏矩阵压缩后的中间层特征图；S105，提取S104中存储的中间层特征图或量化及稀疏矩阵压缩后的中间层特征图，并作为下一个硬件融合算子的推理运算的输入，获得下一个硬件融合算子的中间层特征图；S106，重复S104至S105，直至所有硬件融合算子完成推理运算，获得最终的输出结果。2.根据权利要求1所述的基于中间层特征图压缩的卷积方法,其特征在于，在对中间层特征图进行量化及稀疏矩阵压缩的步骤之前，还包括：对所述中间层特征图进行DCT变换，获得DCT变换后的中间层特征图。3.根据权利要求2所述的基于中间层特征图压缩的卷积方法,其特征在于，在所述提取所述中间层特征图或量化及稀疏矩阵压缩后的中间层特征图的步骤之后，还包括：若提取的中间中间层特征图经过量化及稀疏矩阵压缩，则对量化及稀疏矩阵压缩后的中间层特征图进行解压缩恢复量化和IDCT变换。4.基于中间层特征图压缩的卷积方法，其特征在于，包括：获取输入图像；对所述输入图像进行预处理，所述预处理为高斯滤波处理；将预处理后的输入图像作为多个硬件融合算子中第一个硬件融合算子的输入，依次进行多个硬件融合算子的推理运算，获得多个中间层特征图以及最终的输出结果；所述硬件融合算子至少包括卷积层、池化层、BN层或Relu层中的任意一层，且若硬件融合算子包括卷积层，则所述卷积层处于第一层；其中，所述硬件融合算子包括第一类硬件融合算子和第二类硬件融合算子，所述第一类硬件融合算子的中间层特征图，在存储前均经过量化及稀疏矩阵压缩，所述第二类硬件融合算子的中间层特征图采用直接存储方式进行存储。5.基于中间层特征图压缩的卷积模型,其特征在...

【专利技术属性】
技术研发人员：杜力，杜源，黄一珉，邵壮，
申请(专利权)人：南京大学，
类型：发明
国别省市：