The invention discloses an image processing method, device, storage medium and device, which belongs to the field of deep learning. The methods include: for each convolution layer of the preset convolution neural network, the feature map of the input convolution layer is obtained; the first preprocessing of the feature map is carried out, and the first matrix is generated according to the preprocessed feature map; the continuous feature data used in the preprocessed feature graph is arranged in the adjacent position of the first matrix; and the convolution is processed. The weights of at least one convolution core of the layer are preprocessed in a second way, and the second matrix is generated according to the preprocessed weights. The successive weights used in the preprocessed weights are arranged in the adjacent positions of the second matrix; the outer product operation is performed on each row element of the first matrix and the second matrix, and the outer product operation is performed on the resulting outer product operation. After third preprocessing, the convolution result of convolution layer output is obtained. In the implementation of Winograd convolution acceleration, the computational density and memory access efficiency are effectively improved, and the complexity of hardware implementation is reduced.
【技术实现步骤摘要】
图像处理方法、装置、存储介质及设备
本专利技术涉及深度学习
，特别涉及一种图像处理方法、装置、存储介质及设备。
技术介绍
卷积神经网络作为一项深度学习技术目前已被广泛应用在图像处理领域。在图像处理时，将待处理图像输入到训练好的卷积神经网络后，卷积神经网络通过多个卷积层的卷积运算对待处理图像进行特征提取，并基于提取到的特征对待处理图像进行分类或识别等处理。众所周知，卷积运算的复杂度较高，因此相关技术通常采取加速方案来完成卷积运算，比如，鉴于winograd卷积方式能够大大降低卷积运算的复杂度，目前常采取winograd卷积方式来完成卷积运算加速。以上虽然实现了卷积运算加速，但是随之会带来另一个问题：winograd卷积方式对硬件资源的要求较高，比如需要较高的内存带宽，这大幅地增加了硬件复杂度和功耗，进而严重地限制了图像处理的应用场景，为此，在硬件资源有限的设备上，如何以winograd加速卷积方式完成图像处理，成为了本领域技术人员亟待解决的一个问题。其中，硬件资源有限的设备包括但不限于：移动终端、低端的FPGA(Field-ProgrammableGateAr...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：对于预设卷积神经网络的每一个卷积层，获取输入所述卷积层的特征图，所述预设卷积神经网络用于根据待处理图像的特征图进行图像处理，所述特征图中携带了所述待处理图像的特征信息；对所述特征图进行第一预处理，并根据预处理后的特征图生成第一矩阵，所述预处理后的特征图中连续使用的特征数据被排布于所述第一矩阵中的相邻位置；对所述卷积层的至少一个卷积核的权重进行第二预处理，并根据预处理后的权重生成第二矩阵，所述预处理后的权重中连续使用到的权重被排布于所述第二矩阵的相邻位置；对所述第一矩阵和所述第二矩阵中的每行元素执行外积操作，在对得到的外积运算结...
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：对于预设卷积神经网络的每一个卷积层，获取输入所述卷积层的特征图，所述预设卷积神经网络用于根据待处理图像的特征图进行图像处理，所述特征图中携带了所述待处理图像的特征信息；对所述特征图进行第一预处理，并根据预处理后的特征图生成第一矩阵，所述预处理后的特征图中连续使用的特征数据被排布于所述第一矩阵中的相邻位置；对所述卷积层的至少一个卷积核的权重进行第二预处理，并根据预处理后的权重生成第二矩阵，所述预处理后的权重中连续使用到的权重被排布于所述第二矩阵的相邻位置；对所述第一矩阵和所述第二矩阵中的每行元素执行外积操作，在对得到的外积运算结果进行第三预处理后，得到所述卷积层输出的卷积运算结果。2.根据权利要求1所述的方法，其特征在于，所述对所述卷积层的至少一个卷积核的权重进行第二预处理，并根据预处理后的权重生成第二矩阵，包括：按照i遍历1至N和j遍历1至channel_in，对卷积核gij的权重进行第二预处理，得到N*channel_in个矩阵；将N*channel_in个矩阵中的元素重新进行位置排布，得到所述第二矩阵；其中，i指代第i个输出通道，j指代第j个输入通道，N为选定的输出通道数，N＜channel_out，channel_in和channel_out分别为所述卷积核gij对应的输入通道总数和输出通道总数。3.根据权利要求2所述的方法，其特征在于，所述将N*channel_in个矩阵中的元素重新进行位置排布，包括：将N*channel_in个矩阵中位于相同输入通道且相同位置上的N个元素排布在相邻位置；对于得到的排布结果，将位于相邻两个输入通道的N个元素排布在相邻位置，使得位于相同位置上的N*channel_in个元素排布在所述第二矩阵的同一行。4.根据权利要求1所述的方法，其特征在于，所述基于所述特征图生成第一矩阵，包括：对于channel_in个输入通道，在每一个输入通道对应的特征图中顺序选取M个特征块，得到M*channel_in个特征块；按照i遍历1至M和j遍历1至channel_in，对特征块dij进行预处理，得到M*channel_in个矩阵；将M*channel_in个矩阵中的元素重新进行位置排布，得到所述第一矩阵；其中，i指代第i个输出通道，j指代第j个输入通道，channel_in为所述特征块dij对应的输入通道总数。5.根据权利要求4所述的方法，其特征在于，所述按照所述空间局域性原则，将M*channel_in个矩阵中的元素重新进行位置排布，包括：将M*channel_in个矩阵中位于同一输入通道且同一位置上的M个元素排布在相邻位置；对于得到的排布结果，将位于相邻两个输入通道的M个元素排布在相邻位置，使得位于相同位置上的M*channel_in个元素排布在所述第一矩阵的同一行。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述第一矩阵以及所述第二矩阵存储至片上内存；将所述卷积层输出的卷积运算结果传输至片外内存。7.根据权利要求6所述的方法，其特征在于，所述第一矩阵和所述第二矩阵的行数相同，所述对所述第一矩阵和所述第二矩阵中的每行元素执行外积操作，包括：从所述片上内存读取所述第一矩阵和所述第二矩阵；对于所述第一矩阵和所述第二矩阵中行数相同的任意两行元素，在所述第一矩阵的行中选取N个元素组成第一矢量，在所述第二矩阵的行中选取M个元...
【专利技术属性】
技术研发人员：戴彦，李彦融，姚达，
申请(专利权)人：腾讯科技深圳有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。