The present disclosure provides an image processing method and device based on a neural network, and a computer readable storage medium. The image processing method includes: inputting an image into an optimized neural network; extracting the image features of the image by the optimized neural network; and outputting the image features, wherein the optimized neural network performs the first optimization on at least one sublayer of the pre-trained initial neural network. The first optimization process includes: for each sub-layer in the at least one sub-layer, determining and removing the channels to be removed from the filter of the convolution layer, and optimizing the parameters of the remaining channels in the filter of the convolution layer. Number, which minimizes the error of the output characteristics of each sublayer optimized.
【技术实现步骤摘要】
图像处理方法和装置、计算机可读存储介质
本公开涉及图像处理领域，更具体地，本公开涉及基于神经网络的图像处理方法和装置、以及计算机可读存储介质。
技术介绍
神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测、图像语义分割、物体检测、动作追踪、自然语言翻译等。神经网络已被人工智能界广泛应用。在现代深度视觉识别等图像处理应用中，卷积神经网络(CNN)模型处于核心地位。然而，由于卷积网络通常需要巨大的计算量，因此为了将卷积神经网络模型应用到移动设备等低功耗的应用场景就必须对其进行化简。在用于图像处理的卷积神经网络的现有优化方案中，一些方案仅仅利用了卷积核本身的信息而没有利用各层输入数据分布的特点，一些方案使用在某些情况下不稳定、而且有落入局部极值的风险的随机梯度下降(SGD)作为优化的基本算法，另外一些方案只利用了通道的一些简单统计信息(如均值、方差等)，而没有考虑到通道与通道之间的交互效应，此外还有一些方案要求对优化的模型进行重新训练，优化过程十分耗时，而且使得调参变得很不方便。也就...
【技术保护点】
1.一种图像处理方法，包括：将图像输入经优化的神经网络；所述经优化的神经网络提取所述图像的图像特征；并且输出所述图像特征，其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：对于所述至少一个子层中的每个子层，确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
【技术特征摘要】
1.一种图像处理方法，包括：将图像输入经优化的神经网络；所述经优化的神经网络提取所述图像的图像特征；并且输出所述图像特征，其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：对于所述至少一个子层中的每个子层，确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。2.如权利要求1所述的图像处理方法，其中，所述经优化的神经网络是对所述初始神经网络中的所述至少一个子层执行所述第一优化处理，并对所述至少一个子层中每个子层的上一子层执行第二优化处理后得到的，所述第二优化处理包括：将所述每个子层的上一子层中与所述被移除的通道对应的滤波器移除。3.如权利要求1或2所述的图像处理方法，其中，所述确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余的通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：采用以下表达式(1)，选择从所述卷积层的滤波器中移除的通道，以及剩余的通道的参数，||β||0≤c′表达式(1)其中，N表示用于优化的样本数量，Y表示所述至少一个子层中的每个子层的所述原始输出特征，c表示所述至少一个子层中的每个子层的输入特征的原始通道数，c′表示预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数。4.如权利要求1或2所述的图像处理方法，其中，所述确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余的通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：基于稀疏最小二乘法，确定从所述卷积层的滤波器中移除的通道并移除；使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。5.如权利要求4所述的图像处理方法，其中，所述基于稀疏最小二乘法，确定从所述卷积层的滤波器中移除的通道并移除，包括：采用以下表达式(2)′，选择从所述每个卷积层的滤波器中移除的通道：||β||0≤c′表达式(2)′所述使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：采用以下表达式(3)′优化所述每个卷积层的滤波器中剩余通道的参数：其中，N表示用于优化的样本数量，Y表示所述至少一个子层中的每个子层的所述原始输出特征，c表示所述至少一个子层中的每个子层的输入特征的原始通道数，c′表示预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数，λ表示用于通道移除的掩码向量的惩罚系数，X′＝[β1X1β2X2…βiXi…βcXc]，W′＝[W1W2…Wi…Wc]，Zi＝XiWiT。6.如权利要求1所述的图像处理方法，其中，所述经优化的神经网络是对所述初始神经网络中的多个子层执行所述第一优化处理后得到的，所述误差是根据所述卷积层的原始输出特征与所述经优化后的卷积层的输出特征计算得到的。7.如权利要求6所述的图像处理方法，其中，对所述初始神经网络中的多个子层执行所述第一优化处理，使得所述初始神经网络中的多个子层优化后的输出特征和原始输出特征之间的误差最小化表示为满足以下表达式(4)：||β||0≤c′表达式(4)其中，N表示用于优化的样本数量，Y′表示所述多个子层的每个子层的原始输出特征矩阵，c表示所述多个子层的每个子层的输入特征的原始通道数，c′表示所述预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示第i个通道的滤波器的参数，其中，通过确定满足所述表达式(4)的β，确定要从所述多个子层的每个子层的滤波器中移除的通道。8.如权利要求1...
【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。