神经网络模型中数据处理方法、存储介质和电子装置制造方法及图纸

本申请实施例公开了一种神经网络模型中数据处理方法、存储介质和电子装置，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。

【技术实现步骤摘要】
神经网络模型中数据处理方法、存储介质和电子装置
本申请实施例涉及属于机器学习中的神经网络领域，尤指一种神经网络模型中数据处理方法、存储介质和电子装置。
技术介绍
图像分类问题在计算机视觉中是一个十分基础且重要的问题。它构成了图像定位、目标检测、图像分割和其他计算机视觉任务的基础。目前先进的图像分类问题解决方法几乎都采用了机器学习的方法。使用传统的机器学习方法解决图像分类问题一般分为两步。第一步是使用特征描述符提取图像的特征，第二步是将图像的特征输入到一个可训练的分类器中并加以训练。这种方法的主要劣势是图像分类任务的准确性很大程度上取决于特征提取阶段特征描述符的设计，而特征提取任务往往是一项艰巨的任务。近些年来，多层神经网络模型将特征提取和特征分类两个阶段的任务融合成为了一个任务，克服了传统方法的缺点。其中，卷积神经网络在图像分类、目标检测等任务上的性能尤为领先。理解图片样本中物体的大小、姿势等几何形态是计算机视觉的一大挑战。对于卷积神经网络来说，由于其结构的限制，模型对于输入样本的几何形态缺乏充分的理解。局部的最大池化方法为卷积层的输入增加了一定程度的空间不变特性。然而最大池化只能对输入特征图很小的一部分做池化，为了达到空间不变性需要通过一个较深的卷积神经网络才能实现，而且这个较深的卷积神经网络的中间层特征也不具备空间不变的特性。2015年，谷歌DeepMind团队提出了空间变换网络，将输入每一张图片的空间姿势分别做了一个解构，然后将解构完(即空间变换完)的校正好的图像作为神经网络的输入，来进行分类或是识别。这个动态结构方式，相较于最大池化来说，对每一个输入样本更加个性化，而且在输入神经网络前就已解构完毕。数据集的规模和模型的参数量是耦合的。当用于训练的数据集达到很大规模时，提高模型的参数量可以使它更好地进行推理与预测。分情况计算是在可以不显著提升计算消耗的情况下提升模型的参数量的一种方法，该方法可以通过较浅的嵌入层来将上百个专家进行组合的方法，自适应地在每一个卷积层将各个通道的特征进行了稀疏化和再校准，提升了模型的表示性能。相关技术中又提出了能够高效推理的分情况赋予参数的卷积核，通过一个简单的路径函数，对卷积层中的多个专家进行加权，从而形成新的卷积核，来对不同的输入样本进行自适应计算。在采用该方式时，神经网络模型的鲁棒性有待提高。
技术实现思路
为了解决上述任一技术问题，本申请实施例提供了一种神经网络模型中数据处理方法、存储介质和电子装置。为了达到本申请实施例目的，本申请实施例提供了一种神经网络模型中数据处理方法，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。上述技术方案中的一个技术方案具有如下优点或有益效果：在分情况赋予参数的卷积核的基础上，在卷积核层面引入了旋转维度，提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，实现了对图片样本中的旋转畸变具有鲁棒性的卷积神经网络模型。本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。图1为本申请实施例提供的神经网络模型中数据处理方法的流程图；图2为本申请实施例提供的多专家混合旋转卷积层的处理示意图；图3为本申请实施例提供的寻径函数的示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。图1为本申请实施例提供的神经网络模型中数据处理方法的流程图。如图1所示，所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：步骤101、将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；步骤102、利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；步骤103、根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；步骤104、将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。本申请实施例提供的方法，在分情况赋予参数的卷积核的基础上，在卷积核层面引入了旋转维度，提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，实现了对图片样本中的旋转畸变具有鲁棒性的卷积神经网络模型。下面对本申请实施例提供的方法进行说明：在一个示例性实施例中，所述方法还包括：在将卷积层的输入特征图通过预设的寻径函数进行处理时，还获取E个专家对所述输入特征图的重要程度特征；在获取所述输入特征图的目标卷积权重参数时，根据每个专家在所述输入特征图对应的重要程度特征，执行加权求和操作。利用原始的输入特征图，输入到一个寻径函数中，以得到对于每一个样本个性化的权重参数和旋转角度参数。同时，在一个卷积层中定义多组卷积权重参数。之后，利用个性化的权重参数和旋转角度参数，来对卷积层中的多组卷积权重参数进行空间变换和加权求和，以作为最后用来做卷积运算的参数。最后，用处理过的卷积权重参数与输入特征图做卷积运算，以得到该层的输出特征图。本申请实施例提供的方法对标准的二维卷积运算做了有效的改进，通过提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，在只增加了极少的计算量的同时，显著的提升了神经网络的分类性能。本方法可以在边缘设备上广泛进行应用，在提高模型鲁棒性的同时，能够高效地进行模型推理。在一个示例性实施例中，每组卷积权重参数Wi均是一个四维张量，其中所述四维张量的各个维度的长度分别为Cout、Cin、K以及K；其中，Cout为所述卷本文档来自技高网...

【技术保护点】
1.一种神经网络模型中数据处理方法，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：/n将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；/n利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；/n根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；/n将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。/n

【技术特征摘要】
1.一种神经网络模型中数据处理方法，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：
将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；
利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；
根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；
将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在将卷积层的输入特征图通过预设的寻径函数进行处理时，还获取E个专家对所述输入特征图的重要程度特征；
在获取所述输入特征图的目标卷积权重参数时，根据每个专家在所述输入特征图对应的重要程度特征，执行加权求和操作。


3.根据权利要求1或2所述的方法，其特征在于，每组卷积权重参数Wi均是一个四维张量，其中所述四维张量的各个维度的长度分别为Cout、Cin、K以及K；
其中，Cout为所述卷积层的输出通道数，Cin为所述卷积层的输入通道数，K为卷积核尺寸。


4.根据权利要求1或2所述的方法，其特征在于，所述将卷积层的输入特征图通过预设的寻径函数进行处理，包括：
对所述输入特征图Xraw做全局平均池化，得到降维后的特征Xavg，其中，其中B表示每批输入特征图对应的“批”维度的长度，C表示样本通道数，H表示图像的高度，W表示图像的宽度，其中B、C、H和W均为大于等于1的正整数；
压缩掉降维后的特征Xavg中的无用维度，得到新的特征X′avg，其中
将新的特征X′avg输入到第一全连接层，得到E个专家对所述输入特征图的重要程度特征α，其中其中所述第一全连接层的输入维度是新的特征X′avg的通道...

【专利技术属性】
技术研发人员：黄高，浦一凡，韩益增，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11