【技术实现步骤摘要】
多层神经网络模型的训练和应用方法、装置及存储介质
本公开涉及一种针对多层神经网络的建模领域，尤其涉及一种使多层神经网络模型的结构简化并使性能与常规技术相当的方法。
技术介绍
近年来，基于建模的多层神经网络模型已被广泛地应用在计算机业务中，诸如图像分类、目标检测和图像分割等。为了提高业务精度，网络模型被设计得越来越深(层数多)和越来越宽(每层的输出特征图数量多)，例如，VGGNet、ResNet和Xception等网络模型。由于这些网络模型有计算量大、处理速度慢的缺点，因此，很难应用在资源受限的设备中，例如，智能手机、机器人设备等。目前，在简化网络模型的结构和保证网络模型的性能方面有以下几种方式。1.网络剪枝法(NetworkPruning)。该方法通过将滤波器中的部分参数设置为0而使滤波器的权重变稀疏、或直接去除部分滤波器来减少滤波器数量，从而达到简化网络模型的目的。网络剪枝法虽然能够有效地简化网络模型，但是难以实现精确的超参数设定来确定卷积层中的哪些滤波器是可被去除的，这使得网络剪枝法的实际应用受限。2.参...
【技术保护点】
1.一种多层神经网络模型的应用方法，其特征在于，包括：/n针对多层神经网络模型中的至少一卷积层，扩展该卷积层的滤波器通道数；/n在前向传播时，基于应用要求对应的数据，利用通道数扩展后的滤波器进行所述卷积层中的数据运算；/n在执行完前向传播后输出应用结果。/n
【技术特征摘要】
1.一种多层神经网络模型的应用方法，其特征在于，包括：
针对多层神经网络模型中的至少一卷积层，扩展该卷积层的滤波器通道数；
在前向传播时，基于应用要求对应的数据，利用通道数扩展后的滤波器进行所述卷积层中的数据运算；
在执行完前向传播后输出应用结果。
2.根据权利要求1所述的应用方法，其中，通过复制滤波器的通道来扩展滤波器的通道数。
3.根据权利要求1所述的应用方法，其中，还包括：
通道数扩展后的滤波器的高不小于通道数扩展前的滤波器的高，以及，
通道数扩展后的滤波器的宽不小于通道数扩展前的滤波器的宽。
4.一种多层神经网络模型的训练方法，其特征在于，包括：
针对待训练的多层神经网络模型中的至少一卷积层，扩展该卷积层的滤波器通道数；
在前向传播时，基于用于训练的数据，利用通道数扩展后的滤波器进行所述卷积层中的数据运算；
在反向传播时，根据通道数扩展后的通道中的相同通道上权重的梯度值更新通道数扩展前的通道上权重的梯度值，实现对所述网络模型的训练；
其中，所述相同通道是从扩展前的同一通道扩展而来的。
5.根据权利要求4所述的训练方法，其中，通过复制滤波器的通道来扩展滤波器的通道数。
6.根据权利要求4所述的训练方法，其中，还包括：
通道数扩展后的滤波器的高不小于通道数扩展前的滤波器的高，以及，
通道数扩展后的滤波器的宽不小于通道数扩展前的滤波器的宽。
7.根据权利要求4所述的训练方法，其中，更新数量扩展前的通道上权重的梯度值，具体包括：
确定所述相同通道上各权重的梯度值；
将相同通道上的、位于相同位置处的权重的梯度值取平均，并将梯度平均值作为梯度值要被更新的、数量扩展前的通道上的权重在所述位置处的梯度值。
8.一种多层神经网络模型的应用方法，其特征在于，包括：
在前向传播时，针对至少一个卷积层，将该卷积层的多个输入特征图进行累加，并利用累加后的输入特征图与所述卷积层中的滤波器进行所述卷积层中的卷积运算；
在执行完前向传播后输出应用结果。
9.根据权利要求8所述的应用方法，其中，将多个输入特征图进行累加，具体包括：
对所述多个输入特征图进行分组，使组中的输入特征图的数量等于所述卷积层中滤波器的通道数，且至多一组中的输入特征图的数量小于所述滤波器的通道数；
将各组中的输入特征图进行累加，得到累加后的、数量等于所述滤波器的通道数的输入特征图。
10.根据权利要求9所述的应用方法，其中，在所述应用方法之前的对多层神经网络模型的训练方法中，在通过扩展滤波器的通道数、利用通道数扩展后的滤波器与输入特征图进行运算的情况下，将各组中的输入特征图进行累加，具体包括：
将各组中满足以下条件的输入特征图进行累加，该条件为：进行累加的输入特征图在所述多个输入特征图中的位置与在训练方法中的、与扩展后的相同通道进行运算的输入特征图的位置相同，所述相同通道是从扩展前的同一通道扩展而来的。
11.一种多层神经网络模型的应用装置，其特征在于，包括：
扩展单元，...
【专利技术属性】
技术研发人员：陶玮，高红星，陈则玮，温东超，刘俊杰，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。