卷积神经网络的通用池化增强方法、装置、设备及介质制造方法及图纸

本申请公开了一种卷积神经网络的通用池化增强方法、装置、设备及介质，对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；将第二特征图进行升维处理，得到与第一特征图通道维数相同的全局池化特征图；对全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；将每个通道的池化权重图分别和第一特征图的对应通道相乘，得到第三特征图后输出。通过本方案，可以在卷积神经网络训练时动态学习池化权重参数，大大减少了参数量和计算量，进一步提高了卷积神经网络的性能。

General pool enhancement method, device, equipment and medium of convolution neural network

【技术实现步骤摘要】
卷积神经网络的通用池化增强方法、装置、设备及介质
本申请涉及计算机视觉
，特别涉及一种卷积神经网络的通用池化增强方法、装置、设备及介质。
技术介绍
近年来，卷积神经网络(ConvolutionalNeuralNetwork，CNN)获得越来越多的关注。CNN通常由卷积层、池化层、全连接层堆叠所组成。除了卷积在CNN中扮演重要的作用外，池化也发挥了重要角色。池化不仅减小了特征图的尺寸，减少了神经网络计算量，增大了感受野，同时具有平移不变性，可以减少噪声的影响，对轻微的畸变也不敏感。目前，主流的池化方法有平均池化、最大池化和步长池化，这些方法简单有效，但是没有考虑输入模式的多样性。后来的线性加权池化和自适应池化对上述池化方法进行了改进，然而上述所有的池化方法都假设训练时池化权重是固定的，没有考虑单个图像的特性，因此固定权重的池化约束条件使得CNN的性能有所下降。现有的通用池化方法是对每个通道的池化块学习池化权重，然后对每个通道按池化块进行局部空域增强，最后得到相应的池化增强后的输出通道。而对每个通道学习池化权重导致训练时参数量过多，计算量增大，而且计算池化权重时需要先通过CNN模块处理每个通道的特征图，这一操作又增加了计算量。
技术实现思路
本申请的目的在于提供一种卷积神经网络的通用池化增强方法、装置、设备及存储介质，以减少卷积神经网络计算量，提高卷积神经网络的任务性能。第一方面，本申请实施例提供了一种卷积神经网络的通用池化增强方法，包括：对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；将所述第二特征图进行升维处理，得到与所述第一特征图通道维数相同的全局池化特征图；对所述全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；将每个通道的池化权重图分别和所述第一特征图的对应通道相乘，得到第三特征图后输出。在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述第一池化为全局平均池化，所述第二池化为全局最大池化。在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述将所述第二特征图进行升维处理，包括：利用1×1卷积将所述第二特征图进行升维处理。在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述对所述全局池化特征图中每个通道的每个池化块进行归一化处理，包括：利用SoftMax函数对所述全局池化特征图中每个通道的每个池化块进行归一化处理。第二方面，本申请实施例提供了一种卷积神经网络的通用池化增强装置，包括：池化模块，用于对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；拼接模块，用于将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；升维模块，用于将所述第二特征图进行升维处理，得到与所述第一特征图通道维数相同的全局池化特征图；归一化模块，用于对所述全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；输出模块，用于将每个通道的池化权重图分别和所述第一特征图的对应通道相乘，得到第三特征图后输出。在一种可能的实现方式中，在本申请实施例提供的上述装置中，所述第一池化为全局平均池化，所述第二池化为全局最大池化。在一种可能的实现方式中，在本申请实施例提供的上述装置中，所述升维模块，具体用于：利用1×1卷积将所述第二特征图进行升维处理。在一种可能的实现方式中，在本申请实施例提供的上述装置中，所述归一化模块，具体用于：利用SoftMax函数对所述全局池化特征图中每个通道的每个池化块进行归一化处理。第三方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；其中，所述处理器执行所述存储器中的计算机程序，以实现上述第一方面以及第一方面的各个实施方式中所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述第一方面以及第一方面的各个实施方式中所述的方法。与现有技术相比，本申请提供的卷积神经网络的通用池化增强方法、装置、设备及介质，对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；将所述第二特征图进行升维处理，得到与所述第一特征图通道维数相同的全局池化特征图；对所述全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；将每个通道的池化权重图分别和所述第一特征图的对应通道相乘，得到第三特征图后输出。通过本方案，可以在卷积神经网络训练时动态学习池化权重参数，不需要卷积神经网络处理每个通道的特征图，大大减少了参数量和计算量，进一步提高了卷积神经网络的性能。附图说明图1为本申请实施例一提供的卷积神经网络的通用池化增强方法的流程示意图；图2为本申请实施例一提供的另一卷积神经网络的通用池化增强方法的流程示意图；图3为本申请实施例二提供的卷积神经网络的通用池化增强装置的结构示意图；图4为本申请实施例三提供的电子设备的结构示意图。具体实施方式下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。图1为本申请实施例一提供的卷积神经网络的通用池化增强方法的流程示意图。图2为本申请实施例一提供的另一卷积神经网络的通用池化增强方法的流程示意图。实际应用中，本实施例的执行主体可以为卷积神经网络的通用池化增强装置，该卷积神经网络的通用池化增强装置可以通过虚拟装置实现，例如软件代码，也可以通过写入有相关执行代码的实体装置实现，例如U盘，再或者，也可以通过集成有相关执行代码的实体装置实现，例如，芯片、电脑等。如图1所示，该方法包括以下步骤S101～S105：S101、对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图。本实施例中，如图2所示，第一特征图为输入特征图其中，C为特征图的通道数，H和W分别表示特征图的长和宽。首先对输入特征图沿着空域维进行第一池化和第二池化，第一池化和第二池化分别可以为任意一种池化方法，优选的，本实施例中的第一池化为全局平均池化，第二池化为全局最大池化。相应的，得到的第一池化特征图为全局平均池化特征图第二池化特征图为全局最大池化特征图S102、将第一池化特征图和第二池化特征图进行拼接，得本文档来自技高网...

【技术保护点】
1.一种卷积神经网络的通用池化增强方法，其特征在于，包括：/n对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；/n将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；/n将所述第二特征图进行升维处理，得到与所述第一特征图通道维数相同的全局池化特征图；/n对所述全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；/n将每个通道的池化权重图分别和所述第一特征图的对应通道相乘，得到第三特征图后输出。/n

【技术特征摘要】
1.一种卷积神经网络的通用池化增强方法，其特征在于，包括：
对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；
将第一池化特征图和第二池化特征图进行拼接，得到第二特征图；
将所述第二特征图进行升维处理，得到与所述第一特征图通道维数相同的全局池化特征图；
对所述全局池化特征图中每个通道的每个池化块进行归一化处理，得到每个通道的池化权重图；
将每个通道的池化权重图分别和所述第一特征图的对应通道相乘，得到第三特征图后输出。


2.根据权利要求1所述的方法，其特征在于，所述第一池化为全局平均池化，所述第二池化为全局最大池化。


3.根据权利要求1所述的方法，其特征在于，所述将所述第二特征图进行升维处理，包括：
利用1×1卷积将所述第二特征图进行升维处理。


4.根据权利要求1所述的方法，其特征在于，所述对所述全局池化特征图中每个通道的每个池化块进行归一化处理，包括：
利用SoftMax函数对所述全局池化特征图中每个通道的每个池化块进行归一化处理。


5.一种卷积神经网络的通用池化增强装置，其特征在于，包括：
池化模块，用于对输入的第一特征图分别进行第一池化处理和第二池化处理，得到对应的第一池化特征图和第二池化特征图；
...

【专利技术属性】
技术研发人员：贾琳，赵磊，
申请(专利权)人：重庆特斯联智慧科技股份有限公司，
类型：发明
国别省市：重庆;50