图像检测神经网络模型及其训练方法、图像检测方法技术

本申请实施例提供了一种图像检测神经网络模型及其训练方法、图像检测方法，包括获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型，可以在检测速度几乎不受影响的情况下有效改善遥感图像中小尺寸物体的检测效果。

【技术实现步骤摘要】
图像检测神经网络模型及其训练方法、图像检测方法
本申请涉及图像处理
领域，具体而言，涉及一种图像检测神经网络模型及其训练方法、图像检测方法。
技术介绍
遥感图像检测是计算机视觉中目标检测任务的重要分支，它涉及识别航空影像中特定类别的物体，通常是在地面上各种有形物。遥感图像检测是目标检测的基准问题，在军事应用、环境监测和气象学等场景有着很大的实用价值。随着深度学习算法近年在机器视觉方面取得的极大成功，其已被认为是遥感图像处理的首选方法。由于采用远距离的俯瞰视角拍摄方式，遥感图像相对于普通图像存在更多小尺寸的物体。遥感图像中的小物体在图像视野中占比很小，导致边缘特征和纹理信息不明显甚至缺失；同时，检测模型的骨架网络通常包含若干次下采样过程，使得小物体在特征图中的尺寸只有个位数的像素大小。针对相关技术中，现有的遥感图像目标检测方法对于特征信息不充分的小目标不能得到较为精确的检测效果，因此小尺寸的物体仍然是遥感图像目标检测的挑战性问题，相关技术中尚无有效的解决方案。
技术实现思路
本申请实施例提供了一种图像检测神经网络模型及其训练方法、图像检测方法，以至少解决遥感图像目标检测时，对于特征信息不充分的小尺寸目标不能得到较为精确的检测效果的问题。在本申请的一个实施例中，提出了一种图像检测神经网络模型，所述模型至少包括特征提取网络、特征金字塔(FPN)网络和预测网络；所述特征提取网络配置为，对目标图像进行特征提取；所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息；所述四层特征图是根据所述特征提取网络的感受野设定；所述特征增强层配置为，对目标图像的不充足特征进行增强，所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成；所述预测网络经过若干层卷积层后，目标分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。在本申请的一个实施例中，还提出一种图像检测神经网络模型的训练方法，应用于上述图像检测模型；所述方法包括：获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，其中，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型；所述使用所述训练数据训练所述初始神经网络模型的训练参数，包括：所述卷积四层特征图中不同层级的特征图分别负责检测不同大小的图像样本，将原始图像样本和缩小目标样本同时输入卷积四层特征图，以使得原始图像样本在卷积四层特征图输出端自底向上第二层的特征图，与缩小目标样本在四层特征图输出端自底向上第一层的特征图负责检测图像中的相同物体；所述使用所述训练数据训练所述初始神经网络模型的训练参数，包括：所述卷积特征增强层构建于负责检测缩小目标样本中小目标的卷积四层特征图最底层支路，使用原始图像样本在卷积四层特征图自底向上的第二层支路作为监督信息，对缩小目标样本不充足的特征信息进行增强，缩小原始图像样本与缩小目标样本之间的差异；所述通过损失函数在训练过程中优化所述初始神经网络模型，包括：采用构建检测损失函数和超分辨损失函数作为模型的总损失函数，根据损失函数回传梯度更新初始神经网络模型中的参数，对预测结果进行优化。在本申请的一个实施例中，还提出了一种图像检测方法，运用前述的图像检测神经网络模型；所述方法包括：将目标图像输入所述图像检测神经网络模型；通过所述图像检测神经网络模型对所述目标图像进行检测，并输出预测目标图像效果。在本申请的一个实施例中，还提出了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。在本申请的一个实施例中，还提出了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本申请实施例，将原始图片样本和其对应的缩小图片样本同时传入检测网络，使用原始图片样本所在特征金字塔网络层级的特征信息作为缩小后图像特征信息的监督，可以缩小两者特征信息的差异；且对于经过超分辨模块增强后的小目标的特征信息更为敏感，可以在检测速度几乎不受影响的情况下有效改善遥感图像中小尺寸物体的检测效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请实施例的一种图像检测神经网络模型的训练方法的移动终端的硬件结构框图；图2是本申请实施例的一种图像检测神经网络模型的训练流程图；图3为本申请实施例的特征金字塔网络各个层级特征图感受野的示意图；图4为本申请实施例改进的特征金字塔网络的结构图。具体实施方式下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的一种图形检测神经网络模型的训练方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的语音识别神经网络模型的训练方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网本文档来自技高网...

【技术保护点】
1.一种图像检测神经网络模型，其特征在于，所述模型至少包括特征提取网络、特征金字塔网络和预测网络；/n所述特征提取网络配置为，对目标图像进行特征提取；/n所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；/n所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息。/n

【技术特征摘要】
1.一种图像检测神经网络模型，其特征在于，所述模型至少包括特征提取网络、特征金字塔网络和预测网络；
所述特征提取网络配置为，对目标图像进行特征提取；
所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；
所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息。


2.根据权利要求1所述的一种图像检测神经网络模型，其特征在于，所述四层特征图是根据所述特征提取网络的感受野设定。


3.根据权利要求1所述的一种图像检测神经网络模型，其特征在于，所述特征增强层配置为，对目标图像的不充足特征进行增强，所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成。


4.根据权利要求1所述的一种图像检测神经网络模型，其特征在于，所述预测网络经过若干层卷积层后，目标分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。


5.一种图像检测神经网络模型的训练方法，其特征在于，应用于权利要求1至4任一项所述的图像检测模型；所述方法包括：
获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；
构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，其中，
所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；
使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数...

【专利技术属性】
技术研发人员：胡凡，方效林，吴文甲，杨明，罗军舟，
申请(专利权)人：南京逸智网络空间技术创新研究院有限公司，
类型：发明
国别省市：江苏;32