一种基于集成学习的在线目标检测方法、设备及存储介质技术

本发明专利技术涉及计算机视觉技术领域，具体提供了一种基于集成学习的在线目标检测方法、设备及存储介质，通过对的深度神经网络在现有类别目标数据上进行基础训练，在需要对未参与该算法训练新的类别目标进行检测时，仅需要一张新目标的图片就能在图像中对目标进行检测。在实际应用中，避免了对新目标的繁杂的数据采集、数据标注与算法模型的离线训练，只要有一张新目标的样本图片就能对目标进行检测，尤其适用于视频监控、无人机对地探测以及遥感图像的高价值目标发现。价值目标发现。价值目标发现。

【技术实现步骤摘要】
一种基于集成学习的在线目标检测方法、设备及存储介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于集成学习的在线目标检测方法、设备及存储介质。

技术介绍

[0002]目标检测是计算机视觉领域的基础问题之一，深度神经网络的应用是的目标检测的精度得到空前提高。但是基于深度神经网络的目标检测算法严重依赖大量标注数据进行模型训练，不仅需要耗费大量人力、财力进行数据的采集并进行数据标注，而且大量数据基础上的模型训练需要耗费巨大的计算资源，模型训练的耗时问题也进一步限制了深度神经网络目标检测算法的推广应用。目前，对比较常见目标物在常见的拍摄角度下的数据采集、利用这些数据对模型进行预先训练已经比较成熟，已有人脸、行人、车辆等类别在较近距离下的大型数据集，但对于一些新类别、新样本或者常见目标在不常见角度或者距离的数据采集难以实现，难以构建大型数据，因此对这类目标的目标检测模型的训练仅有很少的训练样本。而基于深度学习的目标检测和大多数的深度学习算法一样，需要大量的标注好的数据进行有监督的学习训练，当标注数据数量有限时，很难保证算法的正确率与泛化能力。当能够获得数量足够多的样本时，我们可以通过人工或者自动、半自动的方式对数据进行标注，从而获得大量标注数据。如果样本数据都很难获取，例如从监控视频中寻找某个可疑人员，这个可疑人员仅仅有几张图片，不可能进行大规模的深度学习训练，难以获得有效的深度学习模型。军事领域当利用无人机或者卫星光电传感器对高价值目标进行巡逻侦察时，由于高价值目标位于敌方境内，很难获得大量高价值目标的光电数据，可能只有有限数量的目标图片，这时基于深度学习的目标检测算法的应用就受到极大的限制。
[0003]当前对于只有很少样本的目标进行检测，通常采用模板匹配的方法。模板匹配是一种最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，算法性能骤降，也就是说模板匹配方法一般不具有旋转不变性。当前深度学习方法获得广泛运用，利用深度神经网络提取的特征图具有平移不变性和旋转不变性，在目标检测领域取得非常好的效果。
[0004]为了利用深度神经网络提取特征的能力，又要实现单个样本条件下的在线实时目标检测，提出了基于深度特征匹配的目标检测算法，但是这种方法只能利用1张样本图像信息，检测的正确率较低，如果有多张样本图片也不能充分利用样本信息；如果待检视频或者图像中的目标的角度或者尺度变化较大，利用一张样本图像的深度特征匹配算法就会失效，因此亟需提出一种基于集成学习的在线目标检测算法。

技术实现思路

[0005]为了克服上述缺陷，本专利技术提出了一种基于集成学习的在线目标检测方法及装
置。
[0006]第一方面，提供一种基于集成学习的在线目标检测方法，所述基于集成学习的在线目标检测方法包括：
[0007]将多个目标样本图像输入深度神经网络的骨干网络，得到多个目标样本图像对应的深度特征图；
[0008]将所述多个目标样本图像对应的深度特征图输入深度神经网络的区域生成网络，得到多个目标样本图像对应的分类特征图和回归特征图；
[0009]将待测图像输入深度神经网络的骨干网络，得到待测图像对应的深度特征图；
[0010]分别将所述多个目标样本图像对应的分类特征图和多个目标样本图像对应的回归特征图作为卷积核与所述待测图像对应的深度特征图进行卷积操作，得到多个分类激活特征图和多个回归激活特征图；
[0011]定义所述多个分类激活特征图中的锚框，并采用非极大值抑制算法对所述锚框进行临近合并，得到多组锚框；
[0012]采用集成学习的结合策略在所述多组锚框中选取最优锚框；
[0013]结合所述最优锚框对应的回归激活特征图得到所述最优锚框对应的偏移量；
[0014]结合所述最优锚框对应的偏移量以及所述最优锚框的位置、宽和高，得到预测框；
[0015]将所述预测框映射回所述待测图像，并利用激活函数计算所述最优锚框对应区域的分类置信度，得到检测结果。
[0016]优选的，所述骨干网络包括下述中的一种：AlexNet，VGGNet，GoogleNet，ResNet，ResNeXt，ResNeSt，DenseNet，SqueezeNet，ShuffleNet，MobileNet，EfficientNet，Transformer。
[0017]优选的，所述待测图像的分辨率不小于目标样本图像的分辨率的2倍。
[0018]优选的，所述分别将所述多个目标样本图像对应的分类特征图和多个目标样本图像对应的回归特征图作为卷积核与所述待测图像对应的深度特征图进行卷积操作，得到多个分类激活特征图和多个回归激活特征图之后，包括：
[0019]分别将所述多个分类激活特征图和多个回归激活特征图经过卷积操作单元处理，得到通道数为2k的多个分类激活特征图和通道数为4k的多个回归激活特征图；
[0020]其中，k为锚框数目。
[0021]优选的，所述激活函数为softmax激活函数。
[0022]优选的，所述集成学习的结合策略包括下述中的至少一种：肯定策略、共识策略、一致策略。
[0023]优选的，所述将多个目标样本图像输入深度神经网络的骨干网络，得到多个目标样本图像对应的深度特征图之前，包括：
[0024]截取既定图像中的目标图像，并利用所述目标图像和既定图像构建训练样本；
[0025]基于所述训练样本，采用随机梯度下降法对初始深度神经网络的骨干网络进行训练，得到所述深度神经网络的骨干网络的权重。
[0026]进一步的，所述基于所述训练样本，采用随机梯度下降法对初始深度神经网络的骨干网络进行训练，得到所述深度神经网络的骨干网络的权重的过程中，采用的损失函数的数学模型如下：
[0027][0028]上式中，f
loss
为损失函数值，L
cls
为交叉熵损失函数，λ为超参数，为均方误差损失函数，σ为控制均方误差损失函数形状的参数，当i＝0、1、2、3时，误差损失函数，σ为控制均方误差损失函数形状的参数，当i＝0、1、2、3时，A
x
，A
y
，A
w
，A
h
分别为预测位置锚框的横坐标、纵坐标、宽和高，T
x
，T
y
，T
w
，T
h
分别为实际位置锚框的横坐标、纵坐标、宽和高。
[0029]第二方面，提供一种计算机设备，包括：一个或多个处理器；
[0030]所述处理器，用于存储一个或多个程序；
[0031]当所述一个或多个程序被所述一个或多个处理器执行时，实现所述的基于集成学习的在线目标检测方法。
[0032]第三方面，提供一种计算机可读存储介质，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集成学习的在线目标检测方法，其特征在于，所述方法包括：将多个目标样本图像输入深度神经网络的骨干网络，得到多个目标样本图像对应的深度特征图；将所述多个目标样本图像对应的深度特征图输入深度神经网络的区域生成网络，得到多个目标样本图像对应的分类特征图和回归特征图；将待测图像输入深度神经网络的骨干网络，得到待测图像对应的深度特征图；分别将所述多个目标样本图像对应的分类特征图和多个目标样本图像对应的回归特征图作为卷积核与所述待测图像对应的深度特征图进行卷积操作，得到多个分类激活特征图和多个回归激活特征图；定义所述多个分类激活特征图中的锚框，并采用非极大值抑制算法对所述锚框进行临近合并，得到多组锚框；采用集成学习的结合策略在所述多组锚框中选取最优锚框；结合所述最优锚框对应的回归激活特征图得到所述最优锚框对应的偏移量；结合所述最优锚框对应的偏移量以及所述最优锚框的位置、宽和高，得到预测框；将所述预测框映射回所述待测图像，并利用激活函数计算所述最优锚框对应区域的分类置信度，得到检测结果。2.如权利要求1所述的方法，其特征在于，所述骨干网络包括下述中的一种：AlexNet，VGGNet，GoogleNet，ResNet，ResNeXt，ResNeSt，DenseNet，SqueezeNet，ShuffleNet，MobileNet，EfficientNet，Transformer。3.如权利要求1所述的方法，其特征在于，所述待测图像的分辨率不小于目标样本图像的分辨率的2倍。4.如权利要求1所述的方法，其特征在于，所述分别将所述多个目标样本图像对应的分类特征图和多个目标样本图像对应的回归特征图作为卷积核与所述待测图像对应的深度特征图进行卷积操作，得到多个分类激活特征图和多个回归激活特征图之后，包括：分别将所述多个分类激活特征图和多个回归激活特征图经过卷积操作单元处理，得到通道数为2k的多个分类激活特征图和通道数为4k的多个回归激活特征图；其中，k为锚框数目。5.如权利要求1所述的方法，其特征在于，所述激活函数为softmax激活函数。6.如权利要求1...

【专利技术属性】
技术研发人员：苏龙飞，管乃洋，凡遵林，王世雄，刘敏，杨楚乐，胡庆拥，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：