一种基于深度特征匹配的在线目标检测方法和系统技术方案

本发明专利技术提供了一种基于深度特征匹配的在线目标检测方法和系统，包括：获取新类别目标样本图像和待测图像；将新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图；基于分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框；本发明专利技术避免了对新类别目标样本图像的繁杂的数据采集、数据标注与算法模型的离线训练，通过对一个或少量的新类别目标样本图像通过神经网络骨干网络和区域生成网络进行检测，获得新类别目标样本图像在待测图像中的类别和位置框，尤其适用于视频监控、无人机对地探测以及遥感图像的高价值目标发现。发现。发现。

【技术实现步骤摘要】
一种基于深度特征匹配的在线目标检测方法和系统


[0001]本专利技术属于计算机视觉
，具体涉及一种基于深度特征匹配的在线目标检测方法和系统。

技术介绍

[0002]深度学习(deep learning)已经在社会各个领域取得了广泛的应用。目标检测是计算机视觉领域的基础问题之一，当前最优秀的目标检测算法就是基于深度学习的目标检测算法。当前目标检测器依赖大量标注数据训练，目前已有人脸、行人、车辆等类别的大型数据集，但对于一些新类别、新样本，难以构建大型数据。而基于深度学习的目标检测和大多数的深度学习算法一样，需要大量的标注好的数据进行有监督的学习训练，当标注数据数量有限时，很难保证算法的正确率与泛化能力。当能够获得数量足够多的样本时，我们可以通过人工或者自动、半自动的方式对数据进行标注，从而获得大量标注数据。但是有些应用场景下，我们很难获得很多的样本数据，例如从监控视频中寻找某个可疑人员，这个可疑人员仅仅有一张或者几张图片，不可能进行大规模的深度学习训练，难以获得有效的深度学习模型，这时基于深度学习的目标检测算法的应用就受到极大的限制。
[0003]当前对于只有一个样本或者很少样本的目标进行检测，通常采用模板匹配的方法。模板匹配是一种最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，算法性能骤降，也就是说模板匹配方法一般不具有旋转不变性。当前深度学习方法获得广泛运用，利用深度神经网络提取的特征图具有平移不变性和旋转不变性，在目标检测领域取得非常好的效果。

技术实现思路

[0004]为克服上述现有技术的不足，本专利技术提出一种基于深度特征匹配的在线目标检测方法，包括：
[0005]获取新类别目标样本图像和待测图像；
[0006]将所述新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图；
[0007]基于所述分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框；
[0008]其中，所述新类别目标样本图像为从所述待测图像中获取的图像；所述神经网络骨干网络和区域生成网络的训练为基于旧类别目标样本图像和待测图像进行训练并获得训练好的权重。
[0009]优选的，所述区域生成网络包括区域生成网络分类分支和区域生成回归分类分支，所述区域生成网络的训练包括：
[0010]获取旧类别目标样本图像和待测图像；
[0011]将所述旧类别目标样本图像输入到所述区域生成网络分类分支，生成第一分类特征图，并基于所述第一分类特征图，计算预先设定的锚框类别与所述待测图像中的目标真实类别标签的交叉熵损失函数；
[0012]将所述旧类别目标样本图像输入到所述区域生成回归分类分支，生成第一回归特征图，并基于所述第一回归特征图，计算预先设定的锚框位置与待检图像中的目标真实位置的损失函数；
[0013]基于所述交叉熵损失函数和所述损失函数，采用随机梯度下降法对所述区域生成网络进行训练，获得所述区域生成网络的权重。
[0014]优选的，所述将所述新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图，包括：
[0015]将所述新类别目标样本图像输入到训练完成的神经网络骨干网络中，获得第一深度特征图，将所述第一深度特征图输入到所述区域生成网络分类分支，生成分类卷积核，将所述第一深度特征图输入到所述区域生成网络回归分支，生成回归卷积核；
[0016]将所述待测图像输入训练完成的神经网络骨干网络，获得第二深度特征图，将所述第二深度特征图输入到所述区域生成网络分类分支，基于所述分类卷积核，生成分类激活特征图，将所述第二深度特征图输入到所述区域生成网络回归分支，基于所述回归卷积核，生成回归激活特征图。
[0017]优选的，所述基于所述分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框，包括：
[0018]通过激活函数对所述分类激活特征图的值进行激活，使所述分类激活特征图映射到所述待测图像上，获得新类别目标样本图像的类别；
[0019]基于训练时预先获得的锚框位置使所述回归激活特征图映射到所述待测图像上，获得新类别目标样本图像的位置框。
[0020]优选的，所述激活函数如下：
[0021][0022]其中，softmax(x
i
)为第x个特征的激活函数，x
i
为第x个特征，x
j
为第j个特征，max(x)为输入特征中最大值，C为类别数。
[0023]基于同一专利技术构思，本专利技术还提供了一种基于深度特征匹配的在线目标检测系统，包括：
[0024]图像获取模块、特征图获取模块和目标检测模块；
[0025]所述图像获取模块，用于获取新类别目标样本图像和待测图像；
[0026]所述特征图获取模块，用于将所述新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图；
[0027]所述目标检测模块，用于基于所述分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框；
[0028]其中，所述新类别目标样本图像为从所述待测图像中获取的图像；所述神经网络
骨干网络和区域生成网络的训练为基于旧类别目标样本图像和待测图像进行训练并获得训练好的权重。
[0029]优选的，所述特征图获取模块中区域生成网络包括区域生成网络分类分支和区域生成回归分类分支，所述区域生成网络的训练包括：
[0030]获取旧类别目标样本图像和待测图像；
[0031]将所述旧类别目标样本图像输入到所述区域生成网络分类分支，生成第一分类特征图，并基于所述第一分类特征图，计算预先设定的锚框类别与所述待测图像中的目标真实类别标签的交叉熵损失函数；
[0032]将所述旧类别目标样本图像输入到所述区域生成回归分类分支，生成第一回归特征图，并基于所述第一回归特征图，计算预先设定的锚框位置与待检图像中的目标真实位置的损失函数；
[0033]基于所述交叉熵损失函数和所述损失函数，采用随机梯度下降法对所述区域生成网络进行训练，获得所述区域生成网络的权重。
[0034]优选的，所述特征图获取模块，具体用于：
[0035]将所述新类别目标样本图像输入到训练完成的神经网络骨干网络中，获得第一深度特征图，将所述第一深度特征图输入到所述区域生成网络分类分支，生成分类卷积核，将所述第一深度特征图输入到所述区域生成网络回归分支，生成回归卷积核；
[0036]将所述待测图像输入训练完成的神经网络骨干网络，获得第二深度特征图，将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征匹配的在线目标检测方法，其特征在于，包括：获取新类别目标样本图像和待测图像；将所述新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图；基于所述分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框；其中，所述新类别目标样本图像为从所述待测图像中获取的图像；所述神经网络骨干网络和区域生成网络的训练为基于旧类别目标样本图像和待测图像进行训练并获得训练好的权重。2.如权利要求1所述的方法，其特征在于，所述区域生成网络包括区域生成网络分类分支和区域生成回归分类分支，所述区域生成网络的训练包括：获取旧类别目标样本图像和待测图像；将所述旧类别目标样本图像输入到所述区域生成网络分类分支，生成第一分类特征图，并基于所述第一分类特征图，计算预先设定的锚框类别与所述待测图像中的目标真实类别标签的交叉熵损失函数；将所述旧类别目标样本图像输入到所述区域生成回归分类分支，生成第一回归特征图，并基于所述第一回归特征图，计算预先设定的锚框位置与待检图像中的目标真实位置的损失函数；基于所述交叉熵损失函数和所述损失函数，采用随机梯度下降法对所述区域生成网络进行训练，获得所述区域生成网络的权重。3.如权利要求2所述的方法，其特征在于，所述将所述新类别目标样本图像和所述待测图像输入训练完成的神经网络骨干网络和区域生成网络，获得待测图像的分类激活特征图和回归激活特征图，包括：将所述新类别目标样本图像输入到训练完成的神经网络骨干网络中，获得第一深度特征图，将所述第一深度特征图输入到所述区域生成网络分类分支，生成分类卷积核，将所述第一深度特征图输入到所述区域生成网络回归分支，生成回归卷积核；将所述待测图像输入训练完成的神经网络骨干网络，获得第二深度特征图，将所述第二深度特征图输入到所述区域生成网络分类分支，基于所述分类卷积核，生成分类激活特征图，将所述第二深度特征图输入到所述区域生成网络回归分支，基于所述回归卷积核，生成回归激活特征图。4.如权利要求3所述的方法，其特征在于，所述基于所述分类激活特征图和回归激活特征图得到新类别目标样本图像在待测图像中的类别和位置框，包括：通过激活函数对所述分类激活特征图的值进行激活，使所述分类激活特征图映射到所述待测图像上，获得新类别目标样本图像的类别；基于训练时预先获得的锚框位置使所述回归激活特征图映射到所述待测图像上，获得新类别目标样本图像的位置框。5.如权利要求4所述的方法，其特征在于，所述激活函数如下：
其中，softmax(x
i
)为第x个特征的激活函数，x
i
为第x个特征，x
j
为第j个特征，max(x)为输入特征中最大值，...

【专利技术属性】
技术研发人员：张天昊，田涛，王浩，苏龙飞，于泽婷，蔡慧敏，
申请(专利权)人：天津滨海人工智能创新中心，
类型：发明
国别省市：