目标检测方法及装置制造方法及图纸

本发明专利技术公开了一种目标检测方法及装置，属于机器视觉领域。该方法包括：从第一CNN模型的第一浅卷积层的特征图中以边长小于或等于预设阈值的锚点框为基准回归出多个第一检测目标候选框；对该第一深卷积层的特征图进行全尺度目标候选框提取，得到多个第二检测目标候选框；从该多个第二检测目标候选框中选取边长小于或等于该预设阈值的多个第三检测目标候选框；基于该多个第一检测目标候选框和该多个第三检测目标候选框的重合度，从该多个第一检测目标候选框中选取多个第四检测目标候选框；基于该多个第四检测目标候选框，对该目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率。本发明专利技术提高了对小尺寸目标进行检测和识别的准确度。

【技术实现步骤摘要】
目标检测方法及装置
本专利技术实施例涉及机器视觉领域，特别涉及一种目标检测方法及装置。
技术介绍
目标检测是机器视觉和模式识别领域中最活跃的研究主题之一，在智能化交通系统、智能监控系统等方面具有广泛的应用价值。目标检测是指将特定目标从复杂场景图像中检测出来，以便后续对目标进行分类或跟踪等处理。在目标检测中，通常采用从待检测的图像或者该图像的特征图中提取proposal(目标候选框)的方法，目标候选框用于指示可能存在目标的矩形区域。现有技术中提供了一种基于CNN(ConvolutionalNeuralNetwork，卷积神经网络)的目标检测方法，在该方法中，可以使用CNN模型实现对proposal的初步提取。具体地，为了减小计算量，初始阶段可以先对原图进行缩放，将缩放后的原图作为待检测的目标图像输入CNN模型。然后通过该CNN模型中的各级卷积层对该目标图像进行卷积处理，得到各级卷积层的特征图。其中，该CNN模型中包括多级卷积层，各级卷积处理的过程中，第一级卷积层对输入的目标图像进行卷积处理，得到特征图，对该特征图进行缩放后输入第二级卷积层；第二级卷积层对该缩放后的特征图进行卷积处理再得到特征图，缩放后再输入第三级卷积层进行卷积处理和缩放，如此，各级卷积层重复上述操作即可得到各级卷积层对应的特征图。之后，对上述各卷积层中靠近输出层的深卷积层的特征图进行全尺度的目标候选框提取，得到多个不同尺度的目标候选框；基于该多个不同尺度的目标候选框，对该深卷积层的特征图中进行特征提取，得到多个不同尺度的目标特征图。最后将该多个不同尺度的目标特征图输入该CNN模型中的RCNN(RegionCNN，区域卷积神经网络)分类网络部分，通过该RCNN分类网络对该多个不同尺度的目标特征图进行分类，得到各个目标特征图中的目标属于预设类别的概率，以对目标图像中的目标进行检测。但是CNN模型各级卷积处理的过程中，为了减小计算量，各级卷积层通常都会对卷积得到的特征图进行降采样处理，即将卷积得到的特征图进行缩放后再输送至下一级卷积层，以便下一级卷积层进行卷积处理。由于深卷积层中小尺寸目标的特征在降采样过程中会被大量削减，回归性较差，造成小尺寸目标候选框提取时目标对齐较差，影响后面的分类过程，因此易造成对小尺寸目标的漏检，导致无法精确地检测出小尺寸目标。
技术实现思路
为了解决现有技术中存在的对小尺寸目标进行检测和识别的准确度较低的问题，本专利技术实施例提供了一种目标检测方法及装置。所述技术方案如下：第一方面，提供了一种目标检测方法，所述方法包括：基于第一卷积神经网络CNN模型和待检测的目标图像，生成第一浅卷积层的特征图，所述第一浅卷积层是指所述第一CNN模型包括的多个卷积层中第一深卷积层之前的任一卷积层，所述第一深卷积层是指最靠近输出层的卷积层；从所述第一浅卷积层的特征图中以边长小于或等于预设阈值的锚点框为基准回归出目标候选框，得到多个第一检测目标候选框；基于所述第一CNN模型和所述第一浅卷积层的特征图，生成所述第一深卷积层的特征图；对所述第一深卷积层的特征图进行全尺度目标候选框提取，得到多个不同尺度的第二检测目标候选框；从所述多个不同尺度的第二检测目标候选框中选取边长小于或等于所述预设阈值的目标候选框，得到多个第三检测目标候选框；基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框；基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率。可选地，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框，包括：对于所述多个第三检测目标候选框中的每个第三检测目标候选框，从所述多个第一检测目标候选框中选择所述第三检测目标候选框的多个邻域目标候选框；确定各个邻域目标候选框与所述第三检测目标候选框的交并比，所述交并比是指所述各个邻域目标候选框与所述第三检测目标候选框的交集区域的面积与所述各个邻域目标候选框与所述第三检测目标候选框的并集区域的面积之间的比例；将交并比最大的邻域目标候选框确定为所述第四检测目标候选框。可选地，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框之前，还包括：获取所述多个第一检测目标候选框的置信度，每个第一检测目标候选框的置信度用于指示每个第一检测目标候选框对应的区域是目标的可能性；相应地，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框，包括：基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度以及所述多个第一检测目标候选框的置信度，从所述多个第一检测目标候选框中选取所述多个第四检测目标候选框。可选地，所述基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率之前，还包括：从所述多个不同尺度的第二检测目标候选框中选取边长大于所述预设阈值的目标候选框，得到多个第五检测目标候选框；相应地，所述基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率，包括：基于所述多个第五检测目标候选框，从所述第一深卷积层的特征图中提取多个第一目标特征图；基于所述多个第四检测目标候选框，从所述第一浅卷积层的特征图中提取多个第二目标特征图；基于所述第一CNN模型中的分类网络，对所述多个第一目标特征图和所述多个第二目标特征图进行分类，得到所述多个第一目标特征图中的目标以及所述多个第二目标特征图中的目标分别属于预设类别的概率。可选地，所述基于第一卷积神经网络CNN模型和目标图像，生成第一浅卷积层的特征图之前，还包括：基于训练图像和第一真值样本对第二CNN模型中的第一网络进行训练，所述第一真值样本包括所述训练图像中的各个目标对应的目标候选框，所述第二CNN模型为待训练的CNN模型，所述第一网络是指所述第二CNN模型中能够对第二深卷积层的特征图进行全尺度目标候选框提取的部分网络，所述第二深卷积层是指所述第二CNN模型包括的多个卷积层中最靠近输出层的卷积层；基于训练后的第一网络和所述训练图像，确定多个不同尺度的第一训练目标候选框；基于所述多个不同尺度的第一训练目标候选框，确定第二真值样本，所述第二真值样本包括多个边长小于或等于所述预设阈值的目标候选框；基于所述训练图像和所述第二真值样本对所述第二CNN模型中的第二网络进行训练，所述第二网络是指所述第二CNN模型中能够从第二浅卷积层的特征图中回归出边长小于或等于所述预设阈值的目标候选框的部分网络，所述第二浅卷积层是指所述第二CNN模型包括的多个卷积层中所述第二深卷积层之前的任一卷积层；基于训练后的第一网络和训练后的第二网络，对所述第二CNN模型中的分类网络进行训练，得到所述第一CNN模型。可选地，所述基于训练图像和第一真值样本对第二CNN模型中的第一网络进行训练，包括：基于所述第二CNN模型和所述训练图像，生成所述第二深卷积层的特征图；对所述第二深卷积层的特征图进行全尺本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，所述方法包括：基于第一卷积神经网络CNN模型和待检测的目标图像，生成第一浅卷积层的特征图，所述第一浅卷积层是指所述第一CNN模型包括的多个卷积层中第一深卷积层之前的任一卷积层，所述第一深卷积层是指最靠近输出层的卷积层；从所述第一浅卷积层的特征图中以边长小于或等于预设阈值的锚点框为基准回归出目标候选框，得到多个第一检测目标候选框；基于所述第一CNN模型和所述第一浅卷积层的特征图，生成所述第一深卷积层的特征图；对所述第一深卷积层的特征图进行全尺度目标候选框提取，得到多个不同尺度的第二检测目标候选框；从所述多个不同尺度的第二检测目标候选框中选取边长小于或等于所述预设阈值的目标候选框，得到多个第三检测目标候选框；基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框；基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率。

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：基于第一卷积神经网络CNN模型和待检测的目标图像，生成第一浅卷积层的特征图，所述第一浅卷积层是指所述第一CNN模型包括的多个卷积层中第一深卷积层之前的任一卷积层，所述第一深卷积层是指最靠近输出层的卷积层；从所述第一浅卷积层的特征图中以边长小于或等于预设阈值的锚点框为基准回归出目标候选框，得到多个第一检测目标候选框；基于所述第一CNN模型和所述第一浅卷积层的特征图，生成所述第一深卷积层的特征图；对所述第一深卷积层的特征图进行全尺度目标候选框提取，得到多个不同尺度的第二检测目标候选框；从所述多个不同尺度的第二检测目标候选框中选取边长小于或等于所述预设阈值的目标候选框，得到多个第三检测目标候选框；基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框；基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率。2.如权利要求1所述的方法，其特征在于，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框，包括：对于所述多个第三检测目标候选框中的每个第三检测目标候选框，从所述多个第一检测目标候选框中选择所述第三检测目标候选框的多个邻域目标候选框；确定各个邻域目标候选框与所述第三检测目标候选框的交并比，所述交并比是指所述各个邻域目标候选框与所述第三检测目标候选框的交集区域的面积与所述各个邻域目标候选框与所述第三检测目标候选框的并集区域的面积之间的比例；将交并比最大的邻域目标候选框确定为所述第四检测目标候选框。3.如权利要求1所述的方法，其特征在于，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框之前，还包括：获取所述多个第一检测目标候选框的置信度，每个第一检测目标候选框的置信度用于指示每个第一检测目标候选框对应的区域是目标的可能性；相应地，所述基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度，从所述多个第一检测目标候选框中选取多个第四检测目标候选框，包括：基于所述多个第一检测目标候选框和所述多个第三检测目标候选框的重合度以及所述多个第一检测目标候选框的置信度，从所述多个第一检测目标候选框中选取所述多个第四检测目标候选框。4.如权利要求1所述的方法，其特征在于，所述基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率之前，还包括：从所述多个不同尺度的第二检测目标候选框中选取边长大于所述预设阈值的目标候选框，得到多个第五检测目标候选框；相应地，所述基于所述多个第四检测目标候选框，对所述目标图像中的各个目标进行分类，得到各个目标属于预设类别的概率，包括：基于所述多个第五检测目标候选框，从所述第一深卷积层的特征图中提取多个第一目标特征图；基于所述多个第四检测目标候选框，从所述第一浅卷积层的特征图中提取多个第二目标特征图；基于所述第一CNN模型中的分类网络，对所述多个第一目标特征图和所述多个第二目标特征图进行分类，得到所述多个第一目标特征图中的目标以及所述多个第二目标特征图中的目标分别属于预设类别的概率。5.如权利要求1-4任一所述的方法，其特征在于，所述基于第一卷积神经网络CNN模型和目标图像，生成第一浅卷积层的特征图之前，还包括：基于训练图像和第一真值样本对第二CNN模型中的第一网络进行训练，所述第一真值样本包括所述训练图像中的各个目标对应的目标候选框，所述第二CNN模型为待训练的CNN模型，所述第一网络是指所述第二CNN模型中能够对第二深卷积层的特征图进行全尺度目标候选框提取的部分网络，所述第二深卷积层是指所述第二CNN模型包括的多个卷积层中最靠近输出层的卷积层；基于训练后的第一网络和所述训练图像，确定多个不同尺度的第一训练目标候选框；基于所述多个不同尺度的第一训练目标候选框，确定第二真值样本，所述第二真值样本包括多个边长小于或等于所述预设阈值的目标候选框；基于所述训练图像和所述第二真值样本对所述第二CNN模型中的第二网络进行训练，所述第二网络是指所述第二CNN模型中能够从第二浅卷积层的特征图中回归出边长小于或等于所述预设阈值的目标候选框的部分网络，所述第二浅卷积层是指所述第二CNN模型包括的多个卷积层中所述第二深卷积层之前的任一卷积层；基于训练后的第一网络和训练后的第二网络，对所述第二CNN模型中的分类网络进行训练，得到所述第一CNN模型。6.如权利要求5所述的方法，其特征在于，所述基于训练图像和第一真值样本对第二CNN模型中的第一网络进行训练，包括：基于所述第二CNN模型和所述训练图像，生成所述第二深卷积层的特征图；对所述第二深卷积层的特征图进行全尺度目标候选框提取，得到多个不同尺度的第二训练目标候选框；基于所述多个不同尺度的第二训练目标候选框和所述第一真值样本，生成所述第一网络的训练参数；基于所述第一网络的训练参数对所述第一网络进行调整。7.如权利要求5所述的方法，其特征在于，所述基于所述多个不同尺度的第一训练目标候选框，确定第二真值样本，包括：从所述多个不同尺度的第一训练目标候选框中选取边长小于或等于所述预设阈值的目标候选框，得到多个第三训练目标候选框；从所述多个第三训练目标候选框中选取与所述第一真值样本的重合度最大的第三训练目标候选框；将选取的第三训练目标候选框确定为正样本，并将选取后剩余的第三训练目标候选框确定为负样本；将所述正样本与所述负样本进行组合，得到所述第二真值样本。8.如权利要求5所述的方法，其特征在于，所述基于所述训练图像和所述第二真值样本对所述第二CNN模型中的第二网络进行训练，包括：基于所述第二CNN模型和所述训练图像，生成所述第二浅卷积层的特征图；从所述第二浅卷积层的特征图中以边长小于或等于所述预设阈值的锚点框为基准回归出目标候选框，得到多个第四训练目标候选框；基于所述多个第四训练目标候选框和所述第二真值样本，生成所述第二网络的训练参数；基于所述第二网络的训练参数对所述第二网络进行调整。9.如权利要求5所述的方法，其特征在于，所述基于训练后的第一网络和训练后的第二网络，对所述第二CNN模型中的分类网络进行训练，包括：确定所述第一真值样本的类别信息；基于训练后的第一网络、所述第一真值样本和所述第一真值样本的类别信息，确定第一分类样本，所述第一分类样本包括多个边长大于所述预设阈值的目标候选框和类别信息；基于训练后的第二网络、所述第一样本真值和所述第一真值样本的类别信息，确定第二分类样本，所述第二分类样本包括多个边长小于或等于所述预设阈值的目标候选框和类别信息；基于所述第一分类样本和所述第二分类样本，对所述第二CNN模型中分类网络进行训练。10.如权利要求9所述的方法，其特征在于，所述基于训练后的第一网络、所述第一真值样本和所述第一真值样本的类别信息，确定第一分类样本，包括：从所述多个不同尺度的第一训练目标候选框中选取边长大于所述预设阈值的目标候选框，得到多个第五训练目标候选框；从所述多个第五训练目标候选框中选取与所述第一真值样本的重合度最大的第五训练目标候选框；基于所述第一真值样本的类别信息，确定所述选取的第五训练目标候选框的类别信息；将所述选取的第五训练目标候选框和对应的类别信息进行组合，得到所述第一分类样本。11.如权利要求10所述的方法，其特征在于，所述基于所述训练后的第二网络、所述第一样本真值和所述第一真值样本的类别信息，确定第二分类样本，包括：从所述多个不同尺度的第一训练目标候选框中选取边长小于或等于所述预设阈值的目标候选框，得到多个第三训练目标候选框；基于训练后的第二网络和所述训练图像，确定多个第六训练目标候选框；基于所述多个第六训练目标候选框和所述多个第三训练目标候选框的重合度，从所述多个第六训练目标候选框中选取多个第七训练目标候选框；从所述多个第七训练目标候选框选取与所述第一真值样本的重合度最大的第七训练目标候选框；基于所述第一真值样本的类别信息，确定所述选取的第七训练目标候选框的类别信息；将所述选取的第七训练目标候选框和对应的类别信息进行组合，得到所述第二分类样本。12.如权利要求11所述的方法，其特征在于，所述基于所述第一分类样本和所述第二分类样本，对所述第二CNN模型中分类网络进行训练，包括：基于所述多个第五训练目标候选框，从所述第二深卷积层的特征图中提取多个第三目标特征图；基于所述多个第七训练目标候选框，从所述第二...

【专利技术属性】
技术研发人员：李哲暘，谭文明，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33