一种基于多尺度特征加权的小样本目标检测方法技术

本发明专利技术公开了一种基于多尺度特征加权的小样本目标检测方法，包括以下步骤：步骤一、将数据集划分为基本类别与小样本类别；步骤二、基类训练过程中构建特征提取网络；步骤三、构建特征分支网络，对多尺度的特征进行融合；步骤四、构建权重生成网络，预测相应类别对应的权重；步骤五、进行类别权重加权过程，使用不同类别的权重向量对特征进行加权；步骤六、使用综合检测器进行回归预测；步骤七、在网络框架不变的情况下将基本类别与小样本类别同时加入微调过程，重复上述步骤二至六最终得到小样本目标检测的结果。本发明专利技术结构清晰，设计了多尺度融合的网络结构让网络能够使用各个尺度的图像信息从而能更好的检测不同尺度的目标。的图像信息从而能更好的检测不同尺度的目标。的图像信息从而能更好的检测不同尺度的目标。

【技术实现步骤摘要】
一种基于多尺度特征加权的小样本目标检测方法


[0001]本专利技术属于深度学习目标检测领域，具体针对小样本领域涉及一种基于多尺度特征加权的小样本目标检测方法。

技术介绍

[0002]随着近年来计算机技术的发展，计算机的计算能力飞速增长，人工智能技术也逐渐进入人们的视野。人工智能技术旨在让机器达到像人一样的智能，可以自行处理问题，甚至比人更加准确更加快速。如今人工智能技术已经在生活中有着广泛的应用。人工智能技术通过深度学习框架对图片中的目标特征进行提取和学习让网络获得检测相应目标的能力从而达到了智能检测目标的能力。深度学习方法不需要人为设计特征表达来提取特征，而是通过训练海量的数据自行提取特征，这个过程节省了大量的时间和人力。而且已经被证实，在拥有足够数据量的情况下，使用深度学习的目标检测方法的检测精度要比传统检测方法高很多。
[0003]深度学习目标检测在训练数据量充足时都可以达到不错的效果，但是当训练数据量减少时，传统的深度学习目标检测网络的检测效果都会下降。在大多数目标检测情况下，不充足的数据量将会限制这些监督学习目标检测器。由于收集大量的有标注图片是极为花费人力物力的，所以小样本条件下的深度学习目标检测研究就显得尤为重要。
[0004]近年来针对小样本学习的研究更多的是集中在目标分类任务上，针对小样本条件下的目标检测研究相对较少。迁移学习，元学习等思想也相继被引入来解决小样本检测问题。Santoro等人提出使用记忆增强的方法来解决小样本学习任务。KUN FU等人在Meta
‑
SSD中提出一种基于元学习的小样本检测思路，其通过构建一个元学习器(Meta
‑
learner)去指导网络的学习，从而使网络模型能快速地适应新检测任务，从而实现小样本目标检测。这个方法给出了解决小样本目标检测的新思路。
[0005]但是目前的小样本目标检测存在着一些问题，主要表现在：(1)小样本条件下造成严重的正负类别不平衡问题；(2)模型的知识迁移能力都较弱。本专利技术中将提出一种解决方案用以解决上述两种小样本条件下所面临的问题。

技术实现思路

[0006]针对上述技术问题本专利技术提供了一种基于多尺度特征加权的小样本目标检测方法。首先方法在基本类别上训练，将多层的特征进行融合，并且通过权重提取网络给出对每个类别预测的权重，将融合后的特征与每个检测类别的权重进行加权从而获得特征对每个类别的预测从而获得最后的检测结果。本方法使用特征融合再加权的方法提高了模型对不同尺度的目标的检测能力，再通过少量小样本类别样本进行模型微调从而实现小样本条件下的目标检测。
[0007]本专利技术采用的技术方法是：一种基于多尺度特征加权的小样本目标检测方法，包括以下步骤：
[0008]步骤一、实验采用PASCAL VOC数据集，将数据集分为基本类别和小样本类别两种：
[0009]步骤101、将VOC 07train/val和VOC 12train/val中的所有数据统一作为训练集，将VOC 07test中数据作为实验用的测试集。
[0010]步骤102、将VOC数据集共20个类别中随机抽取5个类别作为小样本类别用于微调过程，其余15个类别作为基本类别用于基本训练过程。
[0011]步骤103、15个基本类别用于模型的基本训练，在完成基本训练后用所有20类别一起进行少量迭代的微调得到最后的检测模型。
[0012]步骤二、基本训练过程使用15类基本类别进行训练，先构建darknet特征提取网络，用于提取输入图片的图像特征：
[0013]步骤201、构建的darknet网络为基础网路，其包括5个卷积模块和7层卷积层构成，5个卷积模块分别由1、1、3、3、5个卷积层后接上一层最大值池化层构成。
[0014]步骤202、通过基础网络提取图片中的特征，此时网络输出小尺度的特征F用于后续的特征融合。
[0015]步骤三、构建特征分支网络，让多尺度的图片特征进行融合：
[0016]步骤301、模型中构建三处特征分支网络，分支网络将多个尺度的特征连接到一起以获得更全面的目标信息。
[0017]步骤302、设计的特征分支网络由一层卷积层和一层特征尺度调节层构成，卷积层用于将不同维度的特征图进行适当降维，尺度调节层将不同尺度的特征层调节成相同尺度便于融合。
[0018]步骤303、方法使用特征分支网络将第三个卷积模块中的第三层卷积层特征F1、第四个卷积模块中的第三个卷积层特征F2、和第五个卷积模块中的第五个卷积层的特征F3与主干网络提取的图像特征F进行融合获得最终的特征图。
[0019]步骤四、构建类别权重生成网络用于预测每个类别对应的权重向量：
[0020]步骤401、权重生成网络输入为每个类别的图片，输出为每个类别对应的权重向量W
i
。
[0021]步骤402、权重生成网络由六个卷积模块构成，每个模块包括一个卷积层和一个最大值池化层。
[0022]步骤五、基于类别权重向量的特征加权过程，通过类别权重向量对融合后的特征进行加权处理，让目标的特征更贴近其真实类别：
[0023]步骤501、将由步骤三获得的融合特征通过一层卷积层降维到类别权重的维度。
[0024]步骤502、将类别权重对融合特征进行1
×
1通道数不变的卷积得到加权后的特征F
w
。
[0025]步骤503、将加权后的特征进一步降维为到30维特征F
30
，对于每个边界框模型预测6维度参数(o,x,y,h,w,c)，其中o为置信度、x为锚点的x坐标、y为锚点的y坐标、h为边界框的高、w为边界框的宽、c为目标的类别。由于每个锚点预先设定5种长宽比的边界框，所以每个锚点共预测30维参数。
[0026]步骤六、利用降维后的特征F
30
进行回归预测，获得最终的检测结果：
[0027]步骤601、将降维后的特征F
30
图输入检测模块进行预测。
[0028]步骤602、训练过程中对于置信度o使用均方差损失L
obj
公式如下：
[0029][0030]其中p
i
为网络的预测值，t
i
表示为相应的标签真实值。
[0031]步骤603、对于边界框坐标x、y、w、h，模型同样使用均方差损失，L
bbox
损失如下：
[0032][0033]网络对bbox的每一维坐标都计算相应的损失，总体的边界框损失为四个坐标损失的总和，其中x
i
、y
i
、w
i
、h
i
为网络的预测值，X
i
、Y
i
、W
i
、H
i
为其真实值。
[0034]步骤604、模型训练过程中使用改进的mFocalLoss作为分类损失公式如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征加权的小样本目标检测方法,其特征在于：其包括以下步骤：步骤一、实验采用PASCAL VOC数据集，将数据集分为基本类别和小样本类别两种：步骤101、将VOC 07train/val和VOC 12train/val中的所有数据统一作为训练集，将VOC 07test中数据作为实验用的测试集。步骤102、将VOC数据集共20个类别中随机抽取5个类别作为小样本类别用于微调过程，其余15个类别作为基本类别用于基本训练过程。步骤103、15个基本类别用于模型的基本训练，在完成基本训练后用所有20类别一起进行少量迭代的微调得到最后的检测模型。步骤二、基本训练过程使用15类基本类别进行训练，先构建darknet特征提取网络，用于提取输入图片的图像特征：步骤201、构建的darknet网络为基础网路，其包括5个卷积模块和7层卷积层构成，5个卷积模块分别由1、1、3、3、5个卷积层后接上一层最大值池化层构成。步骤202、通过基础网络提取图片中的特征，此时网络输出小尺度的特征F用于后续的特征融合。步骤三、构建特征分支网络，让多尺度的图片特征进行融合：步骤301、模型中构建三处特征分支网络，分支网络将多个尺度的特征连接到一起以获得更全面的目标信息。步骤302、设计的特征分支网络由一层卷积层和一层特征尺度调节层构成，卷积层用于将不同维度的特征图进行适当降维，尺度调节层将不同尺度的特征层调节成相同尺度便于融合。步骤303、方法使用特征分支网络将第三个卷积模块中的第三层卷积层特征F1、第四个卷积模块中的第三个卷积层特征F2、和第五个卷积模块中的第五个卷积层的特征F3与主干网络提取的图像特征F进行融合获得最终的特征图。步骤四、构建类别权重生成网络用于预测每个类别对应的权重向量：步骤401、权重生成网络输入为每个类别的图片，输出为每个类别对应的权重向量W
i
。步骤402、权重生成网络由六个卷积模块构成，每个模块包括一个卷积层和一个最大值池化层。步骤五、基于类别权重向量的特征加权过程，通过类别权重向量对融合后的特征进行加权处理，让目标的特征更贴近其真实类别：步骤501、将由步骤三获得的融合特征通过一层卷积层降维到类别权重的维度。步骤502、将类别权重对融合特征进行1
×
1通道数不变的卷积得到加权后的特征F
w
。步骤503、将加权后的特征进一步降维为到30维特征F
30
，对于每个边界框模型预测6维度参数(o,x,y,h,w,c)，其中o为置信度、x为锚点的x坐标、y...

【专利技术属性】
技术研发人员：蒋雯，张子涵，耿杰，邓鑫洋，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：