一种多模型融合目标检测的方法技术

本发明专利技术提出一种多模型融合目标检测的方法

【技术实现步骤摘要】
一种多模型融合目标检测的方法、装置和存储介质


[0001]本专利技术涉及图像识别，具体涉及一种多模型融合目标检测的方法
、
装置和存储介质
。

技术介绍

[0002]大多方法都是相对于一些预定义的检测框
(
如锚框
、
提议框等
)
进行学习和预测的
。
这些固定的检测框设计不当会严重影响最终性能，但很难找到最优设计
。
[0003]现有检测系统中的许多模块，如
NMS
去重
、
锚框生成等都需要人工设计和调整，编码了大量先验知识
。
这增加了设计难度，对未知目标的检测能力较弱
。
当前目标检测系统的性能很大程度上依赖于这些设计的模块，而非检测网络本身
。
移除或改变这些模块会导致显著性能下降
。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种多模型融合目标检测的方法，包括：建立一个多分支模型的目标检测架构，该多分支模型的目标检测架构包括第一检测分支模型
、
第二检测分支模型
;
对于待检测图像，分别输入所述第一检测分支模型和所述第二检测分支模型；其中，所述第一检测分支模型包括第一区域提议生成模块和第一特征提取和分类模块；所述第一区域提议生成模块对所述待检测图像使用随机生成的区域提议框作为第一候选框；所述第一特征提取和分类模块用于对所述第一候选框进行特征提取，使用第一分类算法得到第一分类结果；所述第二检测分支模型包括第二特征提取和分类模块，该模块提取所述待检测图像的金字塔特征，并使用预设的第二候选框进行检测后，使用第二分类算法，得到第二分类结果；综合所述第一分类结果和所述第二分类结果完成所述目标检测
。
[0005]特别地，所述第一分类结果和所述第二分类结果都将所述待检测图像分为三个类别，分别为前景类别，背景类别和未知前景区域类别，所述前景类别包括所述第一候选框或第二候选框对应图像中的为已知目标类别；所述背景类别包括：所述第一候选框或第二候选框对应所述待检测图像中的非感兴趣区域；所述未知前景区域类别包括：所述第一候选框或第二候选框包括未知的目标类别
。
[0006]特别地，使用随机生成的区域提议框作为第一候选框包括：使用高斯分布随机生成区域提议框作为第一候选框；对所述第一候选框进行特征提取，使用第一分类算法得到第一分类结果包括：将所述第一候选框的特征传入分类子网络，得到每一框的分类概率；计算每一所述第一候选框的匹配得分，根据所述匹配得分，确定所述第一候选框为前景或背景，通过标签标示；根据所述匹配得分，将所述第一候选框划分为已知类别框
、
未知前景类别框和背景框；对于所述已知类别框，计算其损失函数包括：分类损失和回归损失；对于未知前景类
别框和背景框，其损失函数仅包括分类损失
。
[0007]特别地，所述已知类别框，计算其损失函数包括：；其中，表示所述已知类别框的损失函数；对已知类别框集合
P
K
中每一个预测框
i
进行分类损失和回归损失求和，
|P
K
|
表示已知类别框集合中的预测框数量，表示计算的预测类别和真实类别之间的分类损失，表示对所述第一候选框坐标和真实框坐标之间的回归损失，为平衡参数；对于未知前景类别框和背景框，其损失函数包括：；其中，
P
U 表示未知前景类别的框集合，
P
B 表示背景类别的框集合，表示每一个预测框的预测类别的标签为未知前景类别的分类损失，表示每一个预测框的预测类别的标签为背景类别的分类损失，
|P
U
|
表示未知前景类别的框集合中的预测框数量，
|P
B
|
表示背景类别的框集合中的预测框数量
。
[0008]特别地，计算每一所述第一候选框的匹配得分包括根据以下公式确定：；其中，匹配分数
s(
ŷ
)
通过对
|K|
个已知类别和1个未知前景类别做
Sigmoid
函数运算，并求和获得；其中根据预测类别计算属于各个类别的概率之和，评估其作为某个类别的置信度
。
[0009]特别地，所述使用预设的第二候选框进行检测后，使用第二分类算法，得到第二分类结果包括：所述第二候选框为锚框，在经过特征提取的图上设置预定义的锚框，这些锚框具有不同尺度和长宽比；为每个所述锚框预测包含目标的置信度
、
目标类别的概率分布和边界框回归量；根据预测的边界框回归量，转换和调整所述锚框的坐标从而调整锚框的位置和形状，从默认的所述锚框变为更精确地预测出目标的真实边界框
。
[0010]特别地，综合所述第一分类结果和所述第二分类结果完成所述目标检测包括：对第一分类结果和所述第二分类结果，进行非极大值抑制，计算冗余后获得第三分类结果和第四分类结果；计算所述第三分类结果和第四分类结果的交并比（
IoU
），根据阈值确定其中包含的一致框
、
冲突框
、
漏检框；对于所述冲突框，比较两者的置信度，决定保留哪一个检测结果；对于所述漏检框，如果来自所述第三分类结果，则直接添加，如果来自所述第四分类结果，需要进一步分类过滤；最终输出综合优化后的分类结果作为图像的最终检测结果
。
[0011]特别地，所述第二特征提取和分类模块包括
CNN
卷积模块，用于提取特征；
transformer
编码器模块，用于编码图像特征和位置信息；
transformer
解码器模块，用于解码并得到分类结果和边界框回归结果
。
[0012]本专利技术还提出了一种多模型融合目标检测的装置，包括：目标检测框架建立模块，用于建立一个多分支模型的目标检测架构，该多分支模型的目标检测架构包括第一检测分支模型
、
第二检测分支模型
;
Boxes)
，这些锚框具有不同尺度和长宽比
。
使用卷积层用于特征检测，使用
transformer
模块进行特征处理和分类，其中
transformer
编码器模块用于编码图像特征和位置信息，
transformer
解码器模块，用于解码并得到分类结果和边界框回归结果
。
[0027]步骤2，对于待检测图像，分别输入所述第一检测分支模型和所述第二检测分支模型；其中，第一检测分支模型包括第一区域提议生成模块和第一特征提取和分类模块；第一检测分支模型采用两阶段检测器
Faster R
‑
CNN
模型进行优化并改造，通过两阶段检测器可实现高精度的图像检测
。
[0028]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模型融合目标检测的方法，其特征在于，包括：建立一个多分支模型的目标检测架构，该多分支模型的目标检测架构包括第一检测分支模型
、
第二检测分支模型
;
对于待检测图像，分别输入所述第一检测分支模型和所述第二检测分支模型；其中，所述第一检测分支模型包括第一区域提议生成模块和第一特征提取和分类模块；所述第一区域提议生成模块对所述待检测图像使用随机生成的区域提议框作为第一候选框；所述第一特征提取和分类模块用于对所述第一候选框进行特征提取，使用第一分类算法得到第一分类结果；所述第二检测分支模型包括第二特征提取和分类模块，该模块提取所述待检测图像的金字塔特征，并使用预设的第二候选框进行检测后，使用第二分类算法，得到第二分类结果；综合所述第一分类结果和所述第二分类结果完成所述目标检测
。2.
如权利要求1所述的多模型融合目标检测的方法，其特征在于：所述第一分类结果和所述第二分类结果都将所述待检测图像分为三个类别，分别为前景类别
、
背景类别和未知前景区域类别，所述前景类别包括所述第一候选框或第二候选框对应图像中的已知目标类别；所述背景类别包括：所述第一候选框或第二候选框对应所述待检测图像中的非感兴趣区域；所述未知前景区域类别包括：所述第一候选框或第二候选框包括的未知的目标类别
。3.
如权利要求2所述的多模型融合目标检测的方法，其特征在于：使用随机生成的区域提议框作为第一候选框包括：使用高斯分布随机生成区域提议框作为第一候选框；对所述第一候选框进行特征提取，使用第一分类算法得到第一分类结果包括：将所述第一候选框的特征传入分类子网络，得到每一框的分类概率；计算每一所述第一候选框的匹配得分，根据所述匹配得分，确定所述第一候选框为前景或背景，通过标签标示；根据所述匹配得分，将所述第一候选框划分为已知类别框
、
未知前景类别框或背景框；对于所述已知类别框，计算其损失函数，具体包括：分类损失和回归损失；对于未知前景类别框和背景框，其损失函数仅包括分类损失
。4.
如权利要求3所述的多模型融合目标检测的方法，其特征在于：所述已知类别框，计算其损失函数包括：；其中，表示所述已知类别框的损失函数；对已知类别框集合
P
K
中每一个预测框
i
进行分类损失和回归损失求和，
|P
K
|
表示已知类别框集合中的预测框数量，表示计算的预测类别和真实类别之间的分类损失，表示对所述第一候选框坐标和真实框坐标之间的回归损失，为平衡参数；对于未知前景类别框和背景框，其损失函数包括：；其中，
P
U 表示未知前景类别的框集合，
P
B
表示背景类别的框集合，表示每
一个预测框的预测类别的标签为未知前景类别的分类损失，表示每一个预测框的预测类别的标签为背景类别的分类损失，
|P
U
|
表示未知前景类别的框集合中的预测框数量，
|P
B
|
表示背景类别的框集合中的预测框数量
。5.
如权利要求3所述的多模型融合目标检测的...

【专利技术属性】
技术研发人员：王晓军，李煊，蒋东霖，李洪锐，杨泊宁，
申请(专利权)人：中国兵器装备集团兵器装备研究所，
类型：发明
国别省市：