【技术实现步骤摘要】
本专利技术属于自然条件下的2d物体检测方法，具体涉及一种同构2d检测模型的知识蒸馏技术。
技术介绍
1、目标检测任务通常包含分类和定位两个子任务，用于定位并识别目标的属性以及空间位置。现有的目标检测算法借助于两个并行的检测头，在深度特征的基础上分别实现了分类置信度预测和空间位置回归。然而，这种经典的设计范式不可避免地导致了分类置信度和定位质量(iou)之间空间分布的不一致。这种不一致会导致在后处理阶段(nms)，分类置信度高但是定位质量低的预测框将会抑制定位精度高但是分类置信度低的预测结果，从而导致局部最优的预测。
2、现有的工作致力于通过三种方式缓解这一问题，包括额外增加一个检测头预测回归分数进而重新定义nms评分，例如iounet和fcos；将输出预测限制在一致性预测区域内；增强分类和回归任务之间的依赖性以输出更一致的预测。尽管这些研究在缓解空间分布不一致的影响方面取得了显著进展，他们往往依赖于额外的网络或者先验假设，增加了模型开销，限制了模型精度的提升。
3、综上所述，提出一种高效、鲁棒的检测方法以缓解现有检测架构存在的分类分布和定位分布不一致的问题，是至关重要的。
技术实现思路
1、为了解决
技术介绍
中存在的问题，提出了一种面向同构检测器的知识蒸馏方法，采用知识蒸馏提升同构小模型的检测精度的方法。主要包括一致性蒸馏和动态区域特征蒸馏两个模块。首先，定义了一种新颖的一致性评分来估计密集检测中分类和回归质量的匹配程度，并将提出的一致性评分作为先验知识，借助
2、为了实现上述目的，本专利技术采用的技术方案包括以下步骤：
3、一、一种针对自然场景下同构2d检测器的知识蒸馏方法，包括以下步骤：
4、s1：获取rgb图像数据集；
5、s2：使用步骤s1的rgb图像数据集对检测rgb图像的2d检测算法进行训练，并对训练过程进行优化，具体为：
6、2.1)针对教师模型和学生模型设计一致性分数，用于对2d检测算法中分类置信度与定位质量的不一致进行定量量化；
7、2.2)在2d检测算法的输出维度的训练上，基于步骤2.1)的一致性度量分数，设计一种一致性蒸馏的知识传递方法，并通过加权重点区域的一致性损失实现高效的一致性迁移；
8、2.3)在2d检测算法的特征维度的训练上，设计一种动态区域融合的特征蒸馏方法：通过当前学生模型和教师模型的分类概率和定位概率，动态融合分类区域与定位区域，实现学生模型的2d检测特征模仿；
9、s3：采用训练后的2d检测算法对待测的rgb图像进行检测，输出图像中检测对象的类别和位置坐标。
10、为了缓解分类置信度与定位质量的不一致会导致后处理阶段错误的抑制问题，步骤2.1)中提出了针对教师模型和学生模型的一致性分数的计算。
11、所述步骤2.1)的具体过程为：
12、2.1.1)将2d检测模型的预测结果转化为分类概率和定位概率；
13、给定一个预测矩形框，使用pcls和preg分别表示分类和定位的预测结果；其中，pcls为c维的向量，c表示检测数据集类别数量，preg为4维向量，表示矩形框的位置坐标；
14、对于分类任务，其分类概率pc计算为：
15、
16、其中，k为索引变量，softmax为空间softmax函数，用于将保留后的分类分支的最大输出归一化到[0,1]；
17、对于定位分支，首先将2d检测模型定位网络预测的值通过decode函数映射至真实的图像空间，然后评估每个矩形框和真实值gt之间的定位质量iou，对于每个预测框，最大的iou得分被定义为回归概率pr：
18、
19、其中，g为索引变量，g表示真实的矩形框数量；
20、2.1.2)依据分类概率和定位概率的偏差导出一致性分数：
21、给定一个二元组(pc,pr)，一致性分数hs计算为：
22、δp＝|pc-pr|
23、
24、所述步骤2.1.1)中：
25、对于单阶段检测器，pcls和preg表示检测头的输出；
26、对于两阶段检测器，pcls和preg表示rpn网络的输出。
27、所述步骤2.2)用于同构检测模型的一致性蒸馏方法具体为：
28、基于步骤2.1)中的一致性分数hs，将教师模型的hs作为新知识来指导学生模型的训练，使用上标t和s分别表示教师和学生的hs；
29、考虑到密集检测场景下的hs数量，为了突出前景预测框的贡献，利用教师模型定位分支生成的pr作为空间掩模ψ，对一致性损失的计算进行加权：
30、
31、
32、其中，i,j、m,n均为图像尺寸的索引；l为fpn层级的索引，1-5；r表示定位；c表示分类；w,h为图像尺寸，l为fpn层级的数量。
33、所述步骤2.3)的动态区域融合的特征蒸馏方法具体为
34、现有的基于fpn的特征蒸馏表示如下：
35、
36、其中φ为自适应层，用于对齐教师和学生的特征维度。由于目标检测任务中前景远远少于背景像素，上述特征蒸馏将被背景特征的学习所主导。对此，提出了一种动态区域融合的特征蒸馏方法。不同于现有的方法，本专利技术提出的动态核心区域蒸馏综合考虑了分类和定位不一致的问题。
37、2.3.1)综合利用教师模型的预测二元组(pc,pr)作为空间掩膜对原始的特征蒸馏进行加权，得到加权后的分类区域特征蒸馏lfpn-cls和定位区域特征蒸馏lfpn-reg；所述加权后的分类区域特征蒸馏和定位区域特征蒸馏计算如下：
38、
39、
40、其中，f表示特征。
41、2.3.2)通过动态核心区域生成方法得到平衡特征蒸馏幅值的权值，以平衡分类区域和定位区域的特征蒸馏幅值，具体过程为：
42、将教师和学生的预测掩码在通道维度上进行连接：
43、
44、连接后的预测p通过平均池化进行压缩后输入两个轻量级fc层，以生成任务相关的权值；
45、最后，对输出结果进行softmax函数得到归一化权值，以保证权值之和为1：
46、t0,t1＝softmax(fc(fc(avgpool(p))))
47、给定任务相关的权值t0,t1，动态区域融合的特征蒸馏计算为：
48、losstfd＝t0×lfpn-cls+t1×lfpn-reg。
49、本专利技术设计了基于预测的一致性蒸馏模块和动态区域融合的特征本文档来自技高网...
【技术保护点】
1.一种针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于：
3.根据权利要求2所述的针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于：所述步骤2.1.1)中：
4.根据权利要求1所述的针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于：所述步骤2.2)的一致性蒸馏方法具体为：
5.根据权利要求1所述的针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于：所述步骤2.3)的动态区域融合的特征蒸馏方法具体为：
6.根据权利要求5所述的针对自然场景下同构2D检测器的知识蒸馏方法，其特征在于：所述加权后的分类区域特征蒸馏和定位区域特征蒸馏计算如下：
【技术特征摘要】
1.一种针对自然场景下同构2d检测器的知识蒸馏方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对自然场景下同构2d检测器的知识蒸馏方法，其特征在于：
3.根据权利要求2所述的针对自然场景下同构2d检测器的知识蒸馏方法，其特征在于：所述步骤2.1.1)中：
4.根据权利要求1所述的针对自然场景下同构2d检测器的知...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。