一种基于样本的选择性知识蒸馏方法及系统技术方案

本发明专利技术公开了一种基于样本的选择性知识蒸馏方法及系统，首先训练分割SEG图像和RGB图像分别完成VPR任务的网络，再将SEG特征中包含的高质量知识迁移到RGB特征中，将分割图像中的不变性特征在RGB特征中进行强化的同时，不需要在测试时保留额外的分支网络，将分割图像通过加权独热编码输入到训练网络中，提取针对视觉位置识别任务的场景结构信息；通过基于样本的选择性知识蒸馏，根据重要性施加不同的蒸馏损失权重，通过知识蒸馏的方式将额外模态信息中的不变性特征在RGB特征中进行强化，定向地强化高质量的知识，更大程度地提升网络精度；最终网络在测试时只用到RGB图像进行全局检索，兼顾了系统的实时性、高精度和环境鲁棒性。性。性。

【技术实现步骤摘要】
一种基于样本的选择性知识蒸馏方法及系统


[0001]本专利技术属于计算机视觉和机器人领域，具体涉及一种基于样本的选择性知识蒸馏方法及系统。

技术介绍

[0002]随着计算机视觉的蓬勃发展，基于深度学习的检索定位在机器人领域中展现了巨大的发展潜力。目前在机器人上可实时处理的高精度检索定位方案是使用RGB图像进行双阶段检索：首先基于全局特征进行检索排名，之后在选出的top
‑
N中进行基于局部特征的重排名。其中只使用RGB图像进行图像级监督的全局检索方法效果不佳，无法很好地从RGB图像中提取出足够稳定、鲁棒的特征，来应对光线、季节等变化；而重排名过程在提高精度的同时，往往消耗大量的时间和计算资源。
[0003]为实现更好的全局检索效果，有些方法提出使用分割图像或深度图像等作为辅助，与RGB图像一起作为网络输入，并构建更大的网络结构，弥补只有RGB图像作为输入进行全局检索的不足。然而这种方法在实际测试时需要首先生成对应的分割图像或深度图像，并进行更大网络的推理，时间和资源的消耗依然较大，无法保证视觉位置识别任务的实时性需求。
[0004]因此需要一种新的训练方法，在强化RGB特征稳定性的同时可以减小时间和资源消耗。

技术实现思路

[0005]为了解决视觉位置识别任务中时间资源消耗与精度无法兼得的问题，本专利技术提供一种基于样本的选择性知识蒸馏的全局检索方法，致力于在不增加额外网络推理的情况下提升视觉位置识别任务的精度。
[0006]为了实现上述目的，本专利技术采用的技术方案是：一种基于样本的选择性知识蒸馏方法，包括两个阶段，第一阶段包括以下步骤：
[0007]采用MobileNetV2网络作为第一训练阶段的RGB分支网络，将MobileNetV2网络输出的多层特征图合并处理，得到RGB全局特征
[0008]采用简化的MobileNetV2网络作为第一训练阶段的SEG分支网络，将简化版MobileNetV2网络输出的多层特征图合并处理，得到SEG全局特征
[0009]第二阶段包括以下步骤：
[0010]对分割图像编码，采用one
‑
hot编码形式将SEG图像转化为张量，one
‑
hot编码形式转化为加权的编码，加大静态物体的初始编码值，降低动态物体的初始编码值；
[0011]使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计算每个训练集样本对的全局距离；
[0012]设计样本集划分策略，得到样本对划分结果，其中，样本对为1个查询图像和1个正样本组成；所述样本集划分策略中，采用直角坐标系加以量化，并以设定的条件将样本集划
分为不同的群，其中横轴x代表样本对(p,q)用训练过的SEG分支测试时，p在q的召回结果中的排名；纵轴y则代表样本对在RGB分支上的表现；
[0013]基于样本对划分结果，设定一个权重函数为每个样本对赋予其在蒸馏过程中的重要性程度；
[0014]通过RGB分支网络和最终的损失函数完成训练，而后通过RGB分支网络进行最终的测试推理，最终的损失函数三元损失函数和每个样本对的蒸馏损失函数求和得到；采用MobileNetV2网络作为第二训练阶段的RGB分支网络；将所述RGB分支网络输出的多层特征图合并处理，得到最终的全局特征。
[0015]将SEG图像转化为张量，采用one
‑
hot编码形式将H
×
W的数组转换为C
×
H
×
W的张量，C类标签聚类为6类，具体类别含义是：天空、地面、植被、动态物体、静态物体和其他物体。
[0016]所述权重函数如下：
[0017][0018]其中权重函数和(y
‑
x)成正比，和x成反比，N
m
是一个常量超参数。
[0019]每个样本对的蒸馏损失函数为：
[0020][0021]其中表示第一阶段SEG网络提取的全局特征，G
I
表示第二阶段RGB网络提取的全局特征，T(
·
)是全连接层，将两个全局特征的维度调为一致。
[0022]最终的损失函数为：
[0023][0024]样本集进行群划分定义如下：
[0025][0026][0027][0028][0029]其中N是一个常量超参数。
[0030]使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计算每个训练集样本对的全局距离时，全局特征之间的距离采用欧氏距离，图像q和图像p之间的全局距离为：
[0031]d(G
q
,G
p
)＝‖G
q
‑
G
p
‖.
[0032]针对三元组(q,p,n)，使用三元损失函数，目标是最小化正样本p和查询图像q在特
征空间中的距离，同时使负样本n和查询图像q在特征空间上尽量远离，具体计算公式如下：
[0033][0034]其中m是距离阈值，避免样本的特征聚合到一个非常小的空间中，G
q
,G
p
,G
n
分别为查询图像q、正样本图像p和负样本图像n对应的特征，当查询图像q和正样本p之间的距离小于查询图像q和负样本n之间的距离，且小于阈值m时，没有损失，无需加以动作；而当查询图像q和正样本p之间的距离大于查询图像q和负样本n之间的距离时，存在非零损失。
[0035]基于以上构思，本专利技术提供一种基于样本的选择性知识蒸馏强化结构信息的系统，包括RGB全局特征获取模块、SEG全局特征获取模块、分割图像编码模块、样本对全局距离计算模块、样本集划分模块、训练模块测试推理模块；
[0036]RGB全局特征获取模块用于采用MobileNetV2网络作为第一训练阶段的RGB分支网络，将MobileNetV2网络输出的多层特征图合并处理，得到RGB全局特征
[0037]SEG全局特征获取模块用于采用简化的MobileNetV2网络作为第一训练阶段的SEG分支网络，将简化版MobileNetV2网络输出的多层特征图合并处理，得到SEG全局特征
[0038]分割图像编码模块采用one
‑
hot编码形式将SEG图像转化为张量，one
‑
hot编码形式转化为加权的编码，加大静态物体的初始编码值，降低动态物体的初始编码值；
[0039]样本对全局距离计算模块使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计算每个训练集样本对的全局距离；
[0040]样本集划分模块用于设计样本集划分策略，得到样本对划分结果，其中，样本对为1个查询图像和1个正样本组成；所述样本集划分策略中，采用直角本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本的选择性知识蒸馏方法，其特征在于，包括两个阶段，第一阶段包括以下步骤：采用MobileNetV2网络作为第一训练阶段的RGB分支网络，将MobileNetV2网络输出的多层特征图合并处理，得到RGB全局特征采用简化的MobileNetV2网络作为第一训练阶段的SEG分支网络，将简化版MobileNetV2网络输出的多层特征图合并处理，得到SEG全局特征第二阶段包括以下步骤：对分割图像编码，采用one
‑
hot编码形式将SEG图像转化为张量，one
‑
hot编码形式转化为加权的编码，加大静态物体的初始编码值，降低动态物体的初始编码值；使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计算每个训练集样本对的全局距离；设计样本集划分策略，得到样本对划分结果，其中，样本对为1个查询图像和1个正样本组成；所述样本集划分策略中，采用直角坐标系加以量化，并以设定的条件将样本集划分为不同的群，其中横轴x代表样本对(p,q)用训练过的SEG分支测试时，p在q的召回结果中的排名；纵轴y则代表样本对在RGB分支上的表现；基于样本对划分结果，设定一个权重函数为每个样本对赋予其在蒸馏过程中的重要性程度；通过RGB分支网络和最终的损失函数完成训练，而后通过RGB分支网络进行最终的测试推理，最终的损失函数三元损失函数和每个样本对的蒸馏损失函数求和得到；采用MobileNetV2网络作为第二训练阶段的RGB分支网络；将所述RGB分支网络输出的多层特征图合并处理，得到最终的全局特征。2.根据权利要求1所述的基于样本的选择性知识蒸馏方法，其特征在于，将SEG图像转化为张量，采用one
‑
hot编码形式将H
×
W的数组转换为C
×
H
×
W的张量，C类标签聚类为6类，具体类别含义是：天空、地面、植被、动态物体、静态物体和其他物体。3.根据权利要求1所述的基于样本的选择性知识蒸馏方法，其特征在于，所述权重函数如下：其中权重函数和(y
‑
x)成正比，和x成反比，N
m
是一个常量超参数。4.根据权利要求1所述的基于样本的选择性知识蒸馏方法，其特征在于，每个样本对的蒸馏损失函数为：其中表示第一阶段SEG网络提取的全局特征，G
I
表示第二阶段RGB网络提取的全局特
征，T(
·
)是全连接层，将两个全局特征的维度调为一致。5.根据权利要求4所述的基于样本的选择性知识蒸馏方法，其特征在于，最终的损失函数为：G
q
,G
p
,G
n
分别为查询图像q、正样本图像p和负样本图像n对应的特征。6.根据权利要求1所述的基于样本的选择性知识蒸馏方法，其特征在于，样本集进行群划分定义式如下：划分定义式如下：划分定义式如下：划分定义式如下：其中N是一个常量超参数。7.根据权利要求1所述的基于样本的选择性知识蒸馏方法，其特征在于，使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计...

【专利技术属性】
技术研发人员：郑南宁，李劲承，沈艳晴，周三平，付靖文，陈仕韬，王若彤，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：