用于三维几何引导的师生特征匹配(3DG-STFM)的系统技术方案

本发明专利技术公开了一种用于三维几何引导的师生特征匹配的系统，包括多模态教师模型、单模态学生模型、粗级知识转移损失函数和细级知识转移损失函数。多模态教师模型用于确定一对RGB

【技术实现步骤摘要】
用于三维几何引导的师生特征匹配(3DG
‑
STFM)的系统


[0001]本专利技术涉及图像处理领域，特别涉及一种用于三维几何引导的师生特征匹配(3DG
‑
STFM)的系统，以在重叠图像之间建立对应关系。

技术介绍

[0002]建立重叠图像之间的对应关系对于许多计算机视觉任务至关重要，比如运动推断结构(SfM)、即时定位与地图构建(SLAM)、视觉定位等。
[0003]大多数解决该问题的现有技术遵循经典的三阶段流程，即特征检测、特征描述和特征匹配。为了生成不受光照或视角变化影响的鲁棒描述子，对传统的手动特征描述子，例如SIFT、SURF和BRISK，和深度网络表示特征进行了深入研究。通过基于最近邻搜索或可学习匹配策略的匹配算法可以产生点对点对应。
[0004]利用图形神经网络(GNN)，基于学习的匹配系统SuperGlue在两组关键点之间构建密集连接的图。使用自注意力和交叉注意力机制在GNN中集成和交换关键点的几何相关性及其视觉特征。然而，那些基于检测器的局部特征匹配算法只产生稀疏的关键点，尤其是在低纹理区域。
[0005]因此，在本领域仍需要解决上述缺陷和不足。

技术实现思路

[0006]基于上述现有技术中的缺陷与不足，本专利技术的一个目的在于提供一种框架/架构，利用RGB诱导的深度信息来提高局部特征匹配性能。本专利技术的另一个目的在于提供一种模型压缩系统，以训练出高效、轻权重的模型，从而消耗更少的计算资源，其匹配质量和准确性更高。特别地，本专利技术提供了一种三维几何引导的师生特征匹配(3DG
‑
STFM)的系统，这是一种师生学习框架，可以将多模态教师模型学到的深度知识转移到单模态学生模型，从而对局部特征匹配进行改进。
[0007]在本专利技术的一个方面，该系统包括多模态教师模型和单模态学生模型。用于确定一对RGB
‑
D图像之间的特征匹配，其中，每个RGB
‑
D图像为RGB图像及其对应的深度图像的组合。深度图像为图像通道，该图像通道中的每个像素与RGB图像中图像平面与对应对象之间的距离有关。单模态学生模型用于从RGB图像对和教师模型中确定特征匹配，其中教师模型引导学生模型学习RGB诱导深度信息，以进行粗级和细级特征匹配。该系统还包括粗级知识转移损失函数和细级知识转移损失函数。粗级知识转移损失函数用于确定将粗级匹配知识从教师模型转移到学生模型的损失，细级知识转移损失函数用于确定将细级匹配知识从教师模型转移到学生模型的损失，且引导学生模型优先学习细级预测分布。
[0008]在一实施例中，每个教师模型和学生模型均包括特征金字塔网络(FPN)，用于从图像对中提取具有1/8原始图像分辨率的粗级局部特征和具有1/2原始图像分辨率的细级特征。
[0009]在一实施例中，教师模型的FPN为RGB
‑
D图像的四通道输入，学生模型的FPN为RGB
图像的三通道输入，其中D表示深度信息。
[0010]在一实施例中，每个教师模型和学生模型还包括粗级局部特征转换模块、粗级匹配模块和细级匹配模块。
[0011]在一实施例中，粗级局部特征转换模块用于：
[0012]将提取的粗级特征图展平为一维向量；
[0013]对展平的一维向量进行位置编码，以对每个特征条目分配一个正弦格式的唯一嵌入向量，从而对空间信息进行编码；以及
[0014]通过包含自注意力层和交叉注意力层的粗级匹配转换器处理已编码的局部特征向量，以生成包含相关矩阵的逻辑层。
[0015]在一实施例中，自注意力层和交叉注意力层以L
c
的倍数交错在粗级匹配转换器中。
[0016]在一实施例中，粗级匹配模块用于：
[0017]通过在行方向和列方向上对相关矩阵S
c
应用双重softmax操作来生成置信分数矩阵P
c
，其中：
[0018]P
c
(i,j)＝softmax(S
c
(i,
·
)
j
)*softmax(S
c
(
·
,j)
i
)
[0019]P
c
(i,j)为匹配位置(i，j)处的匹配概率；以及
[0020]选择概率分数高于阈值θ
c
的匹配对以生成粗级匹配预测。
[0021]在一实施例中，给定从对应标签导出的真值矩阵，通过下式计算衡量粗级局部特征转换模块和粗级匹配模块性能的交叉熵损失：
[0022][0023][0024]其中为真值标签生成的对应集，具有预测概率p的FL为焦点损失项，用于解决匹配和不匹配对之间的不平衡。
[0025]在一实施例中，细级匹配模块用于：
[0026]将粗匹配位置(i,j)投影到细级特征图的位置处，并从相邻的规格为w
×
w的窗口中提取其特征作为匹配候选；
[0027]对选定的粗级特征进行上样，并将已上样的粗级特征与细级特征相关联；以及
[0028]通过细级匹配转换器处理关联的细级特征，以预测子像素级的对应关系。
[0029]在一实施例中，细级匹配转换器包含L
f
自注意力层和交叉注意力层，以聚合细级局部信息并生成用于位置细化的热图分布。
[0030]在一实施例中，按照下式计算基于直接监督的最终损失：
[0031][0032]其中为从图像解决方案包覆到细级热图图例的真值位置，为与粗略位置相关联的预测，为热图分布的总方差，为模块预测的细匹配集。
[0033]在一实施例中，相似度分布的总方差随机向每个细级匹配分配权重，其中较大的总方差为与低权重相关联的未知预测。
[0034]在一实施例中，粗级知识转移损失函数用于将逻辑层分为多个独立查询分布，并引导学生模型学习这些分布。
[0035]在一实施例中，由粗级知识转移损失函数确定相互查询偏离(MQD)损失，MQD损失通过下述公式利用所有相互查询分布进行知识转移：
[0036][0037][0038][0039][0040]其中和分别为在温度T下提取的学生和教师的查询分布，将附加焦点损失权重FL添加进来以平衡匹配/不匹配的真值对。为学生模型预测的标准置信分数。粗级别的总MQD损失为所有n个分布的知识蒸馏(KD)损失的平均值，其中n等于2
×
hw。
[0041]在一实施例中，细级知识转移损失函数用于向教师模型的预测分配权重，同时具有更高确定性的预测被分配到更大的权重。
[0042]在一实施例中，教师模型和学生模型的热图分别为和的高斯分布。
[0043]在一实施例中，通过细级知识转移损失函数确定用于帮助学生模型学习高斯分布的注意损失
[0044][0045]其中，和分别为学生和教师输出分布的期望值，与细级对应集中的对应匹配。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于三维几何引导的师生特征匹配(3DG
‑
STFM)的系统，包括：多模态教师模型，用于确定一对RGB
‑
D图像之间的特征匹配，其中，每个RGB
‑
D图像为RGB图像及其对应深度图像的组合，所述深度图像为图像通道，所述图像通道中的每个像素与所述RGB图像中图像平面与对应对象之间的距离有关；单模态学生模型，用于从所述RGB图像对和所述教师模型中确定特征匹配，其中，所述教师模型引导所述学生模型学习RGB诱导深度信息，以进行粗级和细级特征匹配；粗级知识转移损失函数，用于确定将粗级匹配知识从所述教师模型转移到所述学生模型的损失；以及细级知识转移损失函数，用于确定将细级匹配知识从所述教师模型转移到所述学生模型的损失，且引导所述学生模型优先学习细级预测分布。2.如权利要求1所述的系统，其中，每个所述教师模型和所述学生模型均包括特征金字塔网络(FPN)，所述FPN用于从所述图像对中提取具有1/8原始图像分辨率的粗级局部特征和具有1/2原始图像分辨率的细级特征。3.如权利要求2所述的系统，其中，所述教师模型的FPN为所述RGB
‑
D图像的四通道输入，所述学生模型的FPN为所述RGB图像的三通道输入，其中D表示深度信息。4.如权利要求2所述的系统，其中，每个所述教师模型和所述学生模型还包括粗级局部特征转换模块、粗级匹配模块和细级匹配模块。5.如权利要求4所述的系统，其中，所述粗级局部特征转换模块用于：将提取的粗级特征图展平为一维向量；对展平的一维向量进行位置编码，以对每个特征条目分配一个正弦格式的唯一嵌入向量，从而对空间信息进行编码；以及通过包含自注意力层和交叉注意力层的粗级匹配转换器处理已编码的局部特征向量，以生成包含相关矩阵的逻辑层。6.如权利要求5所述的系统，其中，所述自注意力层和所述交叉注意力层以L
c
的倍数交错在所述粗级匹配转换器中。7.如权利要求5所述的系统，其中，所述粗级匹配模块用于：通过在行方向和列方向上对所述相关矩阵S
c
应用双重softmax操作来生成置信分数矩阵P
c
，其中：P
c
(i,j)＝softmax(S
c
(i,
·
)
j
)*softmax(S
c
(
·
,j)
i
)P
c
(i,j)为匹配位置(i，j)处的匹配概率；以及选择概率分数高于阈值θ
c
的匹配对以生成粗级匹配预测。8.如权利要求7所述的系统，其中，给定从对应标签导出的真值矩阵，通过下式计算测量所述粗级局部特征转换模块和所述粗级匹配模块性能的交叉熵损失：量所述粗级局部特征转换模块和所述粗级匹配模块性能的交叉熵...

【专利技术属性】
技术研发人员：毛润钰，白宸，吕骋，安亚通，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：