【技术实现步骤摘要】
本专利技术涉及一种无人系统视觉定位方法，特别是一种基于双向分层动量对比学习的无人系统视觉定位方法。
技术介绍
1、在跨视角图像检索任务中，往往用训练好的神经网络提取图像特征，然后将不同视角的图像(ground-view和aerial-view)特征求相似度，相似度最高的图像对视为是匹配的。因此，这要求神经网络的特征提取器在训练过程中需要学习到匹配的图像对与不匹配的图像对之间的区别。这一过程需要在训练中为查询图像提供正样本和足够多的负样本使得神经网络的特征提取器可以学习到具有判别性的特征。
2、到目前为止，面向跨视角图像检索已经取得了很多的研究成果。但仍然存在以下问题：
3、1)大多数方法采用三元组损失函数，这样使得图像差异较大的损失函数值偏低，不利于神经网络学习。
4、2)由于模型训练过程中采用批处理，通常将小批量中的其他图像的对应图像作为当前图像的不匹配图像，即视为当前图像的负样本。这种方法可能会导致负样本的数量偏少使得神经网络难以学习到具有判别性的特征。
5、3)对于对比学习方法中用队列存储负样本，通常仅仅是单向的。这样对于双网络模型，可能会导致验证时检索方向的偏见，从而影响模型的性能。
技术实现思路
1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于双向分层动量对比学习的无人系统视觉定位方法。
2、为了解决上述技术问题，本专利技术公开了一种基于双向分层动量对比学习的无人系统视觉定位方法，
3、步骤1：将两种视角的图片进行预处理，分别作为神经网络模型中各自网络的输入；所述两种视角的图片，分别为第一视角图片和第二视角图片；
4、步骤2：设计神经网络模型，用于提取图片特征，获得不同阶段的图片特征，即局部特征和全局特征；采用度量学习的训练方法对所述神经网络模型进行训练；
5、步骤3：设计编码器用于编码图片特征，并创建2个队列，用于分别存储两种视角的图片经过编码器处理的图片特征；
6、步骤4：将第一视角图片视为anchor(锚点)作为神经网络模型的输入，第二视角图片作为编码器的输入，并将编码器输出的图片特征处理后存入相应队列中并更新队列；
7、步骤5：将第一视角图片和第二视角图片交换作为输入的位置，重复执行步骤4；
8、步骤6：分别采用神经网络模型输出的不同阶段的图像特征和编码器输出的与之对应阶段的图像特征进行相似度计算，得到anchor与正负样本之间的相似度；
9、步骤7：利用得到的相似度，计算不同阶段特征的损失函数值，实现反向传播，更新所述的神经网络模型；
10、步骤8：动量更新编码器参数，并重复上述步骤4至步骤7，完成编码器更新和神经网络模型训练；
11、步骤9，使用训练好的神经网络模型和更新好的编码器，进行视觉定位，完成基于双向分层动量对比学习的无人系统视觉定位。
12、进一步的，步骤1中所述的第一视角图片和第二视角图片分别为地面视图ground-view和鸟瞰图aerial-view。
13、进一步的，步骤1中所述的进行预处理，包括：对两种视角的图片进行极坐标变换、标记地理位置、裁剪、缩放和数据增强。
14、进一步的，步骤2中所述的神经网络模型，包括：
15、vgg16的卷积层部分、局部编码器和全局编码器，其中，局部编码器和全局编码器均由4个deit小块组成。
16、进一步的，步骤2中所述的训练，使用infonce作为损失函数，具体如下：
17、设置温度系数τ控制所述神经网络模型对负样本的区分度，设anchor的图像特征为q，第i个不同视角的图片即样本为ki，其中与anchor匹配的正样本为k+，则损失函数l为：
18、
19、其中，k表示样本数量，exp()表示以自然对数e为底的指数函数，s()表示相似度计算。
20、进一步的，步骤3中所述的设计编码器，具体包括：
21、使用步骤2中设计的神经网络模型作为编码器，该编码器在后续过程中不进行反向传播，只进行动量参数更新。
22、进一步的，步骤4中所述的将编码器输出的图片特征处理后存入相应队列中并更新队列，具体包括：
23、设第一视角图片和第二视角图片经编码器处理后，输出的局部特征分别为和全局特征分别为和按通道连接后，第一视角图片和第二视角图片的级联特征分别为和具体表示如下：
24、
25、
26、将上述级联特征和分别存入相应的队列，并根据先进先出原则更新队列。
27、进一步的，步骤6中所述的进行相似度计算，具体包括：
28、s(a,g)＝fa·fg
29、其中，s(a,g)表示相似度，fa和fg为不同的图像特征，‘·’则表示向量之间的点乘运算。
30、进一步的，步骤7中所述的损失函数值ltotal，计算方法如下：
31、ltotal＝αhlh+αglg+αclc
32、其中，局部特征损失为lh，其损失权重为αh；全局特征损失为lg，其损失权重为αg；级联特征损失为lc，其损失权重为αc；
33、上述不同阶段特征的损失函数值，利用步骤6中所述的相似度计算和步骤2中的损失函数计算方法获得。
34、进一步的，步骤8中所述的动量更新编码器参数，具体包括：
35、设第一视角图片神经网络为gq，其编码器为gk，第二视角图片神经网络为aq，其编码器为ak，编码器的参数为θ，动量更新过程为：
36、
37、
38、其中，设置超参数m∈[0,1)，用于控制所述编码器动量更新的速度。
39、有益效果：
40、1、本专利技术提供面向无人系统视觉定位的双向分层动量对比学习方法可通过综合考虑跨视角图像差异以及分层结构的神经网络模型，从而得到比一般训练方法更好的效果，实现不同视角的图像匹配。
41、2、本专利技术提供的算法使用了更加具有判别性的训练方法，得到足够区分的特征。
42、3、本专利技术还采用的双向分层的对比学习方法，可使用于更加复杂的模型。同时也弥补了常用检索方式可能会导致信息流偏见的不足。
本文档来自技高网...【技术保护点】
1.一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤1中所述的第一视角图片和第二视角图片分别为地面视图Ground-view和鸟瞰图Aerial-view。
3.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤1中所述的进行预处理，包括：对两种视角的图片进行极坐标变换、标记地理位置、裁剪、缩放和数据增强。
4.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤2中所述的神经网络模型，包括：
5.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤2中所述的训练，使用InfoNCE作为损失函数，具体如下：
6.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤3中所述的设计编码器，具体包括：
7.根据权利要求1所述的一种基于双向分层动量对比
8.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤6中所述的进行相似度计算，具体包括：
9.根据权利要求7所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤7中所述的损失函数值Ltotal，计算方法如下：
10.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤8中所述的动量更新编码器参数，具体包括：
...【技术特征摘要】
1.一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤1中所述的第一视角图片和第二视角图片分别为地面视图ground-view和鸟瞰图aerial-view。
3.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤1中所述的进行预处理，包括：对两种视角的图片进行极坐标变换、标记地理位置、裁剪、缩放和数据增强。
4.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤2中所述的神经网络模型，包括：
5.根据权利要求1所述的一种基于双向分层动量对比学习的无人系统视觉定位方法，其特征在于，步骤2中所述的训练，使用infonce作为损失...
【专利技术属性】
技术研发人员：叶玲，王芳，蒋飞，陶智刚，张武，郑少秋，王腾，程磊，冯建航，施生生，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。