一种基于图像检索双域语义域适应的长期视觉定位方法技术

本发明专利技术属于视觉识别定位技术领域，公开了一种基于图像检索双域语义域适应的长期视觉定位方法。建立双域体系结构网络模型，构成自适应三重特征损失函数、循环一致损失函数、语义交叉熵损失函数、三重语义交叉熵损失函数、域特征一致损失函数、SAM损失函数六种函数更新双域体系结构网络模型；更新后得到最终双域体系结构网络模型，进行视觉定位。该发明专利技术所提出的框架只需要在虚拟数据集Virtual KITTI 2上进行训练而不需要引入其他真实数据集进行训练，就可以使模型具有很好的域适应能力并可以在其他数据集上取得良好的效果，从而提高最终的图像检索性能。

【技术实现步骤摘要】

本专利技术涉及视觉识别定位，尤其涉及一种基于图像检索双域语义域适应的长期视觉定位方法。

技术介绍

1、视觉定位是自动驾驶和移动机器人视觉感知中一个极其关键的问题，特别是在长期的同步定位和建图系统(slam)中。当在gps受限的情况下，该技术在移动机器人的导航中起着至关重要的作用。移动机器人构建的地图通常具有一定的时效性，随着时间的变化，由于光照、天气和季节变化等影响，新观测的图像可能会和之前得到的图像发生很大的变化，这为长期视觉定位带来了新的挑战。目前，基于图像检索的方法是解决该问题的一个有效途径。针对不同环境下的查询图像，基于图像检索的定位方法是从数据库中找到与查询图片最相似的位置作为当前查询帧的位置识别，并可为更精细的六自由度相机位姿回归提供相对准确的初始姿态。

2、文献《ieee transactions on neural networks and learning systems,661-674,2019》提出了一种新型深度神经网络，该网络利用图像的空间金字塔结构来增强局部聚合描述符(vlad)的向量增强的vlad特征能反映结构信息的本文档来自技高网...

【技术保护点】

1.一种基于图像检索双域语义域适应的长期视觉定位方法，其特征在于，建立双域体系结构网络模型，所述双域体系结构网络模型的主体结构由两个域构成，每个域的结构相同；每个域包括一个编码器Ei和两个解码器；所述解码器分别为内容解码器Di和语义分割解码器有M种环境变化时，随机选取不同环境下的两个场景，分别设为i，j，其中i,j∈{1,…,M},i≠j；在此基础上，随机从这两个场景中选取图片，记为xi和xj，并且xi∈Xi和xj∈Xj；Xi、Xj为不同环境图像的集合；不同场景的图片经编码器编码生成特征，并通过另一个域的内容解码器解码出当前环境在其他场景下的虚拟图像，生成虚拟图像后再经过当前所在域的编码...

【技术特征摘要】

1.一种基于图像检索双域语义域适应的长期视觉定位方法，其特征在于，建立双域体系结构网络模型，所述双域体系结构网络模型的主体结构由两个域构成，每个域的结构相同；每个域包括一个编码器ei和两个解码器；所述解码器分别为内容解码器di和语义分割解码器有m种环境变化时，随机选取不同环境下的两个场景，分别设为i，j，其中i,j∈{1,…,m},i≠j；在此基础上，随机从这两个场景中选取图片，记为xi和xj，并且xi∈xi和xj∈xj；xi、xj为不同环境图像的集合；不同场景的图片经编码器编码生成特征，并通过另一个域的内容解码器解码出当前环境在其他场景下的虚拟图像，生成虚拟图像后再经过当前所在域的编码器编码出解码后虚拟图像的特征；所述解码后虚拟图像的特征和原始域编码生成的特征组成正样本对，同其他域输入图像生成的特征构成负样本对，从而构成自适应三重特征损失函数更新两个域的编码器；解码后虚拟图像的特征通过原始域的内容解码器解码出原环境下的特征，并和原图像进行循环一致损失函数从而更新各个域的解码器；在此基础上，原始域的编码特征通过原始域的语义分割解码器，生成语义分割结果，同语义真值图像通过语义交叉熵损失函数和三重语义交叉熵损失函数更新语义分割解码器；原始输入图像在另一个域的编码器进行编码得到解码后虚拟图像的特征并与在原始域得到的特征进行域特征一致损失函数从而更新两个域的编码器；通过以上过程得到最终双域体系结构网络模型，进行视觉定位。

2.根据权利要求1所述的基于图像检索双域语义域适应的长期视觉定位方法，其特征在于，每个域的结构基于combogan网络模型结构上去除鉴别器部分；在每个域中所述编码器ei为内容特征编码器，其网络结构主要由卷积神经网络和4个残差块组成，输入为不同场景的图像，输出为输入图像...

【专利技术属性】
技术研发人员：张云洲，葛发蔚，王丽，谭延海，沈优，张禧辰，张艺钟，
申请(专利权)人：东北大学，
类型：发明
国别省市：