视觉定位方法以及装置制造方法及图纸

本申请提出一种视觉定位方法，包括：获取当前图像并识别所述当前图像的基础特征和表述特征；将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配，根据匹配程度从所述环境图像中选取匹配度最高的环境图像作为参考图像；根据所述当前图像的基础特征，生成一个合成图像，所述合成图像与参考图像具有相同的环境状态；从所述合成图像中提取一个以上的特征点，并与参考图像的特征点进行匹配，根据特征点的匹配程度判断所述当前图像的位置信息。本申请通过将当前图像转变为一个与参考图像具有相同的环境状态的合成图像，从而减少环境状态的变化的影响，再将合成图像的特征点与参考图像的特征点进行匹配，从而获得准确的当前图像定位。

Visual positioning method and device

【技术实现步骤摘要】
视觉定位方法以及装置
本专利技术涉及无人驾驶领域，尤其涉及一种视觉定位方法以及装置。
技术介绍
视觉定位是机器人导航系统的重要组成部分。通常，视觉定位方法包括至少两个步骤：第一步是地点识别，也称为基于图像的定位，该步骤首先获取一个当前图像(QueryImage)，然后在预先构建的环境地图中进行查找，获取一个最相似的参考图像(ReferenceImage)，根据所述参考图像的位置来识别当前图像的位置；第二步是度量定位，用于进一步获取当前图像的准确定位。所述度量定位建立当前图像和参考图像之间的匹配关系(特征点匹配)，根据所述匹配关系并结合预先构建的环境地图，求解机器人的位姿，从而实现定位。所述视觉定位方法的关键是确定当前图像场景与预先构建的环境地图中先前访问的位置之间的匹配关系，并生成用于获取相机位姿的稳定的特征匹配。由于计算机视觉技术中卷积神经网络(ConvolutionalNeuralNetworks，CNNs)技术的发展，对视觉位置定位的研究已经从利用手工建立的特征(hand-craftedfeatures)转变为从CNNs中提取的基于深度学习的特征。尽管使用基于深度学习的方法在视觉位置定位方面取得了重大进展，但长期视觉定位仍然是一项具有挑战性的任务。比如，由于照明和天气条件的变化，当前图像场景的具体特征和预先构建的环境地图中的图像场景的具体特征可能非常不同。所述的照明条件变化，比如环境地图中预存的图像场景是白天，但当前的图像场景是在黑夜中获取的，则当前图像与参考图像的特征点就会存在较多不同。所述的天气条件的变化，比如环境地图中预存的图像场景是夏天，但当前的图像场景是在冬季获取的，则当前图像与参考图像的特征点就会存在本质的不同。由于图像场景的大幅度变化，无论是利用手工建立的特征还是从CNNs中提取的基于深度学习的特征，都无法实现基于图像的准确定位。为了解决上述问题，还有一种技术方案是：在预先构建的环境地图中，为所有环境条件构建多个环境地图。然而，构建多个地图非常耗时，而且构建的环境地图会占用大量内存。还有另外的一种方法，在预先构建的环境地图中增加相关的图像补丁(ImagePatches)，帮助在环境发生变化时稳定的获取图像特征点，然而，所述的图像补丁需要进行手动定义。此外，所有上述方法都将位置识别和度量定位视为两个独立的问题。因此，我们需要一种新的视觉定位方法以及装置，以解决上述技术问题。
技术实现思路
本申请的目的在于提供一种新的视觉定位方法以及装置，以解决环境条件发生较大变化时，当前图像的图像特征点与预先构建的环境地图中的图像特征点差别较大，从而无法进行准确视觉定位的技术问题。本申请提出一种视觉定位方法，包括：步骤一：获取当前图像并识别所述当前图像的基础特征和表述特征；步骤二：将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配，根据匹配程度从所述环境图像中选取匹配度最高的环境图像作为参考图像；步骤三：根据所述当前图像的基础特征，生成一个合成图像，所述合成图像与参考图像具有相同的环境状态；步骤四：从所述合成图像中提取一个以上的特征点，并与参考图像的特征点进行匹配，根据所述特征点的匹配程度判断所述当前图像的位置信息。其中，获取所述合成图像与参考图像所述特征点的匹配程度的方法包括：获取合成图像中每个特征点的最优匹配特征点，所述的最优匹配特征点位于所述参考图像中；对所述合成图像与参考图像的所有匹配信息进行验证，保留正确的匹配对，过滤掉错误匹配对；如果正确匹配对数目大于等于一设定值，则合成图像和参考图像之间正确匹配，如果正确匹配对数目小于所述设定值，则合成图像与参考图像匹配不正确。其中，获取所述合成图像与参考图像所述特征点的匹配程度的方法中，从合成图像中选取的特征点小于1000个，所述的设定值为15。其中，将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配后，根据匹配程度从所述环境图像中选取一个以上的参考图像，并将所述一个以上的参考图像按照与所述当前图像匹配度高低依次排列。其中，根据匹配程度从所述环境图像中选取的一个以上的参考图像小于10个。其中，根据所述特征点的匹配程度判断所述当前图像的位置信息的方法包括：若合成图像和参考图像之间正确匹配，则可根据参考图像的位置信息得到所述当前图像的位置信息；若合成图像和参考图像之间匹配不正确，从所述环境图像中选取另一个匹配度最高的环境图像作为参考图像，并再次执行步骤三和步骤四，直至匹配完从所述环境图像中选取的所有参考图像。其中，识别所述当前图像的基础特征和表述特征的方法包括：将所述当前图像通过第一图像编码器，获取所述当前图像的基础特征；将所述当前图像的基础特征通过第二图像编码器，获取所述当前图像的表述特征。其中，训练所述第一图像编码器和第二图像编码器，使其获取所述当前图像的基础特征和表述特征的方法包括：1)根据当前图像A，获取当前图像的正样本图像B和负样本图像C，并将当前图像A，正样本图像B和负样本图像C分别输入第一图像编码器E1和第二图像编码器E2，分别得到其基础特征和表述特征，则：FA＝E2(E1(A))FB＝E2(E1(B))FC＝E2(E1(C))其中，FA，FB，FC分别为当前图像A，正样本图像B和负样本图像C的表述特征，E1(A)，E1(B)，E1(C)分别为当前图像A，正样本图像B和负样本图像C通过第一图像编码器E1获取的基础特征；2)计算当前图像表述特征和正样本图像表述特征之间的距离DAB，当前图像表述特征和负样本图像表述特征之间的距离DAC，其中，DAB＝||FA-FB||2DAC＝||FA-FC||23)构建损失函数Loss＝max(0，DAB+M-DAC)，其中，M为设定值，用于修订DAB和DAC之间的平衡关系；4)循环执行步骤1)至步骤3)，进行迭代训练，以使损失函数的损失值Loss无限趋近于0，当所述迭代计算的次数达到设定值或者Loss为0，停止所述迭代训练，当所述的当前图像通过所述第一图像编码器和第二图像编码器时，所述第一图像编码器和第二图像编码器即可获取所述当前图像的训练好的基础特征和表述特征。其中，所述合成图像是通过将所述当前图像的基础特征输入图像生成器获取的。其中，训练所述图像生成器，使其根据当前图像的基础特征生成合成图像的方法为：a)将任意图像A和任意图像B输入第一编码器E1，得到所述图像A和图像B的基本特征E1(A)，E1(B)，其中所述图像A和图像B的拍摄环境状态不同，图像A处于第一环境状态，图像B处于第二环境状态；b)将所述基本特征E1(A)输入初始第一图像生成器G12，得到合成图像A2，将所述基本特征E1(B)输入初始第二图像生成器G21，得到合成图像B1；c)分别将合成图像A2和合成图像B1输入第一编码器E1，分别得到合成图像A2的基本特征E1(A2)，合成图像B1的基本特征E1(B1)；d)将所述基本本文档来自技高网...

【技术保护点】
1.一种视觉定位方法，其特征在于，包括：/n步骤一：获取当前图像并识别所述当前图像的基础特征和表述特征；/n步骤二：将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配，根据匹配程度从所述环境图像中选取匹配度最高的环境图像作为参考图像；/n步骤三：根据所述当前图像的基础特征，生成一个合成图像，所述合成图像与参考图像具有相同的环境状态；/n步骤四：从所述合成图像中提取一个以上的特征点，并与参考图像的特征点进行匹配，根据所述特征点的匹配程度判断所述当前图像的位置信息。/n

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：
步骤一：获取当前图像并识别所述当前图像的基础特征和表述特征；
步骤二：将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配，根据匹配程度从所述环境图像中选取匹配度最高的环境图像作为参考图像；
步骤三：根据所述当前图像的基础特征，生成一个合成图像，所述合成图像与参考图像具有相同的环境状态；
步骤四：从所述合成图像中提取一个以上的特征点，并与参考图像的特征点进行匹配，根据所述特征点的匹配程度判断所述当前图像的位置信息。


2.如权利要求1所述的视觉定位方法，其特征在于，获取所述合成图像与参考图像所述特征点的匹配程度的方法包括：
获取合成图像中每个特征点的最优匹配特征点，所述的最优匹配特征点位于所述参考图像中；
对所述合成图像与参考图像的所有匹配信息进行验证，保留正确的匹配对，过滤掉错误匹配对；
如果正确匹配对数目大于等于一设定值，则合成图像和参考图像之间正确匹配，如果正确匹配对数目小于所述设定值，则合成图像与参考图像匹配不正确。


3.如权利要求2所述的视觉定位方法，其特征在于，获取所述合成图像与参考图像所述特征点的匹配程度的方法中，从合成图像中选取的特征点小于1000个，所述的设定值为15。


4.如权利要求1至3中任一项所述的视觉定位方法，其特征在于，将所述当前图像的表述特征与预先构建的环境图像的表述特征进行匹配后，根据匹配程度从所述环境图像中选取一个以上的参考图像，并将所述一个以上的参考图像按照与所述当前图像匹配度高低依次排列。


5.如权利要求4所述的视觉定位方法，其特征在于，根据匹配程度从所述环境图像中选取的一个以上的参考图像小于10个。


6.如权利要求5所述的视觉定位方法，其特征在于，根据所述特征点的匹配程度判断所述当前图像的位置信息的方法包括：
若合成图像和参考图像之间正确匹配，则可根据参考图像的位置信息得到所述当前图像的位置信息；
若合成图像和参考图像之间匹配不正确，从所述环境图像中选取另一个匹配度最高的环境图像作为参考图像，并再次执行步骤三和步骤四，直至匹配完从所述环境图像中选取的所有参考图像。


7.如权利要求1所述的视觉定位方法，其特征在于，识别所述当前图像的基础特征和表述特征的方法包括：
将所述当前图像通过第一图像编码器，获取所述当前图像的基础特征；
将所述当前图像的基础特征通过第二图像编码器，获取所述当前图像的表述特征。


8.如权利要求7所述的视觉定位方法，其特征在于，训练所述第一图像编码器和第二图像编码器，使其获取所述当前图像的基础特征和表述特征的方法包括：
1)根据当前图像A，获取当前图像的正样本图像B和负样本图像C，并将当前图像A，正样本图像B和负样本图像C分别输入第一图像编码器E1和第二图像编码器E2，分别得到其基础特征和表述特征，则：
FA＝E2(E1(A))
FB＝E2(E1(B))
FC＝E2(E1(C))
其中，FA，FB，FC分别为当前图像A，正样本图像B和负样本图像C的表述特征，E1(A)，E1(B)，E1(C)分别为当前图像A，正样...

【专利技术属性】
技术研发人员：辛喆，蔡少骏，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京;11