视觉导航系统中的几何匹配技术方案

产生包括本地特征和所述本地特征的3D方位的第一地图，所述本地特征包括当前图像中的可见特征和共同可见的特征的对应集合。可确定包括先前特征和所述先前特征的3D方位的第二地图，其中每一先前特征：在先于所述本地特征中的任一个的首次成像的时间被首次成像，并且处于至少一个本地特征的阈值距离内。通过将所述第一地图和所述第二地图进行比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征。确定将本地特征的子集映射到先前特征的子集的变换。

【技术实现步骤摘要】
【国外来华专利技术】视觉导航系统中的几何匹配相关申请案的交叉引用本申请案主张2016年6月9日申请的标题为“视觉导航系统中的几何匹配(GeometricMatchingInVisualNavigationSystems)”的美国非临时申请案第15/178,505号的权益和优先权。以上申请案全部转让给本案受让人，且其全部以引用的方式并入本文中。
本文中所揭示的标的物大体上涉及视觉导航系统，且特定来说，涉及用于维持视觉导航系统中的准确度和精确度的系统和方法。
技术介绍
智能手机和其它移动装置日渐用于视觉导航。在视觉导航(VN)系统(VNS)中，由相机捕获的视觉惯性测距(VIO)或基于视觉的定位(VBP)系统(在本文中统称为“VNS”)图像结合其它传感器或无线测量用于方位确定和/或估计移动装置的轨迹。术语“测距(odometry)”是指基于来自传感器的测量值对位置随时间的改变的估计。如本文中所使用，术语“视觉惯性测距”(VIO)是指使用图像和其它基于传感器的测量的组合的测距以及基于图像的测距两者。在VIO中，可逐帧追踪若干视觉特征，所述特征可用于确定相机相对运动的准确估计值。在传统的VNS中，使用图像之间的基于视觉或外观的特征匹配确定移动装置的位姿。传统的VNS遭遇“位姿漂移”(或漂移)，其描述移动装置的实际位置与移动装置的VN确定的位置之间的误差。一种减小或缓解位姿漂移的方法为“环路闭合”。位姿漂移或漂移由于个别帧的位姿计算的残留误差并且从此类误差逐帧累计而发生。在环路闭合中，移动装置可确定在某一任意时间长度之后，当前观察到的特征是否对应于其轨迹上的某一先前观察到的特征。接着可基于以下中的一或多个校正移动装置的位置和/或轨迹：当前相机位姿、先前估计的特征方位和/或对应的先前相机位姿，进而减小位姿漂移的影响。然而，随着时间长度增加，需要视觉上匹配以确定环路闭合事件是否已发生的特征点的搜索空间显著地增加，由此限制适用性。此外，因为特征的外观可基于视点和/或照明改变，仅基于基于视觉或外观的特征匹配的环路闭合可具有挑战性。
技术实现思路
在一些实施例中，一种在用户装备(UE)上的处理器实施的方法可包括：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。在另一方面中，一种用户装备(UE)可包括：能够捕获图像的至少一个图像传感器；和耦合到所述图像传感器的处理器，其中所述处理器被配置成：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。在另一方面，一种用户装备(UE)可包括：能够捕获图像的图像感测装置；和耦合到所述图像感测装置的处理装置，其中所述处理装置包括：能够捕获图像的图像感测装置；用于部分地基于当前图像帧的经估计相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图的装置，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；用于确定包括先前特征和对应于所述先前特征的3D方位的第二地图的装置，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；用于基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集的装置，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和用于确定变换的装置，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。在另一方面中，一种非暂时性计算机可读媒体可包括指令，所述指令在由处理器执行时致使所述处理器：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。所述揭示的方法可由一或多个UE的移动站、移动装置、机器人、包含无人机的车辆等使用视觉惯性测距执行。所揭示的实施例还涉及由处理器使用非暂时性计算机可读媒体或计算机可读存储器创建、存储、存取、读取或修改的软件、固件和程序指令。附图说明图1示出说明根据所揭示实施例的能够支持VNS功能的UE的某些示范性特征的示意性框图。图2A示出起始于位置L1处的UE100的实际轨迹和估计轨迹(由虚线所示)。图2B示出在各个相机位置处所捕获的图像帧序列中可见的特征点。图3示出用于以与所揭示的实施例一致的方式部分地基于几何信息的重新定位的示范性方法300的流程图。图4示出通过将3D体积400划分成立方体获得的3D体积400的示范性量化的示意性表示。图5A示出与特征相关联的示范性特征记录500。图5B示出与经量化3D空间的每一单元相关联的量化记录550。图6说明从第一地图中的本地特征的子集到第二地图中的先前特征的第二子集的变换600。图7示出用于以与所揭示的实施例一致的方式部分地基于几何信息的重新定位的示范性方法的流程图。具体实施方式在地图绘制和/或导航系统中，术语“测距”是指基于来自传感器的测量值对位置随时间的改变的估计。在VNS中，可逐帧追踪若干视觉特征，所述特征可用于确定相机相对运动的准确估计值。然而，VNS遭遇位姿漂移，所述位姿漂移可累计并本文档来自技高网...

【技术保护点】
1.一种包括相机的用户设备UE上的处理器实施的方法，所述方法包括：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。

【技术特征摘要】
【国外来华专利技术】2016.06.09 US 15/178,5051.一种包括相机的用户设备UE上的处理器实施的方法，所述方法包括：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。2.根据权利要求1所述的方法，其中确定所述第一子集和所述对应的第二子集包括：确定与所述第一地图中的多个所述本地特征相关联的第一空间布置对应于与所述第二地图中的多个所述先前特征相关联的第二空间布置，其中所述第一地图中的所述多个所述本地特征包括所述第一子集且所述第二地图中的所述多个所述先前特征包括所述第二子集。3.根据权利要求2所述的方法，其中：部分地基于所述多个所述本地特征的所述对应的3D方位确定与所述第一地图中的所述多个所述本地特征相关联的所述第一空间布置，且部分地基于所述多个所述先前特征的所述对应的3D方位确定与所述第二地图中的所述多个所述先前特征相关联的所述第二空间布置。4.根据权利要求1所述的方法，其另外包括：部分地基于所述变换校正所述估计的相机位姿以获得经校正相机位姿。5.根据权利要求4所述的方法，其另外包括：部分地基于所述经校正相机位姿更新所述第一地图中的所述本地特征的所述3D方位。6.根据权利要求4所述的方法，其中：所述第一地图包括第一多个本地特征描述符，每一本地特征描述符与相异本地特征相关联，且所述第二地图包括第二多个先前特征描述符，每一先前特征描述符与相异的先前经成像特征相关联；且其中，所述方法另外包括：对于所述第一子集中的每一本地特征，将对应的本地特征描述符与所述第二子集中的对应的先前特征描述符进行比较；和部分地基于所述比较细化所述经校正相机位姿。7.根据权利要求4所述的方法，其另外包括：部分地基于所述经校正相机位姿校正所述UE的估计的轨迹。8.根据权利要求1所述的方法，其中基于使用以下中的至少一个确定将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集的所述变换：随机样本一致性RANSAC，或稳健性估计，或穷举搜索，或霍夫变换。9.根据权利要求1所述的方法，其中基于平移或刚性运动模型确定将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集的所述变换。10.根据权利要求1所述的方法，其中确定其中每一先前特征在所述第一地图中的所述至少一个特征的阈值距离内的所述第二地图包括：将正被所述UE成像的3D空间量化到多个量化单元中，和确定对应于所述至少一个本地特征的至少一个量化单元，和识别位于所述至少一个量化单元内的先前特征。11.根据权利要求10所述的方法，其中：所述量化单元是相等立方体大小的立方体，其中所述立方体大小相对于地图比例尺反向变化，其中所述地图比例尺与所述第一地图和所述第二地图相关联。12.根据权利要求1所述的方法，其中确定对应于所述本地特征的3D方位包括：基于所述估计的相机位姿确定对应于所述多个可见特征中的本地特征的3D方位；和基于所存储的用于所述共同可见的特征中的每一个的信息获得对应于所述共同可见的特征的集合中的本地特征的3D方位。13.一种用户设备UE，其包括：能够捕获图像的至少一个图像传感器；和耦合到所述图像传感器的处理器，其中所述处理器被配置成：部分地基于当前图像帧的所估计的相机位姿，产生包括本地特征和所述本地特征的3D方位的第一地图，其中所述本地特征包括所述当前图像帧中的多个可见特征和对应于所述多个可见特征的共同可见的特征的集合；确定包括先前特征和对应于所述先前特征的3D方位的第二地图，其中每一先前特征在先于所述本地特征中的任一个的首次成像的时间被首次成像，且其中每一先前特征在至少一个本地特征的阈值距离内；基于所述第一地图与所述第二地图的比较，确定包括所述第一地图中的先前经成像本地特征的第一子集和所述第二地图中的所述先前特征的对应的第二子集，其中所述第一子集中的每一本地特征对应于所述第二子集中的相异先前特征；和确定变换，其中所述变换将所述本地特征的所述第一子集映射到所述先前特征的所述第二子集。14.根据权利要求13所述的UE，其中为确定所述第一子集和所述对应的第二子集，所述处理器被配置成：确定与所述第一地图中的多个所述本地特征相关联的第一空间布置对应于与所述第二地图中的多个所述先前特征相关联的第二空间布置，其中所述第一地图中的所述多个所述本地特征包括所述第一子集且所述第二地图中的所述多个所述先前特征包括所述第二子集。15.根据权利要求14所述的UE，其中：部分地基于所述多个所述本地特征的所述对应的3D方位确定与所述第一地图中的所述多个所述本地特征相关联的所述第一空间布置，且部分地基于所述多个所述先前特征的所述对应的3D方位确定与所述第二地图中的所述多个所...

【专利技术属性】
技术研发人员：P·R·多斯·桑托斯·门东萨，C·布鲁纳，A·拉马南达恩，M·R·查里，D·阿胡贾，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US