用于大规模确定RGBD相机姿势的方法和系统技术方案

一种确定相机姿势的方法，其包括：使用相机捕获多个图像帧，计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合，以及检测并移除错误分类的相对姿势以提供剩余的相对姿势集合。该方法还包括使用剩余的相对姿势集合来确定全局姿势，并且计算错误分类的相对姿势的至少一部分和未分类的相对姿势集合的至少一部分的扩展的相对姿势以提供扩展的相对姿势集合和扩展的未分类的相对姿势集合。该方法进一步包括检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合，并且使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势。

【技术实现步骤摘要】
【国外来华专利技术】用于大规模确定RGBD相机姿势的方法和系统相关申请的交叉引用本申请要求于2016年11月20日提交的标题为“用于大规模RGBD姿势估计的方法和系统(MethodsandSystemsforLarge-ScaleRGBDPoseEstimation)”的美国临时专利申请No.62/258,316的优先权，其公开内容通过引用整体并入本文目的。
技术介绍
3D重建是3D计算机视觉中最受欢迎的主题之一，在绘图、机器人、虚拟现实、增强现实、建筑、游戏、电影制作等领域具有广泛的应用。3D重建系统可以采用RGB(红-绿-蓝)、RGBD(红-绿-蓝-深度)或仅深度格式的图像作为输入，并生成图像的3D表示，例如3D网格。在3D重建系统的处理过程中，关键组成之一是姿势估计：恢复与每个输入图像相关联的每个相机姿势。相机姿势可以包括相机的焦距、位置和/或旋转方向和角度。最近，凭借诸如Kinect、GoogleTango和IntelRealsense低成本RGBD传感器的可用性，利用这样的可用设备能够轻松捕获RGBD图像并将其用于3D重建。然而，为了重建高质量的3D网格，准确度要求非常高。相机姿势应该是全局和本地一致的。然而，目前的技术无法为大规模场景的RGBD图像的姿势估计提供鲁棒而准确的端到端框架解决方案。
技术实现思路
本专利技术通常涉及用于确定作为时间的函数的相机的位置和方位(即姿势)的方法和系统。更具体地，本专利技术的实施例提供用于至少部分地基于图像帧之间的相对相机姿势来确定全局参考系中的相机姿势的方法和系统。本专利技术适用于计算机视觉和3D重建中的各种应用。根据本专利技术的实施例，提供了一种确定多个图像帧的相机姿势的方法。该方法包括使用相机捕获多个图像帧，计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合，以及从相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合。该方法还包括使用剩余的相对姿势集合来确定多个图像帧的全局姿势，并且计算至少一部分错误分类的相对姿势和至少一部分未分类的相对姿势集合的扩展相对姿势以提供扩展相对姿势集合和扩展未分类的相对姿势集合。该方法进一步包括从扩展的相对姿势集合中检测并移除扩展错误分类的相对姿势以提供剩余的扩展的相对姿势集合，并且使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势。根据本专利技术的另一实施例，提供了一种非瞬态计算机可读存储介质，其包括在计算机可读存储介质上有形地体现的多个计算机可读指令，这些计算机可读指令在由数据处理器执行时确定多个图像帧的相机姿势。多个指令包括使得数据处理器使用相机捕获多个图像帧的指令，使得数据处理器计算每组图像帧对之间的相对姿势以提供相对姿势集合以及未分类的相对姿势集合的指令，以及使得数据处理器从相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合的指令。该多个指令还包括使得数据处理器使用剩余的相对姿势集合来确定多个图像帧的全局姿势的指令，以及使得数据处理器计算至少一部分错误分类的相对姿势和至少一部分未分类的相对姿势集合的扩展相对姿势以提供扩展相对姿势集合和扩展的未分类的相对姿势集合的指令。多个指令进一步包括使得数据处理器从扩展的相对姿势集合中检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合的指令，以及使得数据处理器使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势的指令。相对于常规技术通过本专利技术获得许多益处。例如，本专利技术的实施例提供了用于确定全局参考系中的相机姿势的方法和系统，其可用于随后的3D重建。此外，本专利技术的实施例提供了用于确定不仅全局一致而且局域一致的相机姿势的方法和系统。另外，本专利技术的实施例对于众所周知的困难情况是稳健的，诸如具有重复图案的场景，缺少特征的场景，突然的相机移动和多房间设置。结合下文和附图更详细地描述本专利技术的这些和其他实施例以及其许多优点和特征。附图说明专利或申请文件至少包含一张以彩色执行的附图。当请求并且支付必要费用时，带有彩色附图的本专利或专利申请公开的副本由官方来提供。构成本公开的一部分的附图示出几个实施例，并且与说明书一起用于解释所公开的原理。图1是示出根据示例性实施例的用于大规模RGBD姿势估计的系统的框图。图2是示出根据本专利技术实施例的执行大规模RGBD姿势估计的方法的简化流程图。图3是示出根据本专利技术实施例的用于计算图像帧之间的相对姿势的方法的简化流程图。图4A是根据本专利技术实施例的从第一相机姿势捕获并且基于特征描述符利用检测和匹配的特征标记的第一RGB图像帧。图4B是根据本专利技术实施例的从第二相机姿势捕获并且基于特征描述符利用检测和匹配的特征标记的第二RGB图像帧。图4C是根据本专利技术实施例的利用在3D特征过滤之后产生的特征匹配所标记的图4A中所示的第一RGB图像帧。图4D是根据本专利技术实施例的利用在3D特征过滤之后产生的特征匹配标记的图4B中所示的第二RGB图像帧。图5A示出根据本专利技术实施例的与两个不同相机姿势相关联的一组点云的透视图。图5B示出根据本专利技术实施例的与图5A中所示的两个不同相机姿势相关联的一组点云的平视图。图5C示出根据本专利技术实施例的具有优化相对姿势的与图5A中所示的两个不同相机姿势相关联的一组点云的透视图。图5D示出根据本专利技术实施例的具有优化相对姿势的与图5C中所示的两个不同相机姿势相关联的一组点云的平视图。图6A是根据本专利技术实施例的相对姿势的矩阵表示。图6B是根据本专利技术实施例的扩展相对姿势的矩阵表示。图6C是示出根据本专利技术实施例的一系列相机姿势和图像帧的示意图。图7A和图7B是根据本专利技术实施例的对于两个图像帧的RGB图像。图7C示出与图7A和图7B中的RGB图像相关联的一组点云的透视图。图7D示出与图7A和图7B中的RGB图像相关联的一组点云的平面图。图8示出根据本专利技术实施例的示出深度图和参考全局坐标的一系列图像姿势的平面图。图9是示出根据本专利技术实施例的计算扩展相对姿势的方法的简化流程图。图10示出根据本专利技术实施例的示出深度图和参考全局坐标的一系列细化图像姿势的平面图。图11是示出根据本专利技术实施例的用于细化姿势的方法的简化流程图。图12A-图12C是示出根据示例实施例在姿势细化的不同迭代时的3D网格结果的图形表示。具体实施方式现在将详细参考示意性实施例，这些实施例的示例示出在附图中。以下描述参考附图，其中除非另有说明，不同附图中的相同编号表示相同或相似的元件。在与本专利技术一致的示例性实施例的以下描述中阐述的实施方式不代表与本专利技术一致的所有实施方式。相反，它们仅仅是与本专利技术相关的方面一致的系统和方法的示例。图1是示出根据示例性实施例的用于大规模RGBD姿势估计的系统100的框图。该系统可以包括相机101、处理器102和存储器103。一些组件可以是可选的。某些组件可以是本地的、在线的或基于云的。相机可以捕获多个场景的RGB、RGBD或仅深度信息，并将这些信息传送给处理器。RGB、RGBD或仅深度信息可以是静止形式(formation)(即，图片)或者可以是包括至少一个帧的视频格式。在特定实施例中，相机是例如以预定帧速率捕获帧的RGBD视频相机。相机可以是独立设备或者是包括相机、处理器和存储器的单个设备本文档来自技高网...

【技术保护点】
1.一种确定多个图像帧的相机姿势的方法，所述方法包括：使用相机捕获所述多个图像帧；计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合；从所述相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合；使用所述剩余的相对姿势集合来确定所述多个图像帧的全局姿势；计算所述错误分类的相对姿势的至少一部分和所述未分类的相对姿势集合的至少一部分的扩展的相对姿势以提供扩展的相对姿势集合和扩展的未分类的相对姿势集合；从所述扩展的相对姿势集合中检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合；以及使用所述剩余的相对姿势集合和所述剩余的扩展的相对姿势集合来确定所述多个图像帧的更新的全局姿势。

【技术特征摘要】
【国外来华专利技术】2015.11.20 US 62/258,3161.一种确定多个图像帧的相机姿势的方法，所述方法包括：使用相机捕获所述多个图像帧；计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合；从所述相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合；使用所述剩余的相对姿势集合来确定所述多个图像帧的全局姿势；计算所述错误分类的相对姿势的至少一部分和所述未分类的相对姿势集合的至少一部分的扩展的相对姿势以提供扩展的相对姿势集合和扩展的未分类的相对姿势集合；从所述扩展的相对姿势集合中检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合；以及使用所述剩余的相对姿势集合和所述剩余的扩展的相对姿势集合来确定所述多个图像帧的更新的全局姿势。2.根据权利要求1所述的方法，还包括通过N次迭代细化所述更新的全局姿势。3.根据权利要求2所述的方法，其中，细化所述更新的全局姿势包括对准从与所述多个图像帧的不同图像帧相关联的深度图导出的场景几何形状。4.根据权利要求2所述的方法，其中，细化所述更新的全局姿势包括针对每个更新的全局姿势将所述更新的全局姿势朝向收敛调整。5.根据权利要求2所述的方法，其中，通过N次迭代细化所述更新的全局姿势包括执行预定数量的迭代。6.根据权利要求2所述的方法，其中，通过N次迭代细化所述更新的全局姿势包括基于迭代之间的相机姿势的差异的阈值来执行预定数量的迭代。7.根据权利要求1所述的方法，其中，所述相对姿势集合包括有效的相对姿势和错误分类的相对姿势。8.根据权利要求1所述的方法，其中，所述扩展的相对姿势集合包括有效的扩展的相对姿势和扩展的错误分类的相对姿势。9.根据权利要求1所述的方法，其中，所述多个图像帧的所述全局姿势参考全局参考系。10.根据权利要求1所述的方法，其中，所述相机包括RGBD相机。11.根据权利要求1所述的方法，其中，所述多个图像帧以预定帧速率被捕获。12.根据权利要求1所述的方法，其中，所述多个图像帧包括所述多个图像帧的每个图像帧中的每个像素的颜色数...

【专利技术属性】
技术研发人员：魏晓林，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US