联合环境重建和相机校准制造技术

在一个实施例中，一种方法包括访问相机装备的校准模型。该方法包括访问通过相机装备根据在环境中的多个姿态捕获的环境的多个观测结果。该方法包括至少基于观测结果、姿态和校准模型生成包括环境的几何结构的环境模型。该方法包括针对一个或更多个姿态，基于环境模型和姿态确定环境的一个或更多个预测的观测结果。该方法包括将预测的观测结果与对应于从其确定预测的观测结果的姿态的观测结果进行比较。该方法包括基于比较修正校准模型。该方法包括至少基于环境的一组观测结果和修正的校准模型来修正环境模型。准模型来修正环境模型。准模型来修正环境模型。

【技术实现步骤摘要】
【国外来华专利技术】联合环境重建和相机校准


[0001]本公开总体上涉及相机校准。
[0002]背景
[0003]为了确保准确性，相机通常在它们被用于捕获计算机视觉和相关应用中使用的测量值或其他数据之前进行校准。不准确的测量，无论误差来源如何，都可能在依赖基本测量的应用中加剧和造成严重误差。随着计算机视觉应用越来越复杂，测量误差加剧的机会也越来越多。许多相机校准方法通常需要特殊的配置设备、特殊配置的环境或环境中的特殊几何结构。许多方法还消耗大量的时间和计算资源，增加了频繁执行校准所造成的负担，尽管先前的校准很大可能由于处理不当、环境变化和设备退化而变得不准确。相机校准技术可以用于具有数字输出的许多类型的相机。
[0004]移动计算设备(例如智能手机、平板计算机或膝上型计算机)可以包括用于确定它的位置、方向或定向的功能，例如GPS接收器、罗盘、陀螺仪或加速度计。这种设备还可以包括用于无线通信(例如蓝牙通信、近场通信(NFC)、或红外(IR)通信、或与无线局域网(WLAN)或蜂窝电话网络的通信)的功能。这种设备还可以包括一个或更多个相机、扫描仪、触摸屏、麦克风或扬声器。移动计算设备还可以执行软件应用，例如游戏、web浏览器或社交网络应用。使用社交网络应用，用户可以与他们的社交网络中的其他用户关连(connect)、通信和分享信息。
[0005]特定实施例的概述
[0006]在特定实施例中，一种用于由与相机装备(camera rig)相关联的计算设备进行联合环境重建和相机校准的方法包括访问相机装备的校准模型。初始校准模型可以例如通过作为制造商过程的一部分的标准校准程序来预先确定。该方法可以包括访问通过相机装备根据在环境中的多个姿态(pose)捕获的环境的第一多个观测结果(observations)。当捕获环境的观测结果时，也可以捕获关于相机装备的姿态的信息。在特定实施例中，环境的观测结果可以包括基于对投射到环境中的结构光图案的检测的(例如，从深度相机生成的)深度图。
[0007]在特定实施例中，该方法可以包括至少基于第一多个观测结果、多个姿态和校准模型生成包括环境几何结构的环境模型。校准模型可用于基于姿态解释观测结果。环境模型可以包括通过融合环境的多个估计形成的环境的数字重建，其中环境的每个估计可以来自单个观测结果和姿态配对。
[0008]该方法可以包括针对多个姿态中的一个或更多个姿态，基于环境模型和一个或更多个姿态确定环境的一个或更多个预测的观测结果。可以通过基于收集的姿态(例如，通过环境模型)创建环境的模拟观测结果来生成预测的观测结果。该方法可以包括将一个或更多个预测的观测结果与对应于从其确定一个或更多个预测的观测结果的一个或更多个姿态的第一观测结果中的一个或更多个第一观测结果进行比较。该比较可以包括确定预测的观测结果和捕获的观测结果之间的任何差异。相机校准模型可以例如基于比较(例如基于比较的结果)来被修正。该方法可以包括至少基于环境的第二多个观测结果和修正的校准
模型来修正环境模型。该过程可以继续，在基于新捕获的观测结果修正环境模型和基于修正的环境模型修正相机校准模型之间交替。
[0009]本专利技术的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中被使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
[0010]本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括本文公开的实施例的部件、元件、特征、功能、操作或步骤中的全部、一些，或不包括这些部件、元件、特征、功能、操作或步骤。根据本专利技术的实施例在所附权利要求中具体公开，涉及方法、存储介质、系统和计算机程序产品，其中在一个权利要求类别(例如方法)中提到的任何特征，也可以在另一个权利要求类别(例如系统)中要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何先前权利要求的有意往回引用(特别是多个从属关系)而产生的任何主题，从而权利要求及其特征的任何组合被公开并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
[0011]提供了一种方法，包括由计算设备：
[0012]访问相机装备的校准模型；
[0013]访问通过相机装备根据在环境中的多个姿态捕获的环境的第一多个观测结果；
[0014]至少基于第一多个观测结果、多个姿态和校准模型，生成包括环境的几何结构的环境模型；
[0015]针对多个姿态中的一个或更多个姿态，基于环境模型和一个或更多个姿态确定环境的一个或更多个预测的观测结果；
[0016]将所述一个或更多个预测的观测结果与对应于从其确定一个或更多个预测的观测结果的一个或更多个姿态的第一观测结果中的一个或更多个第一观测结果进行比较；
[0017]基于比较修正校准模型；和
[0018]至少基于环境的第二多个观测结果和修正的校准模型来修正环境模型。
[0019]该方法还可以包括通过以下操作捕获环境的第一多个观测结果：
[0020]由相机装备将结构光图案投射到环境中；
[0021]由相机装备的相机检测环境中投射的结构光图案；和
[0022]将检测到的结构光图案与模板结构光图案进行比较。
[0023]该方法还可以包括通过以下方式捕获环境的第一多个观测结果：
[0024]由相机装备将包括多个点的结构光图案投射到环境中；
[0025]由相机装备的相机检测环境中的结构光图案的一个或更多个点；
[0026]识别检测到的点中的每一个；和
[0027]对于每个识别的点，将识别的点的位置与结构光图案中该识别的点的相应预期方位(bearing)进行比较。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括由计算设备：访问相机装备的校准模型；访问通过所述相机装备根据在环境中的多个姿态捕获的所述环境的第一多个观测结果；至少基于所述第一多个观测结果、所述多个姿态和所述校准模型，生成包括所述环境的几何结构的环境模型；针对所述多个姿态中的一个或更多个姿态，基于所述环境模型和所述一个或更多个姿态确定所述环境的一个或更多个预测的观测结果；将所述一个或更多个预测的观测结果与对应于从其确定所述一个或更多个预测的观测结果的所述一个或更多个姿态的所述第一观测结果中的一个或更多个第一观测结果进行比较；基于所述比较修正所述校准模型；和至少基于所述环境的第二多个观测结果和修正的校准模型来修正所述环境模型。2.根据权利要求1所述的方法，还包括通过以下操作捕获所述环境的所述第一多个观测结果：由所述相机装备将结构光图案投射到所述环境中；由所述相机装备的相机检测所述环境中的投射的结构光图案；和将检测到的结构光图案与模板结构光图案进行比较。3.根据权利要求1或权利要求2所述的方法，还包括通过以下操作捕获所述环境的所述第一多个观测结果：由所述相机装备将包括多个点的结构光图案投射到所述环境中；由所述相机装备的相机检测所述环境中的结构光图案的一个或更多个点；识别检测到的点中的每一个；和对于每个识别的点，将所述识别的点的位置与所述结构光图案中该识别的点的相应预期方位进行比较。4.根据权利要求1、权利要求2或权利要求3所述的方法，还包括：通过从所述相机装备的定位系统接收所述相机装备的姿态来捕获所述相机装备的从其捕获每个第一观测结果的姿态；并且优选地还包括：基于来自所述相机装备的运动传感器的输出来初始化所述相机装备的定位系统。5.根据权利要求1至4中任一项所述的方法，还包括：通过至少基于所述观测结果和所述校准模型定位所述相机装备来捕获所述相机装备的从其捕获每个观测结果的姿态。6.根据权利要求1至5中任一项所述的方法，其中，至少基于所述第一多个观测结果、所述多个姿态和所述校准模型生成包括所述环境的几何结构的所述环境模型包括：根据每个观测结果和所述相机装备的从其捕获该观测结果的姿态生成所述环境的几何结构的估计；和组合从每个观测结果生成的估计，以形成所述环境模型。7.根据权利要求1至6中任一项所述的方法，其中，所述一个或更多个预测的观测结果和所述第一多个观测结果包括结构光图案的点的位置信息；和
将所述一个或更多个预测的观测结果与对应于从其确定所述一个或更多个预测的观测结果的一个或更多个姿态的所述第一观测结果中的一个或更多个第一观测结果进行比较包括，将每个预测的观测结果的位置信息与相应对应的第一观测结果的位置信息进行比较。8.根据权利要求1至7中任一项所述的方法，其中，所述相机装备的所述校准模型包括：所述相机装备的相机的固有参数；所述相机装备的发射器的固有参数；用于执行所述相机装备在环境中的定位的参数；或者与所述相机装备的所述相机和所述发射器之间的关系相关联的参数。9.根据权利要求1至8中任一项所述的方法，其中，基于所述比较修正所述校准模型包括：修改所述校准模型的参数中的一个或更多个，以最小化一个或更多个预测的观测结果与对应于从其确定所述一个或更多个预测的观测结果的一个或更多个姿态的所述第一观测结果中的一个或更多个第一观测结果之间的差异。10.根据权利要求1至9中任一项所述的方法，其...

【专利技术属性】
技术研发人员：史蒂文，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：