手持式便携光学扫描器及其使用方法技术

一种用于使用手持式便携设备实时或近乎实时地处理和后处理RGB-D图像数据并且将结果用于各种应用的系统和方法。本公开是基于能够使用高度优化的计算机视觉算法来实行复杂空间推理任务的自给式单元中的现成装备（例如RGB-D相机和智能电话/平板计算机）的组合。公开了使用获得的即时结果和用于远程协作的主设备的无线连通性的新应用。一种方法包括如下步骤：将点图案从光源投影到场景上多个点上，测量到所述点的距离，以及数字重构场景的一个或多个图像，诸如场景的3D视图。多个图像也可以被拼接在一起来重新定位场景视图的取向。

【技术实现步骤摘要】
【国外来华专利技术】本申请要求于2013年4月16日提交的具有相同题目的临时申请61/812,580的优先权和权益，该申请通过引用整体结合于本文。
本公开的领域是用于经由手持式便携光学成像扫描器获得图像数据的系统和方法以及针对经由各种方法处理图像和深度数据的方法的领域。
技术介绍
该技术在成像系统中找到它的根源。
技术实现思路
一个实施例是一种用于实时捕捉场景的多重图像并且确定每个图像中的多个点在坐标系中的精确位置的手持式成像系统。该系统包括用于捕捉和储存多个数字图像的图像捕捉设备、用于实时导出图像中多个任意点的深度信息的深度计算系统、手持式计算机系统，该手持式计算机系统具有处理器、带有用户接口控制装置的显示器、以及通信模块，其中处理器与所述图像捕捉设备和深度计算系统进行通信。该系统也包括非临时性计算机可读介质，其上具有经编码的一组指令，该指令可通过处理器执行以使图像捕捉设备、点定位系统和通信模块执行一个或多个操作，该指令包括从图像捕捉设备以及从深度计算系统捕捉场景的以数字数据形式的多个数字图像并且捕捉针对所述场景中的多个点的位置，储存所述数字数据，将多个图像组合在一起以形成单个3D模型，在移动手持设备中显示单个3D模型，以及根据对处理和控制系统的基于用户的输入来操纵单个3D模型的数字文件数据。另一个实施例是一种用于取得多个图像的方法。该方法包括如下步骤：从图像捕捉设备以及从点定位系统捕捉场景的以数字数据形式的多个数字图像并且捕捉针对所述场景中的多个点的位置，储存所述数字数据，将多个图像组合在一起以形成单个3D模型，在移动手持式设备中显示单个3D模型，以及根据对处理和控制系统的基于用户的输入来操纵数字文件数据。又一个实施例是一种用于实时捕捉场景的多重图像并且确定每个图像中的多个点在坐标系中的精确位置的手持式成像系统。该系统包括用于捕捉和储存多个数字图像的图像捕捉设备、用于实时导出图像中多个任意点的深度信息的深度计算系统、手持式计算机系统，该手持式计算机系统具有处理器、带有用户接口控制装置的显示器、以及通信模块，其中处理器与所述图像捕捉设备和点定位系统进行通信。该系统也包括非临时性计算机可读介质，其上具有经编码的一组指令，该指令可通过处理器执行以使图像捕捉设备、点定位系统和通信模块执行一个或多个操作，该指令用于从图像捕捉设备以及从点定位系统捕捉场景的以数字数据形式的多个数字图像以及捕捉针对所述场景中的多个任意点的位置，储存所述数字数据，将多个图像组合在一起以形成单个3D模型，以及根据对处理和控制系统的基于用户的输入来操纵数字文件数据，其中所述操纵步骤包括使相机位置和姿态与真实世界坐标参考系相关。另一个实施例是一种方法。该方法包括如下步骤：利用相机捕捉以数字数据形式的图像，在非临时性计算机可读介质上储存图像的数字数据，从图像数字数据的图像颜色通道提取灰度值，根据灰度值并且根据数字数据的深度数据来创建图像金字塔以及使用图像金字塔来计算场景拟合度值。该方法也包括如下步骤：预测相机姿态，将图像与所选择的关键帧的第一子集的每个元素对准，产生经对准的姿态以及也产生关于所选择的关键帧的一定数量的姿态和对应数量的重叠值，使用经对准的图像以及该数量的姿态和该数量的重叠值来计算新的相机姿态估计，以及当期望时使用新的相机姿态估计来根据图像的数字数据创建关键帧。该方法也包括：在创建关键帧后，选择与关键帧的第一子集不同的关键帧的第二子集，以及利用关键帧的第二子集中的每个关键帧来重复对准步骤以产生多个姿态值和重叠值，针对关键帧的所选择的第一子集和关键帧的所选择的第二子集中的每个元素而判定在关键帧姿态图表中对于关键帧是否需要新链接，以及链接所述关键帧。该方法的其他实施例包括一种方法，其中关键帧基于下述各项来创建：来自数字图像数据的用户命令，和现有关键帧的集合为空的情况下与单位矩阵（identitymatrix）等同的相机姿态或者现有关键帧的集合为非空的情况下与估计的相机姿态等同的相机姿态。在本方法的另一个实施例中，用来创建关键帧的数字图像数据包括红-绿-蓝和深度通道（RGB-D）图像。该方法的另一个步骤包括从相机或从非临时性计算机可读介质请求和加载新的数字图像以及使用新的数字图像来重复先前段落的步骤。使用此方法，人们也可以通过空间定位和取向的关键帧的集合来表示3D模型。另一个实施例进一步包括根据相机校准针对相机的特性来校正所储存图像的数字数据。在另一个实施例中，使用来自包括如下各项的组的转动数据来预测相机姿态：基于图像光学流的视觉预测器；来自数字陀螺仪的数据；线性运动模型；以及这些数据源的组合。用于表示3D模型的方法可以进一步包括将用于数字图像的可视化的数据和3D模型的数据发送到图形处理单元。在另一个实施例中，在计算新的对准姿态的步骤之后，该方法可以包括检查对准中的失败以及如果存在对准中的失败，执行再局部化过程。如果没有对准中的失败，则该方法可以进一步包括为用户准备在所保存的3D模型的空间中实时正确取向的可视化。在另一个实施例中，该方法可以进一步包括计算经对准图像与关键帧的选择之间的重叠的估计以确定是否创建新关键帧。为了完成此方法，对于创建新关键帧的判定是根据包括经对准图像和关键帧的选择之间的重叠值和包括来自关键帧的选择的数字深度数据的数据来确定的。在另一个实施例中，该方法进一步包括将来自数字图像的深度数据再投影到多个关键帧中，每个再投影使用相机的校准模型和由深度数据与关键帧的对准步骤产生的相对姿态的估计。该方法也可以包括使用再投影的深度数据和关键帧的现有深度数据的组合来重新计算针对关键帧的深度数据。在另一实施例中，表示3D模型的方法可以包括使用利用该图像所获取的物理目标的数字图像来将3D模型从局部坐标系变换到另一个坐标系，其中该目标从包括如下各项的组中选择：棋盘式目标；QR码或类QR码；以及用户选择的点。该方法可以进一步包括利用通过使用用于在空间中对相机进行定位和取向的可视目标的空间姿态而从相机获取的数据来添加、更新、差分或改善预先存在的3D模型的几何结构，该可视目标也在3D模型中呈现，该3D模型从包括如下各项的组中选择：多个数字图像或关键帧，空间数据集和CAD文件。该方法也可以包括下述步骤，其中基于使用最小化几何和光度对准误差的对准算法的局部化过程来确定针对现有3D模型的相机的位置和取向。在使用3D模型的方法中，可以从数字储存介质或者从可通过计算机网络访问的另一个计算机来加载预先存在的3D模型。在另一个实施例中，该方法可以进一步包括将附加图像添加到经链接的关键帧的集合，从包括以下各项的组中选择所述附加图像：利用相机捕捉的3D数据；由激光扫描器捕捉的3D数据；以及来自3D模型或CAD软件的数据。在其中利用3D模型来表示图像的另一个实施例中，该方法可以进一步包括通过将关键帧的数字图像数据压缩成无损格式来以压缩的方式表示3D模型。本公开的另一个实施例是一种装置。该装置对于执行上文所描述的方法以及对于收集多个空间定位和取向的关键帧以及将空间定位和定向的关键帧的集合表示为3D模型是有用的。该装置可以包括用于捕捉和储存多个数字图像的RGB-D相机本文档来自技高网...

【技术保护点】
一种方法，包括：利用相机捕捉以数字数据形式的图像；在非临时性计算机可读介质上储存所述图像的数字数据；从图像数字数据的图像颜色通道提取灰度值；根据灰度值以及根据数字数据的深度数据来创建图像金字塔；使用所述图像金字塔来计算场景拟合度值；预测相机姿态；将图像与所选择的关键帧的第一子集中的每个元素对准，产生经对准的姿态以及也产生关于所选择的关键帧的一定数量的姿态和对应数量的重叠值；使用经对准的图像以及该数量的姿态和该数量的重叠值来计算新的相机姿态估计；当期望时使用新的相机姿态估计根据图像的数字数据来创建关键帧；在创建关键帧之后，选择与关键帧的所述第一子集不同的关键帧的第二子集，以及利用关键帧的所述第二子集中的每个关键帧重复对准步骤以产生多个姿态值和重叠值；针对关键帧的所选择的第一子集和关键帧的所选择的第二子集中的每个元素而判定在关键帧姿态图表中对于关键帧是否需要新链接；以及链接所述关键帧。

【技术特征摘要】
【国外来华专利技术】2013.04.16 US 61/8125801.一种方法，包括：
利用相机捕捉以数字数据形式的图像；
在非临时性计算机可读介质上储存所述图像的数字数据；
从图像数字数据的图像颜色通道提取灰度值；
根据灰度值以及根据数字数据的深度数据来创建图像金字塔；
使用所述图像金字塔来计算场景拟合度值；
预测相机姿态；
将图像与所选择的关键帧的第一子集中的每个元素对准，产生经对准的姿态以及也产生关于所选择的关键帧的一定数量的姿态和对应数量的重叠值；
使用经对准的图像以及该数量的姿态和该数量的重叠值来计算新的相机姿态估计；
当期望时使用新的相机姿态估计根据图像的数字数据来创建关键帧；
在创建关键帧之后，选择与关键帧的所述第一子集不同的关键帧的第二子集，以及利用关键帧的所述第二子集中的每个关键帧重复对准步骤以产生多个姿态值和重叠值；
针对关键帧的所选择的第一子集和关键帧的所选择的第二子集中的每个元素而判定在关键帧姿态图表中对于关键帧是否需要新链接；以及
链接所述关键帧。
2.根据权利要求1所述的方法，其中关键帧基于下述各项来创建：来自数字图像数据的用户命令，和现有关键帧的集合为空的情况下与单位矩阵等同的相机姿态或者现有关键帧的集合为非空的情况下与估计的相机姿态等同的相机姿态。
3.根据权利要求2所述的方法，其中用来创建关键帧的数字图像数据包括红-绿-蓝和深度通道（RGB-D）图像。
4.根据权利要求1所述的方法，进一步包括从相机或从非临时性计算机可读介质请求和加载新的数字图像以及使用新的数字图像来重复权利要求1的步骤。
5.根据权利要求4所述的方法，进一步包括通过空间定位和取向的关键帧的集合来表示3D模型。
6.根据权利要求1所述的方法，进一步包括根据相机校准针对相机的特性来校正所储存图像的数字数据。
7.根据权利要求1所述的方法，其中使用来自包括如下各项的组的转动数据来预测相机姿态：基于图像光学流的视觉预测器；来自数字陀螺仪的数据；线性运动模型；以及这些数据源的组合。
8.根据权利要求5所述的方法，进一步包括将用于数字图像的可视化的数据和3D模型的数据发送到图形处理单元。
9.根据权利要求1所述的方法，进一步包括在计算新的对准姿态的步骤之后，检查对准中的失败以及如果存在对准中的失败，执行再局部化过程。
10.根据权利要求9所述的方法，如果没有对准中的失败，则为用户准备在所保存的3D模型的空间中实时正确取向的可视化。
11.根据权利要求1所述的方法，进一步包括计算经对准图像与关键帧的选择之间的重叠的估计以确定是否创建新关键帧。
12....

【专利技术属性】
技术研发人员：M克卢萨，R斯普林，
申请(专利权)人：点积公司，
类型：发明
国别省市：美国;US