用于辅助型3D扫描的系统和方法技术方案

一种三维扫描系统包含：被配置成捕获图像的相机；处理器；以及耦合到所述相机和所述处理器的存储器，所述存储器被配置成存储：由所述相机捕获的所述图像；以及指令，所述指令在由所述处理器执行时，致使所述处理器：控制所述相机从所述相机的第一姿态捕获对象的一个或多个初始图像；根据所述一个或多个初始图像计算指导图以识别一个或多个下一姿态；控制所述相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外图像；根据所述一个或多个额外图像更新所述指导图；以及输出由所述相机捕获的所述图像以生成三维模型。机捕获的所述图像以生成三维模型。机捕获的所述图像以生成三维模型。

【技术实现步骤摘要】
用于辅助型3D扫描的系统和方法
[0001]本专利技术是“申请日为：2017
‑2‑
28、申请号为：201780025636.3和专利技术名称为：用于辅助型3D扫描的系统和方法”的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求2016年2月29日在美国专利商标局提交的美国临时专利申请第62/301,603号的益处，所述申请的全部内容以引用的方式并入本文中。


[0004]本专利技术的实施例的方面涉及图像捕获系统、图像处理和三维(3D)扫描的领域。

技术介绍

[0005]本专利技术的实施例的方面涉及三维(3D)扫描的领域。在此过程中，相机从一般物件的不同视图收集数据，接着对准并组合数据以创建物件的形状和色彩(如果可获得)的3D模型。术语
‘
映射
’
有时也用于反映捕获空间(或更一般来说，3D场景)的过程。
[0006]以此方式生成3D模型存在需要成像物件的大体上全部侧面或场景部分，以便产生物件的完整模型的特定挑战。举例来说，可能难以或不可能产生对象(例如，物件或场景)的部分未在3D扫描过程期间捕获的准确模型。另外，未能从某些角度捕获物件的图像会在所生成的模型中产生孔洞、间隙、失真或其它伪影(在一些情况下，如果物件的底部表面与所要3D模型无关，则可能会忽略所述底部表面)。
[0007]为充分覆盖物件的色彩和几何方面，扫描过程可捕获数百帧的相关场景部分。所产生的数据量和数据处理时间可能极高。举例来说，如果RGBr/>‑
D相机每帧产生614KB(～VGA)数据，而相关联彩色相机每帧产生2764KB(～720p)数据，则在每秒15帧和30秒的扫描时间下，所产生的原始图像数据量可高达1.42GB。建立3D模型的处理时间也会随所产生的数据量成比例地增大。此外，操作相机的用户可能不能充分地捕获物件的相关方面，或过度捕获(过度取样)一侧而对另一视图捕获不足(取样不足)。取样不足可能不能产生所要的分辨率或完全缺失可能具有复杂3D形状的物件的一些侧面，而过度取样会产生不必要的耗用扫描系统的通信和计算资源的冗余数据(例如，对于建构3D模型的目的，具有低信息内容的额外数据)。

技术实现思路

[0008]本专利技术的实施例的方面涉及用于辅助或指导对物件和场景的扫描的系统和方法。所述辅助或指导可用于通过将扫描装置指导到改进目标的相关方面与模型使用目标相称的覆盖率并减少过度捕获的姿态(例如，扫描装置的位置和定向)而改进通过扫描过程生成的3D模型的准确度。
[0009]根据本专利技术的一个实施例，一种三维扫描系统包含：被配置成捕获图像的相机；处理器；以及耦合到相机和处理器的存储器，存储器被配置成存储：由相机捕获的图像；以及指令，所述指令在由处理器执行时，致使处理器：控制相机从相机的第一姿态捕获对象的一
个或多个初始图像；根据一个或多个初始图像计算指导图以识别一个或多个下一姿态；控制相机从一个或多个下一姿态中的至少一个捕获一个或多个额外图像；根据一个或多个额外图像更新指导图；以及输出由相机捕获的图像以生成三维模型。
[0010]相机可为深度相机。
[0011]深度相机可为立体显示深度相机，其包含：第一相机，其具有具第一光轴的第一视场；以及第二相机，其与第一相机间隔开，且具有重叠第一视场的第二视场和具有大体上平行于第一光轴的第二光轴。
[0012]三维扫描系统可进一步包含与深度相机对齐的彩色相机。
[0013]三维扫描系统可进一步包含耦合到处理器的显示器，其中存储器进一步存储致使处理器控制显示器向三维扫描系统的用户提供反馈的指令，所述反馈包含指导图的一个或多个下一姿态的图形表示。
[0014]图形表示可为围绕对象的拱顶，且热图指示拱顶的哪些部分对应于一个或多个下一姿态。
[0015]一个或多个下一姿态可形成路径。
[0016]可根据增大对象的覆盖率并减少扫描时间来选择路径。
[0017]指导图可为覆盖率图。
[0018]对象可为集装箱，存储器可进一步存储致使处理器基于三维模型估计集装箱的可用体积的指令，且指导图可识别一个或多个下一姿态以定位可用体积的拐角。
[0019]对象可为箱子堆叠，存储器可进一步存储致使处理器基于三维模型计数箱子数目的指令，且指导图可识别一个或多个下一姿态以识别具有低覆盖率的箱子。
[0020]根据本专利技术的一个实施例，一种用于提供指导型扫描的方法包含：由处理器控制相机从相机的第一姿态捕获对象的一个或多个初始图像；由处理器根据一个或多个初始图像计算指导图以识别一个或多个下一姿态；由处理器控制相机从一个或多个下一姿态中的至少一个捕获一个或多个额外图像；由处理器根据一个或多个额外图像更新指导图；以及输出由相机捕获的图像以生成三维模型。
[0021]所述方法可进一步包含通过耦合到处理器的显示器将视觉反馈提供给用户，所述反馈包含指导图的一个或多个下一姿态的图形表示。
[0022]对象可为集装箱，所述方法可进一步包含基于三维模型估计集装箱的可用体积，且指导图可识别一个或多个下一姿态以定位可用体积的拐角。
[0023]对象可为箱子堆叠，所述方法可进一步包含基于三维模型计数箱子数目，且指导图可识别一个或多个下一姿态以识别具有低覆盖率的箱子。
附图说明
[0024]附图连同说明书一起说明本专利技术的示范性实施例，并连同描述一起用以解释本专利技术的原理。
[0025]图1A为根据本专利技术的一个实施例的用于扫描场景的过程的示意图。
[0026]图1B为根据本专利技术的一个实施例的用于扫描物件的过程的示意图。
[0027]图1C为根据本专利技术的一个实施例的用以成像包含待扫描物件的场景的一部分的五个相机的布置的示意图。
[0028]图2A为根据本专利技术的一个实施例的扫描系统的框图。
[0029]图2B为根据本专利技术的一个实施例的具有可拆卸扫描传感器的扫描系统的框图。
[0030]图3为根据本专利技术的一个实施例的用于执行扫描的方法的流程图。
[0031]图4A说明根据本专利技术的一个实施例的用以界定圆柱形包络的对物件的初始图像捕获。
[0032]图4B说明所计算的垂直包络并不含有正扫描的整个物件的一种情形。
[0033]图4C说明根据本专利技术的一个实施例的用以界定圆柱形包络的对场景的初始图像捕获。
[0034]图5说明根据本专利技术的一个实施例的使用圆柱形包络的贴片的覆盖率计算。
[0035]图6A说明根据本专利技术的一个实施例的作为包围拱顶或半球体围绕物件的包络的一个实施例。
[0036]图6B说明根据本专利技术的一个实施例的作为包围拱顶或半球体围绕场景的一部分的包络的一个实施例。
[0037]图6C为根据本专利技术的一个实施例的在包围拱顶上表示的热图的视觉显示。
[0038]图7A描绘根据本专利技术的一个实施例的在扫描过程期间的用户界面，其中以叠加图指示具有高扫描质量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对象的三维扫描的计算机系统，其包括：一个或多个处理器；以及一个或多个计算机可读媒体，其上储存有可执行指令，所述可执行指令在由所述一个或多个处理器执行时，配置所述计算机系统进行至少以下操作：根据对象的一个或多个初始深度图像计算指导图以识别一个或多个下一姿态，所述指导图是通过以下操作计算得到：基于所述对象的所述一个或多个初始深度图像界定环绕所述对象的包络，所述包络界定环绕所述对象的虚拟表面，而所述包络包括多个贴片，每一贴片对应于多个可能姿态中的至少一个可能姿态，所述多个可能姿态包括所述一个或多个下一姿态，以及计算多个增量覆盖率值，所述增量覆盖率值中的每一个对应于所述多个贴片中的一个，且所述增量覆盖率值中的每一个表示通过用处于所述贴片中的对应的一个所述贴片的所述至少一个可能姿态的所述深度相机捕获额外深度图像提供的对所述对象的全局覆盖率的一定量的改进；提供信息以定位所述深度相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外深度图像；根据所述一个或多个额外深度图像更新所述指导图；以及输出由所述深度相机捕获的所述深度图像以生成三维模型。2.根据权利要求1所述的计算机系统，其中所述深度相机为立体显示深度相机，其包括：第一相机，其具有具第一光轴的第一视场；以及第二相机，其与所述第一相机间隔开，且具有重叠所述第一视场的第二视场和大体上平行于所述第一光轴的第二光轴。3.根据权利要求2所述的计算机系统，其进一步包括与所述深度相机对齐的彩色相机。4.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统控制显示器向所述计算机系统的用户提供视觉反馈的指令，所述视觉反馈包括所述指导图的所述一个或多个下一姿态的所述增量覆盖率值的图形表示。5.根据权利要求4所述的计算机系统，其中所述图形表示为围绕所述对象的拱顶，且热图指示所述拱顶的哪些部分对应于所述一个或多个下一姿态，所述热图的值对应于所述增量覆盖率值的值。6.根据权利要求1所述的计算机系统，其中所述一个或多个下一姿态形成路径。7.根据权利要求6所述的计算机系统，其中根据增大所述对象的覆盖率并减少扫描时间来选择所述路径。8.根据权利要求1所述的计算机系统，其中所述指导图为覆盖率图。9.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统估计集装箱内的可用体积的指令，其中所述对象包括所述集装箱。10.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统基于所述三维模型计数箱子数目的指令，其中所述对象包括所述箱子。11.一种用于提供指导型扫描的计算机实施方法，所述方法由一个或多个处理器执行，其包括：
根据对象的一个或多个初始深度图像计算指导图以识别一个或多个下一姿态，所述指导图是通过以下操作计算得到：基于所述对象的所述一个或多个初始深度图像界定环绕所述对象的包络，所述包络界定环绕所述对象的虚拟表面，而所述包络包括多个贴片，每一贴片对应于多个可能姿态中的至少一个可能姿态，所述多个可能姿态包括所述一个或多...

【专利技术属性】
技术研发人员：法兰西斯科，
申请(专利权)人：派克赛斯有限责任公司，
类型：发明
国别省市：