导出场景的拓扑信息制造技术

示例装置具有处理器，该处理器要分析被投影到场景上的条纹图案的移位版本的图像，以获得与图像中的像素相关联的相位信息。通过使用与图像中的条纹图案的两个接续版本的组合相关联的相位偏移来校正相位信息、或者通过使用像素的相位信息在第一空间方向上的偏导数和像素的相位信息在第二空间方向上的偏导数来估计针对每个像素的表面法线，导出拓扑信息。

Export topology information of scene

【技术实现步骤摘要】
【国外来华专利技术】导出场景的拓扑信息
技术介绍
条纹投影技术用于生成对象的三维(3D)表面信息。附图说明图1例示了根据示例的用于导出场景的拓扑信息的装置的示意性框图。图2A例示了根据示例的条纹图案，并且图2B例示了示出图2A的条纹图案的强度分布的曲线图。图3例示了照射射线和观察射线的示意性表示，以解释消除相位信息的模糊性(ambiguity)的示例。图4例示了用于导出拓扑信息的装置的示例的示意图，该装置包括照射表面块(surfacepatch)的投影器和捕获反射光的相机。图5例示了投影器和相机的设置的示例的二维切片的俯视图，其对应于核面(epipolarplane)。图6例示了图5的俯视图的分解图。图7例示了用于导出拓扑信息的装置的示例的示意性视图，其示出了在投影器的图案平面上的点与相机的图像平面上的对应点之间的几何关系。具体实施方式可以使用条纹投影轮廓测定系统来导出诸如对象之类的场景的拓扑信息。条纹投影轮廓测定系统包括：投影单元，其用于将诸如正弦条纹图案之类的结构化图案投影到对象表面上；图像采集单元，其要记录通过对象高度分布进行相位调制的条纹图案的图像；以及处理单元，其要通过用条纹分析技术分析图像来计算相位调制。可以对条纹投影技术进行分类，诸如相位步进轮廓测定(PSP)、傅立叶变换轮廓测定(FTP)、小波变换轮廓测定(WTP)和空间滤波变换轮廓测定。此类方法所揭示的估计相位可以在数学上被限制到2π的区间，而真实相位的范围可以是在大于2π的区间上。因此，可以使用称为相位解缠的过程来去除人造的2π不连续性。已知实现相位解缠的几种不同方法。为了促进图像坐标到真实世界坐标的转换和经解缠的相位分布到对象的高度分布的映射，可以执行系统校准。系统校准可以涉及到确定几何相机和投影器参数，包括投影器和相机的固有参数和非固有参数。知晓这些参数允许在3D相机/投影器坐标(即世界坐标)与2D图像坐标之间进行变换。另外，知晓这些参数允许使用三角测量原理来从经解缠的相位分布确定对象的高度信息。在条纹投影轮廓测定系统中，投影器和相机通常是同步的，使得相机在场景被第一条纹图案照射的同时捕获第一图像、在场景被相对于第一条纹图案移位的第二条纹图案照射的同时捕获第二图像、等等。换言之，如果在投影器帧速率与照射帧速率之间存在精确的同步，则每个捕获的图像包括单个条纹图案。本文描述的技术的示例允许在没有投影器与相机之间的精确同步的情况下导出场景的拓扑信息。在示例中，可以以这样的帧速率来操作投影器和相机，使得每个捕获的图像都不包括多于两个的移位条纹图案。本文描述的技术的示例允许实时地进行这样的导出。图1示出了包括投影器10、相机20和处理器30的装置的示例。投影器10通过将条纹图案的移位版本投影到场景40上来照射场景40。投影器可以以诸如60Hz的投影器帧速率来投影条纹图案的移位版本。这在图1中由箭头60指示。场景可以包括三维对象50、三维对象的一部分或多个三维对象。相机20如图1中通过虚线箭头62指示的那样捕获被照射场景的图像。相机20可以以诸如60Hz的相机帧速率来捕获场景的图像。相机帧速率可以对应于投影器帧速率。投影器和相机相对于彼此静止，并且投影器和相机的几何参数是已知的。可以在系统校准期间确定几何参数。投影器10可以是适于通过投影条纹图案的移位版本来照射场景的任何投影器，诸如使用数字微镜器件(DMD)的DLP(数字光处理)投影器或LCD(液晶显示器)投影器。相机20可以是适于捕获具有排列在第一空间方向上的行以及第二空间方向上的列中的像素的阵列的图像的任何合适的图像采集设备，诸如具有排列在第一空间方向上的行以及第二空间方向上的列中的图像元素的阵列的CCD相机。每个图像元素可以对应于一个像素。相机可以捕获一个强度值，该强度值指示针对每个图像元素的在曝光时间期间接收到的光的量，使得捕获图像包括捕获针对每个图像元素的强度值。因此，每个捕获图像具有不同的像素阵列，因为每个像素在每个图像中可能具有与之相关联的不同的强度值。投影器10和相机20耦合到处理器30。投影器10可以从处理器30接收条纹图案的移位版本，并且相机20可以将所捕获的图像输出到处理器30。处理器30将提供本文描述的功能性、执行本文描述的计算并且执行本文描述的方法。在图2A中示出条纹图案的示例。在图2B中示出条纹图案的强度分布。条纹图案是具有波长(wl)的正弦条纹图案。如图2A中所示，条纹图案包括在方向y上延伸并在方向x上重复的条纹。在所投影的条纹图案中，方向x可以表示第一空间方向，并且方向y可以表示第二空间方向，或反之亦然。图2A和2B中所示的条纹图案是具有多个重复子图案的周期性条纹图案的示例。每个子图案由条纹图案的一个波长形成。在图2A和2B的条纹图案中，条纹图案的强度在方向y上不改变。在其他示例中，可以使用不同的条纹图案，诸如在方向x上的强度不改变正弦但是以不同的方式(诸如三角)的条纹图案、或者在方向y上的强度也改变的条纹图案。通常，为了增大信噪比，可以使用其波长wl显著低于图案的宽度或高度的移位条纹图案。投影器可以将条纹图案的移位版本(即，移位条纹图案)投影到场景上。参考图2A和2B，移位是在方向x上。换言之，就正弦条纹图案而言，该移位表示相位移位。就2π的条纹图案波长而言，移位量可以是2π/N，其中N可以是≥3的自然数。在示例中，N个经相位移位的条纹图案投影到场景上，并用一个相机或几个相机捕获被照射场景的图像。在示例中，N是≥3的自然数。本文描述的技术不需要相机与投影器之间的精确同步。在示例中，以连续的循环来投影移位的条纹图案序列，并且相应地处理N个最新的相机图像，使得可以以相机帧速率来计算针对每个新相机图像(即针对特定的当前图像)的拓扑信息，诸如3D数据。3D数据例如可以包括表面法线和3D预览。在本文描述的技术的示例中，可以在连续的循环中同时并行地执行四个动作。第一个动作是以投影器帧速率将N个移位条纹图案投影到场景上。第二个动作是用相机以相机帧速率捕获被照射场景的图像。第三个动作是要针对每个新的相机图像分析N个最新的相机图像，以估计一个、多个或每个像素的相位。在示例中，估计基础的(underlying)正弦信号随时间的相位。第四个动作是要使用相位估计的结果来导出场景的拓扑信息。到目前为止，动作1和2是同步进行的，以便得到投影图案与捕获的相机图像之间的一对一映射。如果相机未与投影器同步，则相机通常可以在其每个图像的曝光时间期间捕获两个投影图案。这意味着两个图案投影在一个相机图像中混合在一起。本文描述的技术的示例允许即使投影器与相机之间没有精确的同步使得所捕获的图像可以包括条纹图案的两个接续(subsequent)版本的组合也能导出拓扑信息。本文公开的技术的示例提供了一种装置，包括：投影器，其通过将条纹图案的移位版本投影到场景上来照射所述场景；相机，其捕获被照射场景的图像，每个图像包括排列在第一空间方向上的行以及第二空间方向上的列中的像素的不同阵列，并且每个图本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n投影器，其要通过将条纹图案的移位版本投影到场景上来照射所述场景；/n相机，其要捕获被照射场景的图像，每个图像包括排列在第一空间方向上的行以及第二空间方向上的列中的像素的不同阵列，其中每个图像包括所述条纹图案的两个接续版本的不同组合；以及/n处理器，其要导出所述场景的拓扑信息，其中，为了导出所述场景的拓扑信息，所述处理器要：/n分析所捕获的图像以获得与所述像素中的一个相关联的相位信息；/n确定与所述图像中的所述条纹图案的两个接续版本的组合相关联的相位偏移；并且/n使用所确定的相位偏移来校正所述相位信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：
投影器，其要通过将条纹图案的移位版本投影到场景上来照射所述场景；
相机，其要捕获被照射场景的图像，每个图像包括排列在第一空间方向上的行以及第二空间方向上的列中的像素的不同阵列，其中每个图像包括所述条纹图案的两个接续版本的不同组合；以及
处理器，其要导出所述场景的拓扑信息，其中，为了导出所述场景的拓扑信息，所述处理器要：
分析所捕获的图像以获得与所述像素中的一个相关联的相位信息；
确定与所述图像中的所述条纹图案的两个接续版本的组合相关联的相位偏移；并且
使用所确定的相位偏移来校正所述相位信息。


2.根据权利要求1所述的装置，其中，所述投影器要：
通过将所述条纹图案的N个移位版本相继投影到所述场景来照射所述场景，其中所述条纹图案的连续的移位版本之间的相位移位为2π/N，其中N≥3；并且
对于特定的当前捕获图像，分析包括所述当前捕获图像的最近N个图像以获得与所述像素相关联的相位信息。


3.根据权利要求1所述的装置，其中，所述相机要使用曝光时间来捕获被照射场景的图像，其中，在所述曝光时间的第一分数期间，捕获来自所述条纹图案的第一版本的光，并且在所述曝光时间的第二分数期间，捕获来自相对于第一版本移位了的所述条纹图案的第二版本的光。


4.根据权利要求3所述的装置，其中，所述处理器要使用所述曝光时间的第一分数、所述曝光时间的第二分数以及所述条纹图案的第一和第二版本之间的相位移位来确定所述相位偏移。


5.根据权利要求1所述的装置，其中，所述条纹图案是周期性的并且包括多个重复的子图案，其中，所述处理器要使用所述场景的深度信息来降低与所述像素相关联的相位信息的模糊性，所述深度信息是使用单独的深度传感器获得的。


6.一种装置，包括：
投影器，其要通过将条纹图案的移位版本投影到场景上来照射所述场景；
相机，其要捕获被照射场景的图像，每个图像包括排列在第一空间方向上的行以及第二空间方向上的列中的像素的不同阵列；
处理器，其要导出所述场景的拓扑信息，其中，为了导出所述场景的拓扑信息，所述处理器要：
分析所捕获的图像以获得与所述像素中的一个相关联的相位信息；以及
使用与所述像素相关联的相位信息在第一空间方向上的偏导数以及与所述像素相关联的相位信息在第二空间方向上的偏导数来估计针对所述像素的表面法线。


7.根据权利要求6所述的装置，其中，所述处理器要通过如下方式来计算与所述像素相关联的相位信息在空间方向上的偏导数：计算与所述像素相关联的相位信息和在所述空间方向上与跟所述像素相邻的另一像素相关联的相位信息之间的差，或者计算与所述像素相关联的相位信息和在所述空间方向上与跟所述像素相邻的另两个像素相关联的相位信息之间的差的平均。


8.根据权利要求6所述的装置，其中，所述处理器要：
使用第一向量和第二向量确定与所述像素相关联的场景的表面块的切向向量，第一向量垂直于照射方向和所投影的条纹方向，第二向量垂直于观察方向和观测到的条纹方向，并且
使用所述切向向量以及第一梯度向量和第二梯度向量的长度的比较来确定所述表面法线，第一梯度向量由在第一和第二空间方向上的所述偏导数来定义，第二梯度向量由所投影的条纹图案的相位...

【专利技术属性】
技术研发人员：S·温克巴赫，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：美国;US