光电子系统技术方案

本公开描述用于有效地捕获三维数据的光电子系统和方法。所述光电子系统包括三维成像模块和距离测量模块。经由所述距离测量模块收集的数据用来收集三维数据，诸如三维对象的三维图或其他表示。此外，所述方法可扩展到多个感兴趣区域，并且可被应用于生物计量数据的获取。

Photoelectronic System

The present disclosure describes photoelectric electronic systems and methods for effectively capturing three-dimensional data. The photoelectronic system includes a three-dimensional imaging module and a distance measurement module. Data collected through the distance measurement module is used to collect three-dimensional data, such as three-dimensional maps or other representations of three-dimensional objects. In addition, the method can be extended to multiple regions of interest and can be applied to the acquisition of biometric data.

【技术实现步骤摘要】
【国外来华专利技术】光电子系统
本公开涉及用于距离测量的光电子模块，并且涉及用于确定数据和生物计量数据的方法。背景各种技术可以用来使用图像捕获设备捕获场景中的对象的三维数据。例如，三维数据可在增强现实技术中使用于机器人，并且使用于自然用户接口技术(诸如眼睛追踪或凝视检测)。此外，三维数据可被使用于游戏，和生物计量数据(例如，面部和虹膜识别数据，和面部表情分析)的收集。三维数据可用基于三角测量的三维成像捕获。基于三角测量的三维成像包括有源和无源立体技术，和编码光技术。此类技术使用特征匹配。立体技术需要捕获立体图像对(即，自藉由已知基线距离分离的不同观点拍摄的至少两个图像)。至少两个图像中的对应的特征必须被确定来收集三维数据。例如，块匹配技术可用来确定对应的特征。典型的块匹配技术涉及将立体图像对中的至少两个图像中的一个界定为参考图像并且将另一个界定为搜索图像。在参考图像内选择展现特定强度分布的像素块，并且针对对应的块(即，展现相同或大致上相同的特定强度分布的块)扫描搜索图像。相对于块在参考图像中的位置的对应的块在搜索图像中的位置界定视差。视差与基线距离和用来收集参考图像和搜索图像的光学系统的焦距一起可用来确定三维数据。扫描可为相对耗时的，并且可需要显著的计算能力。因此，涉及块匹配技术的实时或近实应用可难以或不可能达到。此外，移动设备或具有有限硬件、能力，和计算资源的其他个人计算机可努力实现块匹配技术。在一些情况下，块匹配技术可失败或需要额外的非必要步骤来充分地鉴别缺少充足纹理的图像中的块。编码光技术是基于三角测量的三维成像技术的另一实例。编码光技术需要照明器以使已知的编码光图案生成(例如，投射)到场景中的一个或多个对象上。生成的图案通过场景中的对象扭曲。图案扭曲的程度可对应于场景中的对象与生成图案的照明器之间的距离。扭曲图案的图像被捕获，然后已知图案与扭曲图案之间的比较可用来收集场景中的一个或多个对象的三维数据。类似以上提到的块匹配技术，必须针对对应的编码光特征扫描图像；因此，编码光技术可面向类似的挑战(例如，扫描为计算上昂贵的)。三维数据通常用于生物计量数据收集/分析和行为分析，其中两者可用移动设备和个人计算机广泛的实施。例如，生物计量数据可用于用户鉴别(诸如面部或虹膜识别)。另外，行为分析可用来经由如眼睛追踪和面部表情分析的此类技术增强与移动设备或个人计算机的用户交互。然而，先前实例需要三维数据，如以上与基于三角测量的技术相结合所描述的扫描/搜索(例如，块匹配)的挑战可妨碍生物计量数据的收集和/或用户行为的分析。
技术实现思路
本公开描述用于收集三维数据的光电子系统和方法。在一方面，例如，光电子系统包括三维成像模块、距离测量模块，和处理器。所述三维成像模块包括强度成像器。所述强度成像器包括光敏强度元件阵列和光学组件。所述三维成像模块可操作以收集场景的至少一个强度图像。所述距离测量模块包括第一发光部件和光敏距离元件阵列。所述第一发光部件可操作以生成第一特定波长或波长范围。所述光敏距离元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感。所述距离测量模块可操作以收集所述场景的数据。所述处理器可操作以从所述至少一个强度图像和由所述距离测量模块收集的所述数据生成所述三维数据。一些实现方式包括以下特征中的一个或多个。例如，尺寸成像模块可包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。在一些情况下，所述第二发光部件可操作以将纹理生成到场景上。三维数据可由生成到所述场景上的所述纹理增强。在一些情况下，所述第二发光部件可操作以将编码光生成到场景上。三维数据可由生成到所述场景上的所述编码光增强。在一些实现方式中，所述第一发光部件可操作以生成调制光并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。在一些情况下，光敏强度元件阵列和光敏距离元件阵列对由第一发光部件生成的第一特定波长或波长范围敏感。所述光电子系统可包括至少一个额外的强度成像器，所述至少一个额外的强度成像器通过基线与另一个强度成像器分离。所述至少一个额外的强度成像器包括光敏强度元件阵列和光学组件。在一些情况下，所述光电子系统包括光敏强度元件阵列，所述光敏强度元件阵列对由第一发光部件生成的光的第一特定波长或波长范围敏感。在一些实现方式中，所述光电子系统包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在所述非暂时性计算机可读介质上的指令。当所述指令由处理器执行时，进行以下操作：用强度成像器捕获强度图像；在所述强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述强度图像内的感兴趣区域；以及用所述强度图像和所述数据生成三维数据。在一些情况下，当由处理器执行时，所述机器可读指令使以下操作被进行：用强度成像器捕获强度图像；用至少一个额外的强度成像器捕获额外的强度图像；在所述强度图像或所述额外的强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述强度图像或所述额外的强度图像内的感兴趣区域；以及用所述强度图像和所述数据生成三维数据，使得与所述感兴趣区域相关联的块匹配协议由所述数据增强。在一些情况下，所述光电子系统实现包括生成三维数据的方法，所述生成三维数据包括从由距离测量模块捕获的数据估计视差和用所述估计视差增强块匹配协议。在一些情况下，所述方法包括在强度图像或额外的强度图像内建立感兴趣区域，所述在强度图像或额外的强度图像内建立感兴趣区域包括用对象识别协议建立所述感兴趣区域。在一些实现方式中，所述方法包括在强度图像或额外的强度图像内建立感兴趣区域，所述在强度图像或额外的强度图像内建立感兴趣区域包括用机器学习建立所述感兴趣区域。在一些情况下，所述光电子系统还包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围。光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。所述第二发光部件可操作以将纹理生成到场景上，并且所述三维数据由生成到所述场景上的所述纹理增强。所述第一发光部件可为可操作以生成调制光。所述光电子系统可包括光敏距离元件阵列，所述光敏距离元件阵列可操作以解调入射在光敏距离元件阵列上的调制光。在一些情况下，所述光电子系统可还包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围。光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。所述第二发光部件可操作以将编码光生成到场景上，其中三维数据由生成到所述场景上的所述编码光增强。在一些情况下，所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。根据另一方面，一种方法包括用强度成像器捕获强度图像；在所述强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述第一感兴趣区域；以及用所述强度图像和所述数据生成所述三维数据。在另一方面，一种方法包括用至少一个额外的强度图像捕获额外强度图像；以及用所述强度图像和所述数据生成三维数据，使得与所述感兴趣区域相关联的所述块匹配协议由所述数据增强。在一些情况下，用于用光电子系统捕本文档来自技高网...

【技术保护点】
1.一种用于收集三维数据的光电子系统，所述光电子系统包含：三维成像模块、距离测量模块，和处理器；所述三维成像模块包括强度成像器，所述强度成像器包括光敏强度元件阵列和光学组件，该三维成像模块可操作以收集场景的至少一个强度图像；所述距离测量模块包括第一发光部件和光敏距离元件阵列，所述第一发光部件可操作以生成第一特定波长或波长范围，所述光敏距离元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感，所述距离测量模块可操作以收集所述场景的数据；并且所述处理器可操作以从所述至少一个强度图像和由所述距离测量模块收集的所述数据生成所述三维数据。

【技术特征摘要】
【国外来华专利技术】2016.02.17 US 62/296,2071.一种用于收集三维数据的光电子系统，所述光电子系统包含：三维成像模块、距离测量模块，和处理器；所述三维成像模块包括强度成像器，所述强度成像器包括光敏强度元件阵列和光学组件，该三维成像模块可操作以收集场景的至少一个强度图像；所述距离测量模块包括第一发光部件和光敏距离元件阵列，所述第一发光部件可操作以生成第一特定波长或波长范围，所述光敏距离元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感，所述距离测量模块可操作以收集所述场景的数据；并且所述处理器可操作以从所述至少一个强度图像和由所述距离测量模块收集的所述数据生成所述三维数据。2.如权利要求1所述的光电子系统，其中所述三维成像模块进一步包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且其中所述光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。3.如权利要求2所述的光电子系统，其中所述第二发光部件可操作以将纹理生成到所述场景上，所述三维数据由生成到所述场景上的所述纹理增强。4.如权利要求2所述的光电子系统，其中所述第二发光部件可操作以将编码光生成到所述场景上，所述三维数据由生成到所述场景上的所述编码光增强。5.如权利要求1所述的光电子系统，其中所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。6.如权利要求1所述的光电子系统，其中所述光敏强度元件阵列和所述光敏距离元件阵列对由所述第一发光部件生成的所述第一特定波长或波长范围敏感。7.如权利要求1所述的光电子系统，其中所述三维成像模块进一步包括至少一个额外的强度成像器，所述至少一个额外的强度成像器通过基线与所述强度成像器分离，所述至少一个额外的强度成像器包括光敏强度元件阵列和光学组件。8.如权利要求1所述的光电子系统，其中所述光敏强度元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感。9.如权利要求1所述的光电子系统，其进一步包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在所述非暂时性计算机可读介质上的指令，所述指令在由所述处理器执行时，使操作将被进行，所述操作包括：用所述强度成像器捕获强度图像；在所述强度图像内建立感兴趣区域；用所述距离测量模块捕获所述数据；将所述数据映射到所述强度图像内的所述感兴趣区域；以及用所述强度图像和所述数据生成所述三维数据。10.如权利要求7所述的光电子系统，其中所述非暂时性计算机可读介质进一步包含存储在所述非暂时性计算机可读介质上的指令，所述指令在由所述处理器执行时，使操...

【专利技术属性】
技术研发人员：田宜彬，亨德里克·沃尔克林，
申请(专利权)人：赫普塔冈微光有限公司，
类型：发明
国别省市：新加坡,SG