深度感测相机系统技术方案

本发明专利技术题为“深度感测相机系统”。一种深度感测相机系统，包括一个或多个鱼眼透镜和红外和/或近红外图像传感器。在一些示例中，图像传感器可至少部分地基于经由鱼眼透镜接收辐射来生成输出信号。至少部分地基于输出信号来计算深度测量结果。例如，可提供这些输出信号作为深度模型的输入，这可确定深度测量结果。在一些示例中，此类深度模型可集成到专用集成电路中并且/或者可由应用处理器操作。

Depth sensing camera system

【技术实现步骤摘要】
深度感测相机系统相关申请本申请要求于2018年12月5日提交的美国临时专利申请62/775,525的权益，该申请的全部内容以引用方式并入本文。
技术介绍
三维感测的应用正在迅速增加。这些应用包括机器人控制、对象检测、对象识别、对象分类、生物特征扫描和/或匹配、人类行为识别、虚拟/增强现实增强功能以及医学诊断。然而，产生高分辨率和/或高精度的用于三维感测的系统仍然昂贵，需要访问功能强大的应用处理器，并且消耗大量的功率和处理吞吐量。附图说明参考附图描述了具体实施方式。在附图中，附图标记的一个或多个最左边的数字标识首次出现附图标记的附图。在不同附图中的相同的附图标记指示相似或相同的项目。图1示出了其中可以集成深度感测相机系统的示例场景的框图以及可以由此类系统输出的点云。图2示出了深度感测相机系统的示例架构的框图。图3A示出了使用直线透镜捕获的环境的图像的表示。图3B示出了使用鱼眼透镜捕获的环境的图像(的一部分)的表示。图3C示出了当光被直线透镜折射时，可归因于视场的中心部分的入射到传感器上的光的区域。图3D示出了当光被鱼眼透镜折射时，可归因于视场的中心部分的入射到传感器上的光的区域。图4A分别示出了示例鱼眼透镜、相关联的传感器，以及透镜和传感器的相应视场的横截面。图4B示出了用鱼眼透镜拍摄的图像的表示以及该鱼眼图像的示例部分，该示例部分可以在传感器的有效视场内。图5示出了使用本文所述的相机系统来生成深度测量结果的示例过程的流程图。r>具体实施方式现有的深度相机技术无法产生允许使用金融级生物特征扫描和/或识别的准确性。具体地讲，现有深度相机系统使用直线透镜，使得可容易地测量像素之间的视差，这可用于确定对象的深度测量结果。此外，直线透镜的视场(FOV)倾向于最适合捕获用户的图像。例如，直线透镜传统上提供较窄的视场，因此用于捕获用户的图像。然而，与常规相反，本文所讨论的技术包括将深度感测系统的直线透镜替换为鱼眼透镜的相机系统。由于鱼眼透镜引入的畸变以及由此产生的确定深度测量结果的困难，因此先前的方法不鼓励使用鱼眼透镜。此外，鱼眼透镜提供比捕获用户图像所需的更大的视场(FOV)，并且如果需要捕获鱼眼透镜的整个FOV，可能需要更高分辨率的图像传感器。本文讨论的相机系统可以包括鱼眼透镜(和/或任何其他类型的鱼眼透镜)而不是直线透镜，以放大由相机捕获的图像的中心部分，从而改善生物特征扫描/识别和/或虹膜检测率。在一些示例中，放大图像的中心部分可增加其图像被相机系统捕获的用户的虹膜的可检测性，并且继而可以提高生物特征扫描和/或识别的准确性。同样，与使用鱼眼透镜的通常动机相反，在一些示例中，本文讨论的相机系统可以被设计为裁剪鱼眼透镜的FOV的大部分，使得由相机系统捕获的所得图像包括鱼眼透镜的FOV的中心部分(例如40度-65度，与鱼眼透镜的FOV中典型的130度-180度相反)，并裁剪投影图像的剩余可用FOV。所描述的照相机系统可以产生比现有系统更高的准确性和分辨率，同时降低假阳性率(例如，在面部识别应用的情况下成功地在双胞胎之间进行区分)。例如，通过使用鱼眼透镜(和/或另一鱼眼透镜)，与利用直线透镜的相机系统相比，所述相机系统能够从更远的距离精确地检测用户的虹膜。在一些示例中，与可能需要用户将设备保持得更靠近用户的头部的采用直线透镜的一些先前的系统相反，这可允许用户将包括相机系统的设备保持在舒适的距离处，以便检测用户的虹膜。此外，与先前的深度感测相机相比，使用鱼眼透镜可允许减小图像传感器的分辨率。例如，由于鱼眼透镜在图像的中心处引入了“放大”效应，从而扩大了与用户的虹膜相关联的像素的数量，图像传感器可以具有较低分辨率，并且因此可能不需要那么多的处理能力来处理传感器的输出信号。在一些示例中，本文讨论的技术可以附加地或另选地减少获得准确和高分辨率的深度图所需的功耗和/或处理带宽的量。本文所讨论的相机系统可包括一个或多个相机，其中每个相机包括至少鱼眼透镜(和/或任何其他类型的鱼眼透镜)和图像传感器。在将深度测量结果用于生物特征识别的应用中，鱼眼透镜的结合可增加虹膜检测率，并且/或者提高对象检测准确率，尤其是对于距离相机系统更远的对象而言。在一些示例中，与直线透镜和其他类似透镜相比，鱼眼透镜的结合可以导致可归因于场景(和对应图像)的中心部分的光被图像传感器的更大区域接收。因此，更多像素可以指示关于场景的中心部分的数据，在“自拍照”的情况下，该数据可以包括用户的虹膜。然而，鱼眼透镜可能引入畸变，该畸变可以导致计算深度测量结果更加困难。在一些示例中，相机系统可以包括一个或多个机器学习模型，可以对该模型进行训练以至少部分地基于地面真实深度测量结果和使用鱼眼透镜捕获的图像的训练集来计算深度测量结果。在训练之后，所得的机器学习模型可被装备为至少部分地基于从相机系统的图像传感器和透镜接收的图像来确定深度测量结果。在一些示例中，相机系统的图像传感器可以检测近红外或红外辐射并且/或者至少部分地基于近红外辐射和/或红外辐射来生成输出信号。但是可以设想，图像传感器可以附加地或另选地检测可见光(例如，约350纳米至约750纳米的波长)和/或其他形式的辐射。在一些情况下，控制器可以接收输出信号并且至少部分地基于输出信号来确定深度测量结果。例如，控制器可以至少部分地基于提供输出信号和/或其表示作为深度模型的输入来确定深度测量结果。深度模型可以至少部分地基于输出信号和/或其表示来输出深度测量结果。在附加或另选示例中，确定深度测量结果可以至少部分地基于计算输出信号之间的视差图。在一些示例中，深度测量结果可以用于生成环境中的一个或多个对象的三维表面的点云和/或其他表示。该表示可以被用于更准确地识别对象的位置、分类和/或部分，诸如用户的虹膜、眉毛、鼻子、嘴唇、耳朵等；吉他的指板、吉他的特定指板、吉他的弦、吉他的旋钮等；诸如此类。示例场景图1示出了示例场景100，该示例场景包括用户102(在该示例中为人类)和并入本文讨论的相机系统106的示例设备104。示例设备104被描绘为智能电话或平板电脑，但应当理解，本文所讨论的相机系统106可结合到任何设备中并且/或者可为独立设备。在所描绘的示例中，相机系统106被布置成面向“前”的配置(例如，被设计成感测示例设备104的用户的方向上的深度的“自拍”相机系统)，但应当理解，相机系统106可被集成到设备的任何部分中，如深度感测的特定应用所期望的那样。虽然相机系统106在图1中被描绘为包括三个元件(例如，三个相机)，但应当理解，本文所讨论的相机系统106可以包括任意数量的一个或多个相机。在所描绘的示例中，感测深度的相机系统106可以包括三个相机，但是在附加或另选示例中，相机系统106可以包括两个相机，而第三相机可以为可以用于或者不可以用于深度感测的附加相机(例如，可能需要依靠附加相机进行可见光摄影，例如“自拍相机”)。在一些示例中，与用于深度感测相关联的一个(或多个)相机可以与鱼眼透镜(和/或任何其他本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n照明器，所述照明器被配置为发射第一类型的辐射；/n鱼眼透镜；/n第一图像传感器，所述第一图像传感器被配置为至少部分地基于经由所述鱼眼透镜接收第一光来生成第一输出信号，所述第一光包括所述第一类型的辐射；/n第二图像传感器，所述第二图像传感器被配置为至少部分地基于经由第二透镜接收第二光来生成第二输出信号，所述第二光包括所述第一类型的辐射或第二类型的辐射中的至少一者；和/n控制器，所述控制器操作地连接到所述第一图像传感器和所述第二图像传感器并且被配置为/n至少部分地基于所述第一输出信号来生成在所述第一图像传感器和所述第二图像传感器的视场中可见的环境的深度图。/n

【技术特征摘要】
20181205 US 62/775,525;20190419 US 16/389,8951.一种系统，包括：
照明器，所述照明器被配置为发射第一类型的辐射；
鱼眼透镜；
第一图像传感器，所述第一图像传感器被配置为至少部分地基于经由所述鱼眼透镜接收第一光来生成第一输出信号，所述第一光包括所述第一类型的辐射；
第二图像传感器，所述第二图像传感器被配置为至少部分地基于经由第二透镜接收第二光来生成第二输出信号，所述第二光包括所述第一类型的辐射或第二类型的辐射中的至少一者；和
控制器，所述控制器操作地连接到所述第一图像传感器和所述第二图像传感器并且被配置为
至少部分地基于所述第一输出信号来生成在所述第一图像传感器和所述第二图像传感器的视场中可见的环境的深度图。


2.根据权利要求1所述的系统，其中所述第一图像传感器的第一视场和所述第二图像传感器的第二视场重叠。


3.根据权利要求1所述的系统，其中生成所述深度图包括：
提供所述第一输出信号或所述第一输出信号的表示中的至少一者作为机器学习模型的输入；以及
从所述机器学习模型接收所述深度图。


4.根据权利要求1所述的系统，其中所述第一类型的辐射包括红外光或近红外光，并且所述第二类型的辐射包括可见光。


5.根据权利要求1所述的系统，其中所述第一图像传感器包括单色红外传感器或单色近红外传感器中的至少一者。


6.根据权利要求1所述的系统，其中：
所述控制器包括处理器；并且
生成所述深度图至少部分地基于执行存储在存储器中的指令的一个或多个处理器，存储在所述存储器中的所述指令包括神经网络的一个或多个权重。


7.根据权利要求1所述的系统，其中所述控制器包括专用集成电路(ASIC)或现场可编程门阵列(FPGA)。


8.一种设备，包括：
第一曲线透镜；
第一图像传感器，所述第一图像传感器被配置为响应于经由所述第一曲线透镜接收第一辐射而生成第一输出信号；和
控制器，所述控制器包括深度模型，所述控制器被配置为：
接收所述第一输出信号作为输入；以及
至少部分地基于所述第一输出信号来输出深度测量结果。


9.根据权利要求8所述的设备，其中：
所述控制器包括应用处理器；并且
所述深度模型由所述应用处理器执行。


10.根据权利要求8所述的设...

【专利技术属性】
技术研发人员：P·比吉奥伊，P·斯特克，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰;IE