3D感测系统和基于混合感测阵列提供图像的方法技术方案

提供了3D感测系统和基于混合感测阵列提供图像的方法。所述3D感测系统包括：光源，被配置为发射光；混合感测阵列，包括2D感测区域和3D深度感测区域，2D感测区域被配置为检测从对象反射的环境光，3D深度感测区域被配置为检测由光源发射并从对象反射的光；超透镜，在混合感测阵列上，超透镜被配置为将从对象反射的环境光引导到2D感测区域，并且将由光源发射并从对象反射的光引导到3D深度感测区域；和处理电路，被配置为：对通过2D感测区域提供的2D图像信息和通过3D深度感测区域提供的3D信息进行组合，以生成组合的3D图像。以生成组合的3D图像。以生成组合的3D图像。

【技术实现步骤摘要】
3D感测系统和基于混合感测阵列提供图像的方法
[0001]本申请要求于2020年4月17日提交的题为“用于改善3D深度信息的混合光电二极管和SPAD阵列以及传感器系统(A hybrid photodiode and SPAD array and sensor system to improve 3D depth information)”的第63/012,000号美国临时申请以及于2020年7月27日提交的第16/940,308号美国申请的优先权和权益，所述美国申请的全部内容通过引用包含于此。


[0002]本公开的一个或多个实施例的方面涉及用于3D成像的混合传感器系统和方法。

技术介绍

[0003]近年来，越来越广泛地需要依赖于计算机视觉(诸如，高级驾驶员辅助系统(“ADAS”)、自主驾驶应用、增强现实(“AR”)和虚拟现实(“VR”)等)的应用。已经提供了不同的检测系统(诸如，光检测和测距(“LiDAR”)以及相机等)，以支持ADAS、自主驾驶应用、AR和VR等。这样的检测系统提供信息以辅助应用理解、修改和作用于来自真实世界的信息。
[0004]然而，由于可能不利地影响分辨率、检测范围、速度和/或稳定性的硬件和软件限制，可能难以满足ADAS、自主驾驶应用、AR和VR等的需求。例如，为ADAS和自主驾驶应用提供高分辨率和高质量的3D深度信息可以是具有挑战性的。作为另一示例，低形状因数对于AR和VR应用可以是期望的，在AR和VR应用中，装置的较长的检测范围(例如，超过10米的检测范围)和移动性可以是有用的。
[0005]通常，为了提供真实世界信息，可使用多个单独的检测系统。然而，将来自这些单独的检测系统的数据转换成高质量3D图像可能是困难的。例如，提供单独的2D图像数据集和单独的3D深度数据集的单独的检测系统可用于通过对齐来自单独的2D图像数据集和单独的3D深度数据集的对应点来提供3D图像。该处理可考虑可能占用大量计算资源的若干因数和/或校准。此外，未对齐或无能力对齐2D图像数据与3D深度数据之间的对应点可能破坏用于计算机视觉应用的单独的系统的有效性。
[0006]在本
技术介绍
部分中公开的以上信息用于增强本公开的背景的理解，因此可包含不形成现有技术的信息。

技术实现思路

[0007]本公开的一个或多个示例实施例涉及用于3D成像的系统和方法。
[0008]根据本公开的一个实施例，提供了一种3D感测系统。所述3D感测系统包括：光源，被配置为发射光；混合感测阵列，包括：2D感测区域和3D深度感测区域，2D感测区域被配置为检测从对象反射的环境光，3D深度感测区域被配置为检测由光源发射并从对象反射的光；超透镜，在混合感测阵列上，超透镜被配置为：将从对象反射的环境光引导到2D感测区域，并且将由光源发射并从对象反射的光引导到3D深度感测区域；和处理电路，被配置为：对通过2D感测区域提供的2D图像信息和通过3D深度感测区域提供的3D信息进行组合，以生
成组合的3D图像。
[0009]处理电路还被配置为：基于2D感测区域来确定对象的2D图像信息；基于3D深度感测区域来确定对象的3D深度信息；和用3D深度信息更新对象的2D图像信息。
[0010]所述的3D感测系统还可包括：行解码器和列放大器，行解码器和列放大器被堆叠在混合感测阵列下方。
[0011]超透镜可在形状上是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
[0012]2D感测区域可包括一个或多个光电二极管，3D深度感测区域可包括一个或多个APD或SPAD。
[0013]超透镜可被配置为：将NIR光引导到3D深度感测区域。
[0014]处理电路还可被配置为：基于2D图像信息来检测对象；基于2D图像信息中的对象的坐标来生成感兴趣区域；和使用光源照射感兴趣区域。
[0015]处理电路还可被配置为：基于2D图像信息和3D深度信息来确定对象的身份；基于2D图像信息来跟踪对象；和响应于临界条件，用3D深度信息更新2D图像信息。
[0016]根据本公开的一个实施例，提供了一种基于混合感测阵列提供图像的方法。所述方法包括：从光源发射光；通过所述混合感测阵列的2D感测区域检测从对象反射的环境光；通过所述混合感测阵列的3D深度感测区域检测由光源发射并从对象朝向3D深度感测区域反射的光；通过所述混合感测阵列上的超透镜将环境光引导到2D感测区域；通过所述混合感测阵列的超透镜将由光源发射并从对象反射的光引导到3D深度感测区域；和通过处理电路对通过2D感测区域提供的2D图像信息和通过3D深度感测区域提供的3D信息进行组合，以生成组合的3D图像。
[0017]所述方法还可包括：通过处理电路基于2D感测区域来确定对象的2D图像信息；通过处理电路基于3D深度感测区域来确定对象的3D深度信息；和通过处理电路用3D深度信息更新对象的2D图像信息。
[0018]检测环境光和由光源发射的光的所述混合感测阵列可被堆叠在行解码器和列放大器上方。
[0019]将环境光引导到2D感测区域以及将由光源发射并从对象反射的光引导到3D深度感测区域的超透镜在形状上可以是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
[0020]2D感测区域可包括用于检测环境光的一个或多个光电二极管，3D深度感测区域包括用于检测由光源发射并从对象反射的光的APD或SPAD。
[0021]通过所述混合感测阵列上的超透镜将环境光引导到2D感测区域的步骤可包括：将可见光引导到2D感测区域，并且通过所述混合感测阵列的超透镜将由光源发射并从对象反射的光引导到3D深度感测区域的步骤包括：将NIR光引导到3D深度感测区域。
[0022]所述方法还可包括：通过处理电路基于2D图像信息来检测对象；通过处理电路基于2D图像信息中的对象的坐标来生成感兴趣区域；和通过处理电路使用光源照射感兴趣区域。
[0023]所述方法还可包括：通过处理电路基于2D图像信息和3D深度信息来确定对象的身份；通过处理电路基于2D图像信息来跟踪对象；和通过处理电路响应于临界条件，用3D深度信息更新2D图像信息。
[0024]根据本公开的一个实施例，提供了一种3D感测系统。所述3D感测系统包括：光源，被配置为发射光；2D感测区域，用于检测从对象反射的可见光；3D深度感测区域，用于检测从对象反射的近红外光；超透镜，覆盖2D感测区域，超透镜被配置为：将从对象反射的可见光引导到2D感测区域，和将由光源发射并从对象反射的光引导到3D深度感测区域；和处理电路，被配置为：基于2D感测区域来确定对象的2D图像信息；基于3D深度感测区域来确定对象的3D深度信息；和用3D深度信息更新对象的2D图像信息。
[0025]所述3D感测系统还可包括：行解码器和列放大器，行解码器和列放大器被堆叠在2D感测区域和3D深度感测区域下方。
[0026]超透镜在形状上可以是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
[0027]2D感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维感测系统，包括：光源，被配置为发射光；混合感测阵列，包括：二维感测区域和三维深度感测区域，二维感测区域被配置为检测从对象反射的环境光，三维深度感测区域被配置为检测由光源发射并从对象反射的光；超透镜，在混合感测阵列上，超透镜被配置为：将从对象反射的环境光引导到二维感测区域，并且将由光源发射并从对象反射的光引导到三维深度感测区域；和处理电路，被配置为：对通过二维感测区域提供的二维图像信息和通过三维深度感测区域提供的三维深度信息进行组合，以生成组合的三维图像。2.根据权利要求1所述的三维感测系统，其中，处理电路还被配置为：基于二维感测区域来确定对象的二维图像信息；基于三维深度感测区域来确定对象的三维深度信息；和用三维深度信息更新对象的二维图像信息。3.根据权利要求1所述的三维感测系统，还包括：行解码器和列放大器，行解码器和列放大器被堆叠在混合感测阵列下方。4.根据权利要求1所述的三维感测系统，其中，超透镜在形状上是圆形、圆柱形、矩形或正方形的，并且是偏振无关的。5.根据权利要求1所述的三维感测系统，其中，二维感测区域包括一个或多个光电二极管，三维深度感测区域包括一个或多个雪崩光电二极管或单光子雪崩二极管。6.根据权利要求1所述的三维感测系统，其中，超透镜被配置为：将近红外光引导到三维深度感测区域，并将可见光引导到二维感测区域。7.根据权利要求1至权利要求6中的任一项所述的三维感测系统，其中，处理电路还被配置为：基于二维图像信息来检测对象；基于二维图像信息中的对象的坐标来生成感兴趣区域；和使用光源照射感兴趣区域。8.根据权利要求1所述的三维感测系统，其中，处理电路还被配置为：基于二维图像信息和三维深度信息来确定对象的身份；基于二维图像信息来跟踪对象；和响应于临界条件，用三维深度信息更新二维图像信息。9.一种基于混合感测阵列提供图像的方法，所述方法包括：从光源发射光；通过所述混合感测阵列的二维感测区域检测从对象反射的环境光；通过所述混合感测阵列的三维深度感测区域检测由光源发射并从对象朝向三维深度感测区域反射的光；通过所述混合感测阵列上的超透镜将环境光引导到二维感测区域；通过所述混合感测阵列的超透镜将由光源发射并从对象反射的光引导到三维深度感测区域；和通过处理电路对通过二维感测区域提供的二维图像信息和通过三维深度感测区域提供的三维深度信息进行组合，以生成组合的三维图像。
10.根据权利要求9所述的方法，所述方法还包括：通过处理电路基于二维感测区域来确定对象的二维图像信息；通过...

【专利技术属性】
技术研发人员：金矿旿，王一兵，拉德瓦努尔，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：