图像传感器中的像素、成像单元、测距的方法和系统技术方案

一种图像传感器中的像素、成像单元、测距的方法和系统。飞行时间(TOF)技术在像素阵列中的每个像素内使用每个像素中的多个单光子雪崩二极管(SPAD)连同单个钉扎光电二极管(PPD)而被与模拟幅度调制组合。SPAD可在多个邻近的像素之间被共享。TOF信息通过像素自身内部的基于模拟域的单端差分转换器被添加到接收的光信号。像素中的多个、邻近的SPAD的输出之间的空间‑时间关联性被用于控制PPD的操作，以促使记录TOF值和3D对象的距离。由于环境光导致的错误的测距通过仅当像素中的两个或更多个SPAD在预定义的快门时间间隔内被触发时停止来自PPD的电荷传送(并，因此，记录TOF值)来防止。具有多SPAD像素的自主导航系统在困难的驾驶条件下为驾驶员提供改善的视野。

Pixels, Imaging Units, Ranging Methods and Systems in Image Sensors

A method and system for measuring pixels, imaging units and ranges in an image sensor. Time of flight (TOF) technology is combined with analog amplitude modulation (AMM) using multiple single photon avalanche diodes (SPADs) in each pixel of the pixel array, together with a single pinned photodiode (PPD). SPAD can be shared among multiple adjacent pixels. TOF information is added to the received optical signal through an analog domain-based single-ended differential converter within the pixel itself. The spatial and temporal correlation between the outputs of multiple adjacent SPADs in a pixel is used to control the operation of PPD to facilitate the recording of TOF values and the distance between 3D objects. Error ranging due to ambient light is prevented by stopping charge transfer from PPD (and, therefore, recording TOF values) only when two or more SPADs in a pixel are triggered within a predefined shutter interval. Autonomous navigation system with multiple SPAD pixels provides improved vision for drivers under difficult driving conditions.

【技术实现步骤摘要】
图像传感器中的像素、成像单元、测距的方法和系统本申请要求于2017年5月16日提交的第62/507,210号美国临时申请的优先权权益，所述美国临时申请的公开通过引用完整包含于此。
本专利技术总体涉及图像传感器。更具体地讲，并不作为限制，本公开中公开的专利技术方面的具体实施例是针对飞行时间(Time-of-Flight，TOF)图像传感器，在TOF图像传感器中，像素使用用于控制时间电荷转换器(time-to-chargeconverter)(诸如，钳位光电二极管(pinnedphotodiode，PPD))的操作的多个相邻的单光子雪崩二极管(SinglePhotonAvalancheDiode，SPAD)的输出之中的时空相关性来促使记录TOF值和三维(3D)对象的距离。
技术介绍
三维(3D)成像系统正在越来越多地用在诸如以工业生产、视频游戏、计算机图形学、机器人手术、消费类显示、监控视频、3D建模、房地产销售、自主导航等为例的各种各样的应用中。例如，现有的3D成像技术可以包括基于飞行时间(TOF)的测距成像、立体视觉系统和结构光(SL)方法。在TOF方法中，基于已知的光速—通过针对图像的每个点测量光信号在照相机和3D对象之间行进所需的往返时间，来求解至3D对象的距离。照相机中像素的输出提供关于像素特定(pixel-specific)TOF值的信息以生成对象的3D深度剖面。TOF照相机可使用无扫描方法以利用每个激光脉冲或光脉冲来捕获整个场景。在直接TOF成像器中，单个激光脉冲可用于捕获空间和时间数据以记录3D场景。这允许场景信息的快速获取和快速实时处理。TOF方法的一些示例应用可包括诸如自主导航以及基于实时的距离图像的活动行人安全或预碰撞检测的先进的汽车应用，以诸如在视频游戏机上与游戏交互期间追踪人的移动、在工业机器视觉中对对象进行分类并促使机器人发现物品(诸如在传送带上的物品)等。在立体成像或立体视觉系统中，彼此水平移位(displaced)的两个照相机用于获得对场景或场景中的3D对象的两个不同的视图。通过比较这两个图像，可以获得针对3D对象的相对深度信息。立体视觉在诸如机器人学的领域中十分重要，以在自主系统/机器人的附近提取关于3D对象的相对位置的信息。机器人学的其他应用包括对象识别，其中，立体深度信息允许机器人系统分开遮挡的图像部分，否则在诸如一个对象位于另一个对象前面把另一个对象部分地或全部地隐藏起来时，机器人可能无法将它们区分为两个单独的对象。3D立体显示器也用于娱乐和自动化系统中。在SL方法中，可利用投射的光图案和用于成像的照相机来测量对象的3D形状。在SL方法中，将已知的光的图案(通常为网格或水平条或平行条纹的图案)投射到场景或场景中的3D对象上。投射的图案可以在照到3D对象的表面时变形或移位。这样的变形可允许SL视觉系统计算对象的深度和表面信息。因此，向3D表面投射窄带光可产生照明线，所述照明线从除了投射器的视角以外的其他视角可能出现失真，并且向3D表面投射窄带光可以用于被照明的表面形状的几何重建。基于SL的3D成像可用于诸如以由警察机关以3D场景拍摄指纹、在生产工艺期间组件的联机检查、以及在卫生保健用于人体体型或人体皮肤的微观结构的现场测量等为例的各种应用中。
技术实现思路
在一个实施例中，本公开针对一种图像传感器中的像素。所述像素包括：(i)多个单光子雪崩二极管(SPAD)，其中，每个SPAD操作为将接收的亮度转换为相应电信号；(ii)第一控制电路，连接到所述多个SPAD，其中，针对接收亮度的每个SPAD，第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；(iii)钳位光电二极管(PPD)，操作为存储模拟电荷；(iv)第二控制电路，连接到第一控制电路和PPD。在所述像素中，第二控制电路操作为：(a)启动来自PPD的模拟电荷的部分的传送；(b)当在预定义时间间隔内从第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。在另一实施例中，本公开针对一种方法，其中，所述方法包括：(i)将激光脉冲投射到三维(3D)对象上；(ii)将模拟调制信号施加到像素中的PPD；(iii)基于从模拟调制信号接收的调制，启动存储在PPD中的模拟电荷的部分的传送；(vi)使用所述像素中的多个SPAD检测返回脉冲，其中，返回脉冲是从3D对象反射的投射的脉冲，其中，每个SPAD操作为将从返回脉冲接收的亮度转换为相应电信号；(v)针对接收亮度的每个SPAD，处理相应电信号以从相应电信号生成SPAD-特定数字输出；(vi)当在预定义时间间隔内生成至少两个SPAD-特定数字输出时，终止模拟电荷的所述部分的传送；(vii)基于当终止时传送的模拟电荷的所述部分，确定返回脉冲的飞行时间(TOF)值。在另一实施例中，本公开针对一种包括光源和图像传感器单元的成像单元。光源操作为将激光脉冲投射到三维3D对象上。图像传感器单元包括：(i)多个像素，布置在二维(2D)像素阵列中；(ii)处理单元，连接到2D像素阵列。2D像素阵列中的至少一行像素中的每个像素包括：(a)像素-特定的多个SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；(b)像素-特定第一控制电路，连接到像素-特定的多个SPAD，其中，针对接收返回脉冲中的亮度的每个SPAD，像素-特定第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；(c)像素-特定装置，操作为存储模拟电荷；(d)像素-特定第二控制电路，连接到像素-特定第一控制电路和像素-特定装置，其中，像素-特定第二控制电路操作为：启动来自像素-特定装置的模拟电荷的像素-特定第一部分的传送；当在预定义时间间隔内从像素-特定第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。在图像传感器单元中，处理单元操作为：(a)将模拟调制信号提供给所述行的像素中的每个像素中的像素-特定第二控制电路，以控制模拟电荷的像素-特定第一部分的传送；(b)基于模拟电荷的像素-特定第一部分在所述预定义时间间隔的传送，确定返回脉冲的像素-特定飞行时间TOF值。在另一实施例中，本公开针对一种系统，其中，所述系统包括：(i)光源；(ii)多个像素；(iii)多个ADC单元；(iv)存储器，用于存储程序指令；(v)处理器，连接到存储器、所述多个ADC单元和所述多个像素。在所述系统中，光源将激光脉冲投射到3D对象上。在所述多个像素中，每个像素包括：(a)像素-特定钳位光电二极管PPD，操作为存储模拟电荷；(b)像素-特定的多个SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；(c)像素-特定控制电路，连接到像素-特定PPD和像素特定的多个SPAD。像素-特定控制电路操作为：(a)启动来自像素-特定PPD的模拟电荷的像素-特定第一部分的第一传送；(b)处理来自接收返回脉冲中的亮度的每个SPAD的相应电信号，并从相应电信号生成SPAD-特定输出；(c)当在预定义时间间隔内生成至少两个SPAD-特定输出时，终止第一传送；(d)本文档来自技高网...

【技术保护点】
1.一种图像传感器中的像素，所述像素包括：多个单光子雪崩二极管SPAD，其中，每个SPAD操作为将接收的亮度转换为相应电信号；第一控制电路，连接到所述多个SPAD，其中，针对接收亮度的每个SPAD，第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD‑特定输出；钳位光电二极管PPD，操作为存储模拟电荷；第二控制电路，连接到第一控制电路和PPD，其中，第二控制电路操作为：启动来自PPD的模拟电荷的第一部分的传送；当在预定义时间间隔内从第一控制电路接收到至少两个SPAD‑特定输出时，终止所述传送。

【技术特征摘要】
2017.05.16 US 62/507,210;2017.07.21 US 15/657,1011.一种图像传感器中的像素，所述像素包括：多个单光子雪崩二极管SPAD，其中，每个SPAD操作为将接收的亮度转换为相应电信号；第一控制电路，连接到所述多个SPAD，其中，针对接收亮度的每个SPAD，第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；钳位光电二极管PPD，操作为存储模拟电荷；第二控制电路，连接到第一控制电路和PPD，其中，第二控制电路操作为：启动来自PPD的模拟电荷的第一部分的传送；当在预定义时间间隔内从第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。2.如权利要求1所述的像素，其中，所述多个SPAD中的每个SPAD、第一控制电路、PPD和第二控制电路包括互补金属氧化物半导体部。3.如权利要求1所述的像素，其中，第二控制电路操作为接收模拟调制信号，其中，模拟电荷的第一部分基于通过模拟调制信号提供的调制被传送。4.如权利要求1所述的像素，其中，第二控制电路还操作为传送来自PPD的模拟电荷的第二部分，其中，第二部分等于在第一部分被传送之后的模拟电荷的剩余。5.如权利要求4所述的像素，其中，第二控制电路包括：输出端子，将第一部分作为第一像素-特定输出并将第二部分作为第二像素-特定输出传送到像素之外，其中，第二控制电路还操作为接收外部输入以在输出端子上响应地生成第一像素-特定输出和第二像素-特定输出。6.如权利要求5所述的像素，其中，第二控制电路还包括第一节点和第二节点，其中，第二控制电路操作为：将第一部分从PPD传送到第一节点、从第一节点传送到第二节点并从第二节点传送到输出端子作为第一像素-特定输出；将第二部分从PPD传送到第一节点、从第一节点传送到第二节点并从第二节点传送到输出端子作为第二像素-特定输出。7.如权利要求1所述的像素，其中，所述像素中的PPD与所述多个SPAD的有效比为1:1。8.如权利要求1所述的像素，其中，所述多个SPAD中的全部SPAD以N×N配置被布置在所述像素中，其中，N≥2，N为整数。9.一种用于测距的方法，包括：将激光脉冲投射到三维3D对象上；将模拟调制信号施加到像素中的钳位光电二极管PPD；基于从模拟调制信号接收的调制，启动存储在PPD中的模拟电荷的第一部分的传送；使用所述像素中的多个单光子雪崩二极管SPAD检测返回脉冲，其中，返回脉冲是从3D对象反射的投射的脉冲，其中，每个SPAD操作为将从返回脉冲接收的亮度转换为相应电信号；针对接收亮度的每个SPAD，处理相应电信号以从相应电信号生成SPAD-特定数字输出；当在预定义时间间隔内生成至少两个SPAD-特定数字输出时，终止模拟电荷的第一部分的传送；基于当终止时传送的模拟电荷的第一部分，确定返回脉冲的飞行时间TOF值。10.如权利要求9所述的方法，还包括：从自PPD传送的模拟电荷的第一部分产生所述像素的第一像素-特定输出；传送来自PPD的模拟电荷的第二部分，其中，第二部分等于在第一部分被传送之后的模拟电荷的剩余；从自PPD传送的模拟电荷的第二部分产生所述像素的第二像素-特定输出；使用模数转换器ADC单元对第一像素-特定输出和第二像素-特定输出进行采样；基于所述采样，生成与第一像素-特定输出对应的第一信号值和与第二像素-特定输出对应的第二信号值。11.如权利要求10所述的方法，还包括：使用第一信号值与第一信号值和第二信号值之和的比率确定返回脉冲的TOF值。12.如权利要求11所述的方法，还包括：基于TOF值确定到3D对象的距离。13.如权利要求9所述的方法，还包括：进一步将快门信号施加到所述像素，其中，快门信号在投射激光脉冲之后被施加预定时间段；在快门信号以及模拟调制信号激活时，使用所述多个SPAD检测返回脉冲；当在快门信号激活时生成至少两个SPAD-特定数字输出时，提供终止信号；响应于终止信号，终止模拟电荷的第一部分的传送。14.如权利要求9所述的方法，其中，投射激光脉冲的步骤包括：使用光源投射激光脉冲，其中，光源为以下项中的一个：激光源；产生可见光谱中的光的光源；产生不可见光谱中的光的光源；单色照明光源；红外激光器；X-Y可寻址光源；具有二维扫描能力的点光源；具有一维扫描能力的片光源；散射激光器。15.一种成像单元，包括：...

【专利技术属性】
技术研发人员：王一兵，石立龙，伊利亚·奥夫桑尼科夫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR