图像传感器的像素和直接飞行时间范围测量的方法及系统技术方案

提供一种图像传感器的像素和直接飞行时间范围测量的方法及系统。将直接飞行时间技术与模拟振幅调制组合于像素阵列中的每一像素内。不使用单光子雪崩二极管或雪崩光电二极管。而是，每一像素具有转换增益超过400μV/e‑且光子探测效率大于45％的光电二极管，所述光电二极管联合针扎光电二极管一起工作。通过像素本身内的基于模拟域的单端‑差分转换器向所接收的光信号添加飞行时间信息。像素中的光电二极管的输出用于控制针扎光电二极管的操作。当来自像素中的光电二极管的输出在预定义时间间隔内被触发时，从针扎光电二极管的电荷转移被停止，且因此，飞行时间值及物体的范围被记录。此种像素为驾驶员提供改善型自主导航系统。

Method and System for Measuring Pixel and Direct Time-of-Flight Range of Image Sensor

【技术实现步骤摘要】
图像传感器的像素和直接飞行时间范围测量的方法及系统[相关申请的交叉参考]本申请主张在2017年12月19日提出申请的美国临时专利申请第62/607,861号的优先权利，所述美国临时专利申请的公开内容全文并入本文中供参考。
本专利技术大体来说涉及图像传感器。更具体来说而非作为限制，本专利技术中所公开的专利技术方面的特定实施例涉及一种飞行时间(Time-of-Flight，TOF)图像传感器，其中像素使用具有极高转换增益的光电二极管(PhotoDiode，PD)来控制时间-电荷转换器(例如针扎光电二极管(PinnedPhotoDiode，PPD))的操作以促进对飞行时间值及三维(three-dimensional，3D)物体的范围进行记录。
技术介绍
三维(3D)成像系统越来越多地用于各种各样的应用，例如(举例来说)工业生产、视频游戏、计算机图形、机器人外科手术、消费型显示器、监控视频、三维建模、房地产销售、自主导航等。现有的三维成像技术可例如包括基于飞行时间(TOF)的范围成像、立体视觉系统及结构光(structuredlight，SL)方法。在飞行时间方法中，基于已知的光速来解析距三维物体的距离—通过针对图像的每一点测量光信号在照相机与三维物体之间行进所花费的往返时间。照相机中的像素的输出提供关于像素专有飞行时间值的信息，以产生物体的三维深度轮廓。飞行时间照相机可使用无扫描方法来以每一激光脉冲或光脉冲俘获整个场景。在直接飞行时间成像器中，可使用单个激光脉冲来俘获空间与时间数据以记录三维场景。此使得能够对场景信息进行快速获取及快速实时处理。飞行时间方法的一些示例性应用可包括高级汽车应用(例如基于实时距离图像进行自主导航以及主动行人安全或碰撞前探测)、例如在与视频游戏机上的游戏交互期间跟踪人类的移动、在工业机器视觉中对物体进行分类并帮助机器人找到物品(例如传送带上的物品)，等等。光探测与测距(LightDetectionandRanging，LiDAR)是直接飞行时间方法的实例，其通过以脉冲式激光来照射目标并以传感器来测量反射脉冲而测量距目标的距离。然后，可使用激光返回时间之差以及波形来作出目标的数字三维表示。光探测与测距具有地面应用、空运应用及移动应用。光探测与测距通常例如(举例来说)在考古学、地理学、地质学、森林学等中用于制作高分辨率地图。光探测与测距也具有汽车应用，例如(举例来说)，在一些自主汽车中用于控制与导航。在立体成像系统或立体视觉系统中，使用彼此水平移位的两个照相机来获得关于场景或关于场景中的三维物体的两个不同的视图。通过对这两个图像进行比较，可获得三维物体的相对深度信息。立体视觉在例如机器人学等领域中是非常重要的，以提取关于自主系统/机器人附近的三维物体的相对位置的信息。机器人学的其他应用包括物体辨识，其中立体深度信息使得机器人系统能够分离出被遮挡的图像分量，而机器人原本可能不能将所述被遮挡的图像分量区分为两个单独的物体—例如一个物体在另一物体的前方，局部地或完全地挡住另一物体。三维立体显示器也用于娱乐系统及自动化系统。在结构光方法中，可使用所投射光图案及成像照相机来测量物体的三维形状。在结构光方法中，将已知的光图案(通常为栅格或水平条或者由平行条带形成的图案)投射到场景或场景中的三维物体上。所投射图案在射到三维物体的表面上时可发生变形或移位。此种变形可使得结构光视觉系统能够计算物体的深度信息及表面信息。因此，将窄光带投射到三维表面上可生成照射线，所述照射线从除投影仪的视角以外的视角来看可显现为失真的且可用于对被照射的表面形状进行几何重构。基于结构光的三维成像可用于不同的应用，例如(举例来说)，由警察用于拍摄三维场景中的指纹、在生产过程期间对组件进行线上检验、在医疗保健中用于对人体形状或人类皮肤的微结构进行现场测量，等等。
技术实现思路
在一个实施例中，本专利技术涉及一种在图像传感器中的像素。所述像素包括：(i)光电二极管(PD)单元，具有至少一个光电二极管，所述至少一个光电二极管将所接收的光亮转换成电信号，其中所述至少一个光电二极管具有转换增益，所述转换增益满足阈值；(ii)放大器单元，与所述光电二极管单元串联连接，以放大所述电信号并响应于所述放大而产生中间输出；以及(iii)时间-电荷转换器(Time-to-ChargeConverter，TCC)单元，耦合到所述放大器单元且从所述放大器单元接收所述中间输出。在所述像素中，所述时间-电荷转换器包括：(a)存储模拟电荷的装置，以及(b)控制电路，耦合到所述装置。所述控制电路执行包括以下的操作：(1)启动所述模拟电荷的第一部分从所述装置的转移，(2)响应于在预定义时间间隔内接收到所述中间输出而终止所述转移，以及(3)基于所转移的所述模拟电荷的所述第一部分而产生所述像素的第一像素专有输出。在特定实施例中，所述转换增益的所述阈值为至少每光电子400μV(微伏)。在另一实施例中，本专利技术涉及一种直接飞行时间范围测量的方法，包括：(i)将激光脉冲投射到三维(3D)物体上；(ii)将模拟调制信号施加到像素中的装置，其中所述装置存储模拟电荷；(iii)基于从所述模拟调制信号接收到的调制，启动所述模拟电荷的一部分从所述装置的转移；(iv)使用所述像素探测返回脉冲，其中所述返回脉冲是从所述三维物体反射的所投射的所述激光脉冲，且其中所述像素包括光电二极管(PD)单元，所述光电二极管单元具有至少一个光电二极管，所述至少一个光电二极管将在所述返回脉冲中接收到的光亮转换成电信号且具有转换增益，所述转换增益满足阈值；(v)使用所述像素中的放大器单元来处理所述电信号，以响应于所述处理而产生中间输出；(vi)响应于在预定义时间间隔内产生所述中间输出而终止所述模拟电荷的所述部分的所述转移；以及(vii)基于在终止时所转移的所述模拟电荷的所述部分而确定所述返回脉冲的飞行时间(TOF)值。在一些实施例中，所述转换增益的所述阈值为至少每光子400μV。在又一实施例中，本专利技术涉及一种直接飞行时间范围测量的系统，包括：(i)光源；(ii)多个像素；(iii)存储器，用于存储程序指令；以及(iv)处理器，耦合到所述存储器及所述多个像素。在所述系统中，所述光源将激光脉冲投射到三维物体上。在所述多个像素中，每一个像素包括：(a)像素专有光电二极管单元，具有至少一个光电二极管，所述至少一个光电二极管将在返回脉冲中接收到的光亮转换成电信号，其中所述至少一个光电二极管具有转换增益，所述转换增益满足阈值，且其中所述返回脉冲是通过由所述三维物体反射所投射的所述激光脉冲得到；(b)像素专有放大器单元，与所述像素专有光电二极管单元串联连接，以放大所述电信号并响应于所述放大而产生中间输出；以及(c)像素专有时间-电荷转换器单元，耦合到所述像素专有放大器单元且从所述像素专有放大器单元接收所述中间输出。在所述系统中，所述像素专有时间-电荷转换器单元包括：(i)存储模拟电荷的装置，以及(ii)控制电路，耦合到所述装置。所述控制电路执行包括以下的操作：(a)启动所述模拟电荷的像素专有第一部分从所述装置的转移；(b)当在预定义时间间隔内接收到所述中间输出时终止所述像素专有第一部分的所述转移；(c)基于所转移的所述模拟电荷本文档来自技高网...

【技术保护点】
1.一种在图像传感器中的像素，所述像素包括：光电二极管单元，具有至少一个光电二极管，所述至少一个光电二极管将所接收的光亮转换成电信号，其中所述至少一个光电二极管具有转换增益，所述转换增益满足阈值；放大器单元，与所述光电二极管单元串联连接，以放大所述电信号并响应于所述放大而产生中间输出；以及时间‑电荷转换器单元，耦合到所述放大器单元且从所述放大器单元接收所述中间输出，其中所述时间‑电荷转换器包括：存储模拟电荷的装置，以及控制电路，耦合到所述装置，其中所述控制电路执行包括以下的操作：启动所述模拟电荷的第一部分从所述装置的转移，响应于在预定义时间间隔内接收到所述中间输出而终止所述转移，以及基于所转移的所述模拟电荷的所述第一部分而产生所述像素的第一像素专有输出。

【技术特征摘要】
2017.12.19 US 62/607,861;2018.03.13 US 15/920,4301.一种在图像传感器中的像素，所述像素包括：光电二极管单元，具有至少一个光电二极管，所述至少一个光电二极管将所接收的光亮转换成电信号，其中所述至少一个光电二极管具有转换增益，所述转换增益满足阈值；放大器单元，与所述光电二极管单元串联连接，以放大所述电信号并响应于所述放大而产生中间输出；以及时间-电荷转换器单元，耦合到所述放大器单元且从所述放大器单元接收所述中间输出，其中所述时间-电荷转换器包括：存储模拟电荷的装置，以及控制电路，耦合到所述装置，其中所述控制电路执行包括以下的操作：启动所述模拟电荷的第一部分从所述装置的转移，响应于在预定义时间间隔内接收到所述中间输出而终止所述转移，以及基于所转移的所述模拟电荷的所述第一部分而产生所述像素的第一像素专有输出。2.根据权利要求1所述的像素，其中所述光电二极管单元、所述放大器单元及所述时间-电荷转换器单元中的每一者包括互补金属氧化物半导体部分。3.根据权利要求1所述的像素，其中所述光电二极管单元包括：第一光电二极管，接收所述光亮且响应于所述光亮而产生所述电信号，其中所述第一光电二极管具有满足所述阈值的所述转换增益；以及第二光电二极管，与所述第一光电二极管并联连接，其中所述第二光电二极管不被暴露于所述光亮，且基于所探测到的暗度的水平而产生参考信号。4.根据权利要求3所述的像素，其中所述放大器单元包括：感测放大器，与所述第一光电二极管及所述第二光电二极管串联连接，以在相对于所述参考信号感测所述电信号时放大所述电信号，其中所述感测放大器在响应于所接收到的控制信号而放大所述电信号时产生所述中间输出。5.根据权利要求4所述的像素，其中所述感测放大器是电流感测放大器。6.根据权利要求1所述的像素，其中所述装置是以下中的一者：针扎光电二极管；光电门；以及电容器。7.根据权利要求1所述的像素，其中所述控制电路包括输出端子，且其中所述控制电路还执行包括以下的操作：接收模拟调制信号；还接收外部输入；响应于所述外部输入且基于由所述模拟调制信号提供的调制来通过所述输出端子转移所述模拟电荷的所述第一部分作为所述第一像素专有输出；以及响应于所述外部输入而通过所述输出端子转移所述模拟电荷的第二部分作为第二像素专有输出，其中所述第二部分等于在转移所述第一部分之后所述模拟电荷的剩余电荷。8.根据权利要求7所述的像素，其中所述控制电路还包括第一节点及第二节点，且其中所述控制电路还执行包括以下的操作：将所述模拟电荷的所述第一部分从所述装置转移到所述第一节点、从所述第一节点转移到所述第二节点、以及从所述第二节点转移到所述输出端子作为所述第一像素专有输出；以及将所述模拟电荷的所述第二部分从所述装置转移到所述第一节点、从所述第一节点转移到所述第二节点、以及从所述第二节点转移到所述输出端子作为所述第二像素专有输出。9.根据权利要求1所述的像素，其中所述阈值为至少每光电子400μV。10.一种直接飞行时间范围测量的方法，包括：将激光脉冲投射到三维物体上；将模拟调制信号施加到像素中的装置，其中所述装置存储模拟电荷；基于从所述模拟调制信号接收到的调制，启动所述模拟电荷的第一部分从所述装置的转移；使用所述像素探测返回脉冲，其中所述返回脉冲是从所述三维物体反射的所投射的所述激光脉冲，且其中所述像素包括光电二极管单元，所述光电二极管单元具有至少一个光电二极管，所述至少一个光电二极管将在所述返回脉冲中接收到的光亮转换成电信号且具有转换增益，所述转换增益满足阈值；使用所述像素中的放大器单元来处理所述电信号，以响应于所述处理而产生中间输出；响应于在预定义时间间隔内产生所述中间输出而终止所述模拟电荷的所述第一部分的所述转移；以及基于在终止时所转移的所述模拟电荷的所述第一部分而确定所述返回脉冲的飞行时间值。11.根据权利要求10所述的方法，还包括：由从所述装置转移的所述模拟电荷的所述第一部分产生所述像素的第一像素专有输出；从所述装置转移所述模拟电荷的第二部分，其中所述第二部分等于在转移所述第一部分之后所述模拟电荷的剩余电荷；由从所述装置转移的所述模拟电荷的所述第二部分产生所述像素的第二像素专有输出；使用模拟-数字转换器单元对所述第一像素专有输出及所述第二像素专有输出进行采样；以及基于所述采样，使用所述模拟-数字转换器单元产生与所述第一像素专有输出对应的第一信号值及与所述第二像素专有输出对应的第二信号值。12.根据权利要求11所述的方法，其中确定所述返回脉冲的所述飞行时间值包括：使用所述第一信号值对所述第一信号值与所述第二信号值之和的比率来确定所述返回...

【专利技术属性】
技术研发人员：一兵·米歇尔·王，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR