图像传感器单元和系统技术方案

提供了一种图像传感器单元和系统。二维颜色信息和三维深度信息从二维像素阵列并行地获得。二维像素阵列布置在多个行的第一组中。所述阵列的第二组的行的像素可操作为产生二维颜色信息，阵列的第三组的行的像素可操作为产生三维深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。以交替的方式，从第二组的行中选择的行接收二维颜色信息，并且从第三组的行中选择的行来接收三维深度信息。

【技术实现步骤摘要】
本申请是2015年9月1日提交的第14/842,822号美国专利申请的部分继续专利申请，并且要求于2015年4月20日提交的第62/150,252号美国临时专利申请、于2015年6月19日提交的第62/182,404号美国临时专利申请、于2015年8月10日提交的第62/203,386号美国临时专利申请、以及于2015年9月16日在美国提交的第14/856,552号专利申请的优先权权益，每个专利申请的公开内容通过引用全部包含于此。
本公开总地涉及图像传感器。具体而言，不限制地，这里公开的具体实施例是指基于三角测量的系统以及使用激光器点扫描和互补金属氧化物半导体(CMOS)图像传感器(也用于三维(3D)物体的二维(2D)成像)对3D物体的深度测量的方法。
技术介绍
三维(3D)成像系统正越来越多地用于广泛多样的应用中，诸如工业生产、视频游戏、电脑绘图、机器人手术、消费者显示、监控视频、3D建模、房地产销售等。现有的3D成像技术可以包括例如，基于渡越时间(TOF)的测距成像、立体视觉系统和结构光(SL)方法。在TOF方法中，基于已知的光速—通过测量光信号针对图像的每个点在照相机和3D物体之间行进所需的往返时间，来求解至3D物体的距离。TOF照相机可以使用无扫描方法以利用每个激光或光脉冲来捕获整个场景。TOF方法的一些示例性应用可以包括：诸如基于实时距离图像的活动行人安全或预碰撞检测的先进汽车应用；追踪人诸如在视频游戏机上与游戏互动期间的移动；在工业机器视觉中，分类物体并且帮助机器人发现项目(诸如在传送带上的项目)等。在立体成像或立体视觉系统中，彼此水平放置的两个照相机用于获得对
场景或场景中的3D物体的两个不同视图。通过比较这两个图像，可以获得针对3D物体的相对深度信息。立体视觉在诸如机器人学的领域十分重要，以提取关于在自主系统/机器人附近的3D物体的相对位置的信息。用于机器人的其他应用包括目标识别，其中，立体深度信息使得机器人系统分开挡住图像部分，否则机器人不能区分两个单独的物体，诸如在另一个前面的一个物体，部分或完全隐藏另一个物体。3D立体显示也用于娱乐和自动化系统。在SL方法中，物体的3D形状可以使用投射的光图案和用于成像的照相机来测量。在SL方法中，将已知的光的图案(通常为网格或水平条或平行条纹的图案)投射到场景或场景中的3D物体上。投射的图案可以在照到3D物体的表面时而变形或移动。这种变形可以使SL视觉系统计算物体的深度和表面信息。因此，将窄带光投射到3D表面可以产生从其他透视图与投射仪的透视图的失真而会出现的照亮的线，并且可以用于照亮的表面形状的几何重建。基于SL的3D成像可以用于不同的应用，诸如，由警察机关以3D场景拍摄指纹，在生产工艺期间组件的联机检查，在卫生保健中针对人体体型或人体皮肤的微观结构的现场测量等。
技术实现思路
一个示例性实施例提供一种方法，所述方法包括：图像传感器处接收至少一个物体的图像，所述图像传感器包括二维(2D)像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为产生至少一个物体的2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；以及以交替的方式从第二组的行中选择行来接收至少一个物体的2D颜色信息，并且从第三组的行中选择行来接收至少一个物体的3D深度信息。一个示例性实施例提供一种图像传感器单元，包括：二维(2D)像素阵列和控制器。所述2D像素阵列布置在多个行的第一组中。所述阵列的第二组的行的像素可操作为基于通过2D像素阵列接收的至少一个物体的图像而产生2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。控制器结
合到2D像素阵列，以交替的方式从第二组的行中选择行来输出基于至少一个物体的图像而产生的2D颜色信息，并且从第三组的行中选择行来输出产生的至少一个物体的3D深度信息。一个示例性实施例提供一种系统，包括：二维(2D)像素阵列、控制器和显示器。2D像素阵列布置在多个行的第一组的中，其中，所述阵列的第二组的行的像素可操作为基于通过2D像素阵列接收的至少一个物体的图像而产生2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。控制器结合到2D像素阵列，而以交替的方式从第二组的行中选择行来输出基于至少一个物体的图像而产生的2D颜色信息，并且从第三组的行中选择行来输出产生的至少一个物体的3D深度信息。显示器结合到2D像素阵列和控制器，并且可操作为基于产生的2D颜色信息来显示至少一个物体的第一图像，并且基于产生的3D深度信息来显示至少一个物体的第二图像。附图说明在以下部分中，将参照附图中示出的示例性实施例来描述这里公开的主旨的方面，在附图中：图1示出根据这里公开的一个实施例的系统的高度简化的局部结构；图2示出根据这里公开的一个实施例的图1中的系统的示例性操作结构；图3描述了示出根据这里公开的一个实施例可以如何执行3D深度测量的示例性流程图；图4是根据这里公开的一个实施例的为了3D深度测量可以如何执行点扫描的示例性图示；图5示出根据这里公开的一个实施例的针对扫描的光斑的示例性时间戳；图6示出根据这里公开的一个实施例的图1和图2中的图像传感器的2D像素阵列的示例性电路详情以及图像处理单元中的相关处理电路的一部分；图7A是根据这里公开的一个实施例的图像传感器单元的示例性结构；图7B示出根据这里公开的一个实施例的用于3D深度测量的示例性CDS+ADC单元的架构详情；图8是根据这里公开的具体实施例示出图1和图2的系统中的不同信号的示例性时序以产生在操作的3D线性模式下的基于时间戳的像素特定输出的时序图；图9示出示例性查找表(LUT)以示出在这里公开的具体实施例中可以如何使用LUT来确定3D深度值；图10是示出根据这里公开的具体实施例的图1和图2的系统中的不同信号的示例性时序以使用操作的2D线性模式产生2D RGB图像的时序图；图11是示出根据这里公开的具体实施例的图1和图2的系统中的不同信号的示例性时序以在操作的3D对数(log)模式下产生基于时间戳的像素特定输出的时序图；图12描述了根据这里公开的一个实施例的图1和图2中的系统的整体结构；图13描述了根据这里公开的实施例同时产生并且获得2D颜色信息和3D深度信息的过程的示例性流程图；图14描述了根据这里公开的一个实施例为了3D深度测量可以如何执行至半透明物体的距离和至半透明物体后面的物体的距离的示例性图示；图15描述了根据这里公开的一个实施例为了3D深度测量可以如何执行半透明介质的深度成像的示例性图示；以及图16描述了根据这里公开的一个实施例存在多条返回路径的情况下为了3D深度测量可以如何执行物体的深度成像的示例性图示。具体实施方式在以下具体实施方式中，为了提供对公开的透彻理解本文档来自技高网...

【技术保护点】
一种图像传感器单元，所述图像传感器单元包括：二维像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为基于通过二维像素阵列接收的至少一个物体的图像而产生二维颜色信息，所述阵列的第三组的行的像素可操作为产生所述至少一个物体的三维深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；以及控制器，结合到二维像素阵列，以交替的方式从第二组的行中选择行来输出基于所述至少一个物体的图像而产生的二维颜色信息，并且从第三组的行中选择行来输出产生的所述至少一个物体的三维深度信息。

【技术特征摘要】
2015.04.20 US 62/150,252;2015.06.19 US 62/182,404;1.一种图像传感器单元，所述图像传感器单元包括：二维像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为基于通过二维像素阵列接收的至少一个物体的图像而产生二维颜色信息，所述阵列的第三组的行的像素可操作为产生所述至少一个物体的三维深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；以及控制器，结合到二维像素阵列，以交替的方式从第二组的行中选择行来输出基于所述至少一个物体的图像而产生的二维颜色信息，并且从第三组的行中选择行来输出产生的所述至少一个物体的三维深度信息。2.根据权利要求1所述的图像传感器单元，其中，从第二组的行中选择的行是与从第三组的行中选择的行相同的行。3.根据权利要求1所述的图像传感器单元，其中，从第二组的行中选择的行与从第三组的行中选择的行不同。4.根据权利要求1所述的图像传感器单元，其中，三维深度信息包括与所述至少一个物体的扫描行的斑对应的三角测量信息。5.根据权利要求4所述的图像传感器单元，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的线性积分为基础。6.根据权利要求4所述的图像传感器单元，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的对数积分为基础。7.根据权利要求4所述的图像传感器单元，其中，三角测量信息包括针对扫描行的斑的时间戳信息。8.根据权利要求4所述的图像传感器单元，还包括照明扫描行的斑的激光光源。9.根据权利要求8所述的图像传感器单元，其中，激光光源包括可见...

【专利技术属性】
技术研发人员：伊利亚·奥夫相尼科夫，王一兵，格雷戈里·瓦力戈尔斯奇，张强，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR