当前位置: 首页 > 专利查询>谷歌公司专利>正文

具有多个输出端口的图像传感器制造技术

技术编号:15448558 阅读:165 留言:0更新日期:2017-05-31 09:55
本发明专利技术描述了一种设备,其包括具有第一输出端口和第二输出端口的图像传感器。第一输出端口与从第二输出端口传输的第二图像流并行地传输第一图像流。

Image sensor having a plurality of output ports

The present invention describes a device comprising an image sensor having a first output port and a second output port. The first output port transmits the first image stream in parallel with the second image stream transmitted from the second output port.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的领域总体上涉及计算科学,更具体地,涉及具有多个输出端口的图像传感器
技术介绍
图1示出通常的移动计算系统平台100。如在图1中观察到的,计算系统平台包括具有多个通用处理核102_1到102_N的应用处理器101、内存控制器103、图形处理单元104、I/O集线器105和包含多个图像信号处理管线107_1、107_2的图像信号处理器106。计算系统平台还包括多个相机108、109,每个相机具有相应的图像传感器110、111。多个相机108、109通常包括前相机和后相机。由图像传感器获得的图像数据通常提供给图像信号处理管线(pipeline)。图像信号处理管线然后对图像数据执行各种计算以产生例如用于显示的数据。图像信号处理管线通常实现为并行地处理来自于图像传感器的不同图像数据块的管线(软件、硬件或两个)。例如,当第一块正在由去马赛克阶段处理时,另一个块可以由降噪阶段处理。在图像信号处理管线处理来自于图像传感器的数据之后,经处理的数据可(例如经由直接内存访问(DMA)传输)转送到显示器或例如系统内存。在此,每个图像信号处理管线107_1、107_2专用于特定的相机和图像传感器。也就是说,例如,图像信号处理管线107_1专用于处理由图像传感器110产生的图像数据,以及,图像信号处理管线107_2专用于处理由图像传感器111产生的图像数据。
技术实现思路
本文描述了一种设备,其包括具有第一输出端口和第二输出端口的图像传感器。第一输出端口与从第二输出端口传输第二图像流并行地传输第一图像流。本文描述了一种设备,其包括用于执行由图像传感器执行的方法的器件。所述设备包括用于接受用于第一图像类型的图像传感器的第一图像端口的配置信息的器件。所述设备包括用于接受用于第二图象类型的图像传感器的第二图像端口的配置信息的器件,第一图象类型不同于第二图像类型。所述设备包括用于从像素阵列产生多个模拟信号的器件。所述设备包括用于将该模拟信号转换成数字像素值的器件。所述设备包括用于从第一输出端口传输某些数字像素值的器件。所述设备包括用于从第二输出端口传输其他数字像素值的器件。附图说明以下的描述和附图用来示出本专利技术的实施例。在附图中:图1示出移动式计算系统平台;图2a和2b示出现有技术的多图像流的传输配置;图3示出改进的移动式计算系统平台;图4a到4d示出可在图3的改进的计算系统平台上实施的改进的多图像流的传输配置;图5a到5c示出具有不止一个输出端口的不同的图像传感器实施例;图6示出由图3的计算系统平台执行的方法;图7示出更加全面的计算系统平台。具体实施方式目前的趋势是要通过将深度采集集成到它的成像部件中来提高计算系统的成像能力。深度采集可被使用,例如,用以执行各种智能的目标识别功能例如面部识别(例如,用于安全系统解锁)或手势识别(例如,用于非触摸式用户界面功能)。根据一种深度信息采集方法,称为“飞行时间”成像,计算系统发射红外(IR)光到物体上,并且对于图像传感器的多个像素中的每一个,测量光的发射和它的反射在传感器上接收之间的时间。由飞行时间像素产生的图像对应于对象的三维轮廓,其表征在每个不同像素位置(x,y)处的特定的深度测量值(Z)。“RGBZ”图像传感器是一种具有吸引力的解决方案,其用于实现从同一相机封装件内获得传统图像采集和飞行时间深度轮廓。RGBZ图像传感器是包括不同类型像素的图像传感器,其中一些(RGB像素)对可见光敏感,以及其他的(飞行时间像素)用来测量深度信息。在通常的实施方式中,飞行时间像素被设计成对IR光敏感,因为,如以上提到的,IR光被用于测量飞行时间,以使得飞行时间测量光不会干扰用户,并且不会妨碍RGB像素的传统成像功能。飞行时间像素另外具有特别关联的时钟和/或时间电路,以测量在所述像素处接收到光的时间。因为飞行时间像素对IR光是敏感的,然而,还可以设想它们(例如在第二模式中)仅被用作IR像素而不是飞行时间像素(即采集IR信息,但不测量飞行时间测量)。RGBZ图像传感器因此自然产生两种视频数据流(RGB视觉图像流和深度信息(Z)流),每种视频数据流都具有其自身的一组流特征,例如帧尺寸、帧结构和帧率。RGBZ传感器目前被设计成“装配”到图1的平台100中,其中,仅单一的图像信号处理管线专用于单一的图像传感器。因而,当前的RGBZ传感器仅考虑单一的输出端口和通信链路,不同类型的输出数据流需要通过其复用(multiplex)。问题在于,专用于RGBZ传感器的图像信号处理管线自身要求复用其对由RGBZ传感器产生的不同数据流型的处理。图像信号图像处理器是相当复杂的系统(通常实施为在硬件或软件或二者中实施的多级管线),因而,其在两个数据流之间的复用要求在RGB流状态和Z流状态之间的耗时的且性能降级的来回切换。图2a和2b更详细地提供了对可在单个链路上发生的不同类型的复用的描述。根据图2a的“模式切换”复用,在第一组时间周期期间,第一类型流201(例如RGB视频图像)以较慢的帧率传输较大的数据帧,并且,在第二组时间周期期间,第二类型流202(例如Z视频图像)可以较快的帧率传输较小的数据帧。在此,值得注意,在通常的实施方式中,在传感器的表面面积上的可见光(RGB)像素的密度通常大于在传感器的表面面积上的飞行时间像素的密度。因而,如果从传感器读出可见(RGB)像素的标称窗口,并且从所述传感器读出飞行时间像素的标称窗口,那么,视觉数据的窗口通常比深度数据的窗口包含更多的数据。如果要以相同的时钟速率在同一链路内串流不同的图像数据类型,那么视觉RGB流将自然地具有较大的帧尺寸和较慢的帧率,而深度Z流将自然地具有较小的帧尺寸和可能较快的帧率。关于如在图2a中观察到的两种不同流在同一链路上的复用,这些流之间的介入时间(interveningtimes)会由于图像信号处理管线必须切换其配置状态信息而十分大。另外,传感器通常必须使它的内部配置状态信息(例如,读出模式、帧尺寸和帧率)也被切换(通常通过对传感器的配置寄存器空间进行编程)。图2b描述了如果两种类型的流都处于“快速模式”时可以使用的另一种类型的复用方案。其中,来自于两个不同的流的帧基于一帧接一帧地交错,例如为了确保来自于两个流的数据实时可观察。快速模式复用效率特别低,因为图像信号处理器(和传感器)必需在它处理的每个帧之间切换它的状态信息。图3示出改进的计算系统平台300。如在图3的改进的计算系统平台中观察到的,图像传感器310、311具有不止一个的输出端口313。同一图像传感器的不同输出端口313可以用于例如传输来自不同类型的可用图像采集模式的不同类型的流(例如第一RGB流和第二Z流)。重要地,每个图像信号处理管线307_1到307_4可以专用于特定的图像传感器输出端口,而不是整个图像传感器。例如,如在图3中所示,图像信号处理管线307_1联接到输出端口313_1,图像信号处理管线307_2联接到输出端口313_2,图像信号处理管线307_3联接到输出端口313_3,图像信号处理管线307_4联接到输出端口313_4。通过在图3示出的布置,每个输出端口可配置为仅传输特定类型的流,并且,每个对应图像信号处理管线可被配置为仅处理所述流。作为结果,可以避免图像传感器本文档来自技高网...
具有多个输出端口的图像传感器

【技术保护点】
一种设备,包括:图像传感器,其具有第一输出端口和第二输出端口,所述第一输出端口与从所述第二输出端口传输的第二图像流并行地传输第一图像流。

【技术特征摘要】
【国外来华专利技术】2014.12.22 US 14/580,0251.一种设备,包括:图像传感器,其具有第一输出端口和第二输出端口,所述第一输出端口与从所述第二输出端口传输的第二图像流并行地传输第一图像流。2.根据权利要求1所述的设备,其中,所述图像传感器的像素阵列包括可见像素和飞行时间像素。3.根据权利要求1所述的设备,其中,所述设备包括用于所述第一输出端口的第一配置寄存器空间,并且包括用于所述第二输出端口的第二配置寄存器空间。4.根据权利要求3所述的设备,其中,所述第一配置寄存器空间和所述第二配置寄存器空间中的每一个接受以下配置参数中的一个或多个:帧尺寸;帧率;曝光时间;窗口尺寸;窗口位置;静止帧或静止模式;跳读模式;合并模式;增益;像素深度。5.根据权利要求1所述的设备,其中,所述图像传感器包括一模式,在该模式中,所述第一图像流的帧与所述第二图像流的帧同时传输。6.根据权利要求1所述的设备,其中,所述图像传感器包括一模式,在该模式中,所述第一图像流的帧与所述第二图像流的帧交替传输。7.根据权利要求1所述的设备,其中,所述图像传感器支持一模式,在该模式中,所述第一图像流的帧以与所述第二图像流的帧不同的帧率传输。8.根据权利要求1所述的设备,其中,所述图像传感器支持一模式,在该模式中,所述第一图像流的帧以与所述第二图像流的帧相同的帧率传输。9.根据权利要求1所述的设备,其中,所述图像传感器支持一模式,在该模式中,所述第一图像流的帧的尺寸不同于所述第二图像流的帧的尺寸。10.根据权利要求1所述的设备,其中,所述图像传感器支持一模式,在该模式中,所述第一图像流具有与所述第二图像流不同的类型。11.根据权利要求10所述的设备,其中,所述流的不同类型选自以下中的任意两个:视频流;飞行时间流;红外流;自动聚焦流;在空间上变化的曝光流。12.根据权利要求1所述的设备,其中,所述图像传感器有多于两个的输出端口。13.一种由图像传感器执行的方法,包括:接受用于...

【专利技术属性】
技术研发人员:R卢科温宗晋
申请(专利权)人:谷歌公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1