图像传感器制造技术

提供一种对动态范围的限制进行了改善的图像传感器。事件摄像头具备：基于事件的传感器，其检测各像素的辉度变化来作为事件，每次检测到事件时输出事件信号，该事件信号包括检测到事件的时刻和产生了事件的像素位置；缓存，其存储在从基准时刻向过去回溯了预定时间的预定期间中由基于事件的传感器输出的事件信号；存储图像的存储部；以及更新部，其基于事件信号来对存储于存储部的图像进行更新，以使得存储于存储部的图像成为预定期间所包含的更新时刻的图像。更新时刻的图像。更新时刻的图像。

【技术实现步骤摘要】
图像传感器


[0001]本公开涉及图像传感器。

技术介绍

[0002]专利文献1公开了取得移动体的信息的装置。该装置具备时间相关图像传感器和处理装置。时间相关图像传感器按各像素来输出入射光强度与全部像素共同的参考信号之间的时间相关性。时间相关图像传感器具备光电二极管检测器、晶体管以及电容器。光电二极管检测器将入射光子变换为光电流。晶体管通过栅极电压的控制来生成与通过光电二极管检测器变换后的光电流和全部像素共同的参考信号之间的积成比例的电流。电容器蓄积由晶体管生成的电流的电荷。时间相关图像传感器基于蓄积于电容器的电荷来输出信号。
[0003]处理装置基于由时间相关图像传感器输出的信号，以同一定时生成强度图像和相关图像。强度图像是表示各像素的入射光强度的图像。相关图像是按各像素生成了入射光强度与全部像素共同的参考信号的时间相关性的图像。处理装置基于强度图像和相关图像，算出移动体的光流。由此，能不使用在不同的时刻拍摄到的多个图像地得到移动体的光流。
[0004]现有技术文献
[0005]专利文献1：日本特开2007－305061号公报

技术实现思路

[0006]专利技术要解决的技术问题
[0007]专利文献1所记载的时间相关图像传感器有可能无法对于相关图像实现足够的动态范围。例如，当通过光电二极管检测器检测的光量增大时，蓄积于电容器的电荷量也会增大。因此，相关图像的动态范围依赖于电容器的容量，受到限制。
[0008]在此，考虑在成为电容器的容量上限之前输出暂定的相关图像。也就是说，考虑使每单位时间的帧数增加。例如，时间相关图像传感器在电容器的容量成为其上限之前输出暂定的相关图像，处理装置在参考信号的整个周期中对所输出的多个暂定的相关图像进行积分。由此，能不依赖于电容器的容量而得到与参考信号的周期对应的最终的相关图像，因此，消除由电容器的容量上限引起的动态范围的限制。然而，当每单位时间的帧数增加时，计算成本会增大，因此，需要准备高性能的硬件。
[0009]本公开提供改善了动态范围的限制的图像传感器。
[0010]用于解决问题的技术方案
[0011]本公开的一个技术方案为图像传感器。图像传感器具备基于事件的传感器和相关图像生成部。基于事件的传感器检测各像素的辉度变化来作为事件，每次检测到事件时输出事件信号，该事件信号包括检测到事件的检测时刻、产生了事件的像素位置、以及像素值的变化。相关图像生成部基于事件信号和预定周期的参考信号，生成表示事件信号与参考信号的按各像素的相关性的相关图像。
[0012]在该图像传感器中，通过基于事件的传感器检测各像素的辉度变化来作为事件。事件信号被以事件检测的定时进行输出。相关图像基于事件信号和预定周期的参考信号来生成。这样，不是连续地生成相关图像的全部像素，而是仅生成(更新)与事件对应的相关图像的像素。因此，与连续地生成相关图像的全部像素的情况相比，该图像传感器能够降低计算成本。
[0013]在一个技术方案中，相关图像生成部也可以具有：缓存，其存储在从任意的基准时刻向过去至少回溯了预定周期的预定期间中由基于事件的传感器输出的事件信号；和生成部，其基于存储于缓存的事件信号来生成相关图像。
[0014]在该情况下，图像传感器能够基于存储于缓存的预定期间的事件信号来生成相关图像。时间相关图像传感器对1帧的周期的相关性进行积分来得到相关图像，因此，只能以与1帧的周期相匹配的定时来得到相关图像。与此相对，在该图像传感器中，缓存从基准时刻向过去回溯而存储有1帧的周期的事件信号。因此，该图像传感器能够在任意的定时输出相关图像。
[0015]在一个技术方案中，相关图像生成部也可以具有：存储部，其存储相关图像、和各像素的更新时刻；图像更新部，其每当由基于事件的传感器输出事件信号时，基于所输出的事件信号、参考信号、存储于存储部的相关图像以及更新时刻，对存储于存储部的相关图像和更新时刻进行更新；以及读出部，其基于存储于存储部的相关图像、更新时刻以及任意的读出时刻，输出读出时刻的相关图像。
[0016]在该情况下，每当产生事件时更新存储于存储部的相关图像，存储更新时刻。通过存储更新时刻，能够捕捉事件信号所包含的像素值的变化来作为从前次的事件产生起的经过时间中的像素值的变化。由此，该图像传感器能够保持最新的相关图像。并且，通过读出部能基于更新时刻来得到读出时刻的相关图像。因此，该图像传感器能够在任意的读出定时输出像素。
[0017]专利技术的效果
[0018]根据本公开，能提供对动态范围的限制进行了改善的图像传感器。
附图说明
[0019]图1是对具备第1实施方式涉及的图像传感器的图像生成装置的构成概要进行说明的框图。
[0020]图2是对具备第2实施方式涉及的图像传感器的图像生成装置的构成概要进行说明的框图。
[0021]图3是对具备第3实施方式涉及的图像传感器的图像生成装置的构成概要进行说明的框图。
[0022]图4是表示相关图像存储部的更新动作的流程图。
[0023]图5是对相关图像存储部的更新动作进行说明的时间图。
[0024]标号说明
[0025]1、1A、1B图像传感器；11基于事件的传感器(event base sensor)；14相关图像生成部；141缓存；142生成部；143相关图像更新部(图像更新部的一个例子)；145相关图像存储部(存储部的一个例子)；146读出部。
具体实施方式
[0026]以下，对各种例示的实施方式进行说明。在以下的说明中，对相同或者相当的要素标记同一标号，不反复进行重复的说明。
[0027][第1实施方式][0028](时间相关图像传感器的概要)
[0029]对一般的时间相关图像传感器的概要进行描述。时间相关图像传感器的成像器的一个像素具有一个光电二极管和按照来自外部的参考信号将从光电二极管产生的电荷分配至三个电容器的结构。参考信号总的来说是三相交流。产生图像的各像素的光电流遵循以下的公式(1)。
[0030][0031]f(x，y，t)是时刻t的像素(x，y)的明亮度，v是像素(x，y)的速度。
[0032]将取得1帧图像的拍摄时间(快门打开时间)设为T，将图像g(x，y)表示为以下的式(2)。
[0033][0034]如式(2)所示，图像成为对明亮度f(x，y，t)乘以复数的参考信号e
－inΔωt
并对1帧时间的积分进行运算而得到的值。所拍摄到的图像g(x，y)设为满足以下的式(3)。
[0035][0036]式(3)的第二项为积分边界值。式(3)构成联立方程式，因此，例如通过使用两个图像g0(x，y)、g1(x，y)来对联立方程式求解，能够消去积分边界值。时间相关图像传感器能够输出仅由实部构成的强度图像g0(x，y)、复数的相关图像g
n
(x，y)的实部和虚部(以下也将复数的相关图像称为时间相关信号。)。因此，通过将传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像传感器，具备：基于事件的传感器，其检测各像素的辉度变化来作为事件，每次检测到所述事件时输出事件信号，所述事件信号包括检测到所述事件的检测时刻、产生了所述事件的像素位置以及像素值的变化；和相关图像生成部，其基于所述事件信号和预定周期的参考信号，生成表示所述事件信号与所述参考信号的按各像素的相关性的相关图像。2.根据权利要求1所述的图像传感器，所述相关图像生成部具有：缓存，其存储在从任意的基准时刻向过去至少回溯了所述预定周期的预定期间中由所述基于事件的传感器输出的所述事件信号；和生成...

【专利技术属性】
技术研发人员：金道敏树，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：