成像装置和成像方法制造方法及图纸

[问题]本公开解决提供一种能够更快地生成DVS图像和灰度图像的成像装置和成像方法的问题。[解决方案]一种成像装置，包括：像素阵列单元，包括输出与光强度相对应的第一亮度信号的多个DVS像素和输出与光强度相对应的第二亮度信号的多个灰度像素；检测电路，当来自相应多个DVS像素的第一亮度信号超过预定阈值时，输出指示地址事件的发生的检测信号；第一读取单元，从多个DVS像素读取第一亮度信号并将第一亮度信号转换为数字数据；第二读取单元，从多个灰度像素读取第二亮度信号并将第二亮度信号转换为数字数据；以及控制电路，控制第一读取单元和第二读取单元。读取单元和第二读取单元。读取单元和第二读取单元。

【技术实现步骤摘要】
【国外来华专利技术】成像装置和成像方法


[0001]本公开涉及成像装置和成像方法。

技术介绍

[0002]与诸如垂直同步信号的同步信号同步地捕获图像数据(帧)的同步固态成像元件在成像装置等中使用。在该普通同步固态成像元件中，图像数据可仅在同步信号的每个周期(例如，1/60秒)中获取。因此，在与交通、机器人等相关的领域中，难以应对需要更快处理的情况。因此，提出了一种异步固态成像元件，其中，针对每个像素设置检测电路，该检测电路针对每个像素地址实时地检测像素的光量超过阈值作为地址事件。如上所述，检测每个像素的地址事件的固态成像元件被称为动态视觉传感器(DVS)。可以以比同步固态成像元件高得多的速度生成和输出数据。为此，例如，在交通领域中，可以通过高速执行识别人或障碍物的图像的处理来提高安全性。
[0003]引用列表
[0004]专利文献
[0005]专利文件1：WO 2019/087471 A。

技术实现思路

[0006]本专利技术要解决的问题
[0007]另一方面，可能需要基于由DVS像素生成的检测信号来显示比DVS图像更高清晰度的图像。然而，当正在读取DVS图像时，不能读取高清晰度灰度图像，并且可能延迟生成高清晰度灰度图像。
[0008]因此，本公开提供一种能够以更高速度生成DVS图像和灰度图像的成像装置和成像方法。
[0009]问题的解决方案
[0010]为了解决上述问题，根据本公开，提供了一种成像装置，包括：
[0011]像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与光量相对应的第二亮度信号的多个灰度像素；
[0012]检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号；
[0013]第一读取单元，从多个DVS像素读取第一亮度信号并将第一亮度信号转换为数字数据；
[0014]第二读取单元，从多个灰度像素读取第二亮度信号并将第二亮度信号转换为数字数据；以及
[0015]控制电路，控制第一读取单元和第二读取单元。
[0016]控制电路可以同时执行第一读取单元对第一亮度信号的读取以及第二读取单元对第二亮度信号的读取。
[0017]在由检测电路检测到地址事件的发生的情况下，控制电路可以执行控制以从检测到地址事件的DVS像素读取第一亮度信号。
[0018]可以进一步设置生成时间戳的时间戳生成电路，并且
[0019]控制电路可以通过时间戳使第一读取单元对第一亮度信号的读取与第二读取单元对第二亮度信号的读取同步。
[0020]可以将时间戳的信息添加到基于从第一读取单元读出的第一亮度信号的DVS图像数据。
[0021]可以将时间戳的信息添加到基于从第二读取单元读出的亮度信号的图像数据。
[0022]多个DVS像素可以以二维阵列排列，并且可以根据阵列的行的排列读出来自多个DVS像素的输出信号。
[0023]控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。
[0024]控制电路可以基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。
[0025]可以进一步设置仲裁电路，其基于检测信号仲裁来自多个DVS像素的亮度信号的读取，并且
[0026]控制电路可以根据仲裁电路的仲裁，由第一读取单元读取第一亮度信号。
[0027]多个DVS像素可以以二维阵列排列，
[0028]控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步，并且
[0029]可以根据阵列的行的排列读出多个DVS像素中的每一个的第一亮度信号。
[0030]可以与第一亮度信号的读取周期同步地从多个DVS像素中的所有DVS像素读出第一亮度信号。
[0031]像素阵列单元可以进一步包括用于灰度的多个灰度像素，并且
[0032]生成基于多个DVS像素的输出信号的DVS图像，并且
[0033]可以生成基于多个灰度像素的输出信号的灰度图像。
[0034]控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。
[0035]控制电路可以基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。
[0036]可以根据地址事件的发生次数来改变基于第一亮度信号的DVS图像数据的数据格式。
[0037]多个灰度像素的区域可以被划分为多个区域，并且
[0038]第二读取单元可以针对多个区域中的每一个读取第二亮度信号。
[0039]根据本公开，提供了一种控制成像装置的方法，该成像装置包括：像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与该光量相对应的第二亮度信号的多个灰度像素；以及检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号，该方法包括：
[0040]根据服装事件的发生同时读取第一亮度信号和第二亮度信号。
附图说明
[0041]图1是示出根据本公开的技术所应用的图像装置的配置的示例的框图。
[0042]图2是示出固态成像元件的层叠结构的示例的示图。
[0043]图3是示出固态成像元件的配置示例的框图。
[0044]图4是示意性地示出了以矩阵排列的像素块的示图。
[0045]图5是示意性示出像素块的配置的示图。
[0046]图6是示出AD转换单元的配置示例的框图。
[0047]图7是示出DVS读取电路的配置示例的框图。
[0048]图8是示出由第一信号处理单元生成的图像数据格式的示例的示图。
[0049]图9是示出由第二信号处理单元生成的第二DVS图像的图像数据格式的示例的示图。
[0050]图10是示出灰度像素的配置示例的示图。
[0051]图11是图示DVS像素的配置示例的示图。
[0052]图12是示出用于DVS的AFE的第一配置示例的框图。
[0053]图13是示出电流电压转换单元的配置的示例的电路图。
[0054]图14是示出减法器和量化器的配置的示例的电路图。
[0055]图15是示出用于DVS的AFE的第二配置示例的框图。
[0056]图16是示出定时控制电路的成像控制示例的示图。
[0057]图17是示出使用时间戳的根据第一实施例的修改1的成像控制示例的示图。
[0058]图18是示出由第二信号处理单元生成的第二DVS图像的另一图像数据格式的示例的示图。
[0059]图19是示出使用灰度帧同步信号的成像控制示例的示图。
[0060]图20是示出根据第一实施例的修改2的第二DVS图像的图像数据格式的示例的示图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种成像装置，包括：像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与所述光量相对应的第二亮度信号的多个灰度像素；检测电路，在所述多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号；第一读取单元，从所述多个DVS像素读取所述第一亮度信号并将所述第一亮度信号转换为数字数据；第二读取单元，从所述多个灰度像素读取所述第二亮度信号并将所述第二亮度信号转换为数字数据；以及控制电路，控制所述第一读取单元和所述第二读取单元。2.根据权利要求1所述的成像装置，其中，所述控制电路同时执行所述第一读取单元对所述第一亮度信号的读取以及所述第二读取单元对所述第二亮度信号的读取。3.根据权利要求1所述的成像装置，其中，在由所述检测电路检测到所述地址事件的发生的情况下，所述控制电路执行控制以从检测到所述地址事件的DVS像素读取所述第一亮度信号。4.根据权利要求1所述的成像装置，进一步包括：时间戳生成电路，生成时间戳，其中，所述控制电路通过所述时间戳使所述第一读取单元对所述第一亮度信号的读取与所述第二读取单元对所述第二亮度信号的读取同步。5.根据权利要求4所述的成像装置，其中，将所述时间戳的信息添加到基于从所述第一读取单元读出的所述第一亮度信号的DVS图像数据。6.根据权利要求4所述的成像装置，其中，将所述时间戳的信息添加到基于从所述第二读取单元读出的所述第二亮度信号的图像数据。7.根据权利要求1所述的成像装置，其中，所述多个DVS像素以二维阵列排列，并且根据以所述阵列排列的所述多个DVS像素的行的排列读出来自所述多个DVS像素中的每一个的输出信号。8.根据权利要求3所述的成像装置，其中，所述控制电路使所述第一读取单元对所述第一亮度信号的读取周期与所述第二读取单元对所述第二亮度信号的读取周期同步。9.根据权利要求1所述的成像装置，其中，所述控制电路基于所述第一读取单元对所述...

【专利技术属性】
技术研发人员：児玉和俊，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：