传感器系统、图像处理装置、图像处理方法和程序制造方法及图纸

提供了一种传感器系统，其包括传感器阵列和事件信号处理单元。传感器阵列包括第一传感器和第二传感器，第一传感器以第一灵敏度检测第一像素地址处的光量的波动，第二传感器以第二灵敏度检测第二像素地址处的光量的波动，第二像素地址与第一像素地址相邻或重合，第二灵敏度低于第一灵敏度。事件信号处理部分输出指示第一传感器和第二传感器各自针对亮度波动事件而生成事件信号的时间之间的差的信息。事件而生成事件信号的时间之间的差的信息。事件而生成事件信号的时间之间的差的信息。

【技术实现步骤摘要】
【国外来华专利技术】传感器系统、图像处理装置、图像处理方法和程序


[0001]本专利技术涉及传感器系统、图像处理装置、图像处理方法和程序。

技术介绍

[0002]诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)之类的图像传感器各自是同步固态图像传感器，其与诸如垂直同步信号的同步信号相同步拾取图像数据(帧)。普通同步固态图像传感器仅在同步信号的每个周期(例如，1/60秒)获取图像数据。这可能会带来问题，例如，在移动对象使用图像数据进行高速处理时。鉴于此，NPL 1等提出了一种异步固态图像传感器，其具有检测地址事件的地址事件表示(AER)电路。
[0003]对于上述异步固态图像传感器，在给定像素地址处的光量以变化量超过阈值的方式变化的情况下，发生地址事件。具体地，地址事件包括两种，即，在像素的光量变化以超过预定上限的情况下发生的开启事件(on
‑
event)，以及在像素的光量下降到预定下限以下的情况下发生的关闭事件(off
‑
event)。在这种异步固态图像传感器上，表示每个像素的开启事件或关闭事件的存在或不存在的两比特图像数据格式被称为AER格式。PTL 1等中也描述了涉及使用异步固态图像传感器的技术。
[0004][引文列表][0005][专利文献][0006][PTL 1]日本专利公开号2018
‑
186478
[0007][非专利文献][0008][NPL 1]Patrick Lichtsteiner等人，128
×
128 120dB 15μs延迟异步时间对比视觉传感器，IEEE固态电路杂志，第43卷，第2期，2008年2月。

技术实现思路

[0009][技术问题][0010]尽管上述异步固态图像传感器(以下也称为事件驱动传感器)能够高速检测对象的运动，但上述异步固态图像传感器只能获得两种信息，即作为图像数据的开启事件和关闭事件。这使得很难检测对象的亮度灰度。例如，可以设想存在这样一种布置，其中结合事件驱动传感器提供能够检测灰度的同步固态图像传感器。然后，在事件驱动传感器检测对象运动的情况下，同步固态图像传感器将被曝光以检测灰度。然而，在这种情况下，获取包括灰度的图像数据的周期受到同步固态图像传感器的同步信号的周期的限制。这降低了事件驱动传感器的高速性能。
[0011]鉴于上述情况，本专利技术旨在提供一种传感器系统、图像处理装置、图像处理方法和程序，其能够使用事件驱动传感器以高速检测对象的灰度。
[0012][问题的解决方案][0013]根据本专利技术的一个方面，提供了一种传感器系统，包括被配置为包括：传感器阵列，其被配置为包括第一传感器和第二传感器，所述第一传感器以第一灵敏度检测第一像
素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；以及事件信号处理部分，其被配置为输出指示所述第一传感器和所述第二传感器各自响应于亮度变化事件而生成事件信号的时间之间的差的信息。
[0014]根据本专利技术的另一方面，提供了一种图像处理装置，包括：时间差获取部分，其被配置为获取指示第一传感器和第二传感器各自响应于亮度变化事件而生成事件信号的时间之间的差的信息，所述第一传感器以第一灵敏度检测第一像素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与第一像素地址相邻或重合，所述第二灵敏度低于第一灵敏度；以及灰度计算部分，其被配置为基于指示所述时间之间的差的所述信息来计算引起所述亮度变化事件发生的对象的灰度。
[0015]根据本专利技术的另一个方面，提供了一种图像处理方法，包括：使第一传感器响应于亮度变化事件以第一灵敏度检测第一像素地址处的光量的变化以生成第一事件信号的步骤；使第二传感器响应于所述亮度变化事件以第二灵敏度检测第二像素地址处的光量的变化以生成第二事件信号的步骤，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；获取指示所述第一传感器和所述第二传感器分别产生所述第一事件信号和所述第二事件信号的时间之间的差的信息的步骤；以及基于指示所述时间之间的差的信息，计算引起所述亮度变化事件发生的对象的灰度的步骤。
[0016]根据本专利技术的又一方面，提供了一种程序，用于使计算机实现：获取指示第一传感器和第二传感器各自响应于亮度变化事件生成事件信号的时间之间的差的信息的功能，所述第一传感器以第一灵敏度检测第一像素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；以及基于指示所述时间之间的差的信息，计算引起所述亮度变化事件发生的对象的灰度的功能。
附图说明
[0017]图1是描绘根据本专利技术第一实施例的系统的示意性配置的图。
[0018]图2A是解释本专利技术实施例中计算灰度的原理的图。
[0019]图2B是解释本专利技术实施例中计算灰度的原理的另一图。
[0020]图3是解释本专利技术实施例中计算灰度的原理的另一图。
[0021]图4A是解释本专利技术第一实施例的同步处理的图。
[0022]图4B是解释本专利技术第一实施例的同步处理的另一图。
[0023]图4C是解释本专利技术第一实施例的同步处理的另一图。
[0024]图4D是解释本专利技术第一实施例的同步处理的又一图。
[0025]图5是指示由本专利技术第一实施例执行的处理的示例的流程图。
[0026]图6是示出本专利技术第一实施例中的传感器布置的另一示例的图。
[0027]图7是描绘与本专利技术第二实施例有关的系统的示意性配置的图。
[0028]图8是示出本专利技术第二实施例中的传感器布置的另一示例的图。
[0029]图9是描绘根据本专利技术第三实施例的系统的示意性配置的图。
[0030]图10是指示由本专利技术第三实施例执行的处理的示例的流程图。
具体实施方式
[0031]下面参考附图详细描述本专利技术的一些优选实施例。注意，在随后的描述和附图中，类似的参考符号表示具有基本相同功能的类似或对应的组成元件，并且对这些元件的解释将不再重复。
[0032](第一实施例)
[0033]图1是描绘根据本专利技术第一实施例的系统的示意性配置的图。如图所示，传感器系统10A包括传感器模块100和图像处理装置200A。传感器模块100包括传感器阵列和信号处理电路120(事件信号处理部分)，传感器阵列包括分配给每个像素的第一传感器111和第二传感器112。例如，图像处理装置200A由具有通信接口、处理器和存储器的计算机实现。图像处理装置200A包括时间差获取部分210A和灰度计算部分220A，两者都由处理器实现，处理器根据存储在存储器中的程序或经由通信接口接收的程序进行操作。图像处理装置200A还可以包括图像生成部分230和本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种传感器系统，包括：传感器阵列，其被配置为包括第一传感器和第二传感器，所述第一传感器以第一灵敏度检测第一像素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；以及事件信号处理部分，其被配置为输出指示所述第一传感器和所述第二传感器各自响应于亮度变化事件而生成事件信号的时间之间的差的信息。2.根据权利要求1所述的传感器系统，其中，所述事件信号处理部分为所述第一传感器响应于所述亮度变化事件生成的第一事件信号生成时间戳，并且为所述第二传感器响应于所述亮度变化事件生成的第二事件信号生成时间戳，并且所述传感器系统还包括时间差获取部分，其被配置为基于所述时间戳获取指示所述时间之间的差的信息。3.根据权利要求2所述的传感器系统，还包括：灰度计算部分，其被配置为基于指示所述时间之间的差的所述信息来计算引起所述亮度变化事件发生的对象的灰度。4.根据权利要求2或3所述的传感器系统，还包括：延迟时间计算部分，其被配置为基于指示所述时间之间的差的所述信息，计算从所述亮度变化事件的发生到至少在所述第一传感器或所述第二传感器中生成所述事件信号的延迟时间。5.根据权利要求1至4中任一权利要求所述的传感器系统，其中，所述传感器阵列具有以预定模式二维布置的所述第一传感器和所述第二传感器，并且所述第二像素地址被布置成与所述第一像素地址相邻。6.根据权利要求5所述的传感器系统，还包括：滤波器，其被配置为覆盖在所述传感器阵列上以减少入射到所述第二传感器上的光量。7.根据权利要求1至4中任一权利要求所述的传感器系统，其中，所述传感器阵列包括层叠传感器，所述层叠传感器具有堆叠在第一光接收层上的第二光接收层，所述第二光接收层构成第二传感器，所述第一光接收层是构成所述第一传感器的透射层，并且所述第二像素地址与所述第一像素地址重合。8.根据权利要求1至7中任一权利要求所述的传感器系统，其中，所述传感器...

【专利技术属性】
技术研发人员：小泉诚，堀江淳，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：