图像处理设备、图像处理方法和程序技术

提供了一种图像处理设备，包括：区域识别单元，其基于根据在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，识别其中图像中的物体发生第一运动的第一区域以及其中所述物体发生与第一运动不同的第二运动、或物体基本不运动的第二区域；以及图像处理单元，其对图像中的第一区域和第二区域执行图像处理。二区域执行图像处理。二区域执行图像处理。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备、图像处理方法和程序


[0001]本专利技术涉及图像处理设备、图像处理方法和程序。

技术介绍

[0002]已知一种事件驱动型视觉传感器，在其中像素检测入射光的强度变化以在时间上异步地产生信号。与以预定周期扫描所有像素的基于帧的视觉传感器相比，特别是与诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器等相比，这种事件驱动型视觉传感器的优势在于它可以以低功耗和高速操作。例如，在PTL 1和PTL 2中列举了与这种事件驱动型视觉传感器相关的技术。
[0003]专利文献
[0004][PTL 1][0005]JP 2014
‑
535098T
[0006][PTL2][0007]JP 2018
‑
085725A

技术实现思路

[0008][技术问题][0009]然而，关于事件驱动型视觉传感器，虽然上述优点是已知的，但是很难说已经充分地提出了将事件驱动型视觉传感器与另一设备(例如，基于帧的视觉传感器)组合使用的方法。
[0010]鉴于此，本专利技术的目的在于提供一种图像处理设备、图像处理方法和程序，能够通过将事件驱动型视觉传感器和基于帧的视觉传感器组合使用来获得有利的效果。
[0011][问题的解决方案][0012]根据本专利技术的一个方面，提供了一种图像处理设备，包括：区域识别部分，其基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基本不运动的第二区域，以及图像处理部分，其对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理。
[0013]根据本专利技术的另一方面，提供了一种图像处理方法，包括：基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基本不运动的第二区域的步骤，以及对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理的步骤。
[0014]根据本专利技术的另一方面，提供了一种程序，使计算机实现：基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基
本不运动的第二区域的功能，以及对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理的功能。
附图说明
[0015]图1是示出根据本专利技术的实施方式的系统的示意配置的框图。
[0016]图2是示意性地解释根据本专利技术的实施方式的相机与传感器之间的校准的图。
[0017]图3是用于解释根据本专利技术的实施方式的图像与事件信号之间的匹配的图。
[0018]图4是用于解释根据本专利技术的实施方式的区域识别和图像处理的示例的图。
[0019]图5是用于解释根据本专利技术的实施方式的区域识别和图像处理的示例的图。
[0020]图6是指示根据本专利技术的实施方式的图像处理方法的示例的流程图。
具体实施方式
[0021]在下文中，将参照附图详细描述本专利技术的一些优选实施例。注意，在本说明书和附图中，相同的附图标记被提供给具有基本上相同的功能配置的构成元件，并且将不再重复描述。
[0022]图1是示出本专利技术的实施方式的系统的示意配置的框图。如图1所示，系统10包括RGB(红
‑
绿
‑
蓝)相机100、EDS(事件驱动传感器)200和图像处理设备300。
[0023]RGB相机100是第一视觉传感器的示例，其通过同步扫描捕获图像，并且包括图像传感器110，以及与图像传感器110连接的处理电路120。例如，取决于用户操作，图像传感器110通过以预定周期或预定定时来同步扫描所有像素捕获RGB图像101。在本实施例中，RGB图像101包括以预定帧速率依次捕获的多帧图像，多帧图像构成运动图像。例如，处理电路120将RGB图像101转换为适合存储和传输的格式。此外，处理电路120向RGB图像101提供时间戳102。
[0024]EDS 200是当传感器检测到光强度变化时生成事件信号的第二视觉传感器的示例，并且包括构成传感器阵列的传感器210和连接到传感器210的处理电路220。每个传感器210包括光接收元件并且当检测到要入射的光强度变化时，更具体地，检测到亮度变化时生成事件信号201。由于没有检测到要入射的光强度变化的传感器210不生成事件信号201，所以事件信号201在EDS 200中是在时间上异步生成的。通过处理电路220输出的事件信号201包括关于每个传感器210的识别信息(例如，像素的位置)、亮度变化的极性(更高或更低)、时间戳202。
[0025]这里，在本实施例中，提供给RGB图像101的时间戳102和提供给事件信号201的时间戳202彼此同步。更具体地，例如，通过将用于在EDS 200中生成时间戳202的时间信息提供给RGB相机100，可以使时间戳102与时间戳202同步。或者，在其中用于生成时间戳102和202的时间信息分别在RGB相机100和EDS 200中彼此独立的情况下，将特定事件(例如，整个图像中的物体的变化)已经发生的时间设置为参考来计算时间戳的偏移，使得从此时间戳102和时间戳202可以彼此同步。
[0026]此外，在本实施例中，通过提前执行的RGB相机100和EDS 200的校准过程，使EDS 200的传感器210对应于RGB图像101的一个或多个像素，并且事件信号201响应于一个或多个像素中的光强度的变化而生成。更具体地，如图2所示，例如，RGB相机100和EDS 200捕获
彼此共同的校准图案21(在EDS 200的情况中，例如，可以通过使用光源22闪烁校准图案21的整个区域来捕获校准图案)，并且通过RGB相机100和EDS 200各自的内部参数和外部参数计算相机和传感器之间的对应参数，从而可以使传感器210对应于RGB图像101的一个或多个像素。
[0027]图3是用于解释根据本专利技术的实施方式的图像与事件信号之间的匹配的图。在图中所示的示例中，呈现了由RGB相机100捕获的RGB图像101和其中在对应于RGB图像101的扫描时从EDS 200输出的事件信号201是排列在对应像素的位置的图像。如上文参考图2所述的相机和传感器之间的对应参数是提前计算的，因此，事件信号201的坐标系被转换为如图3所示的RGB图像101的坐标系，使得可以将事件信号201叠加在RGB图像101上。
[0028]再次参照图1，图像处理设备300例如由包括通信接口、处理器和存储器的计算机实现，并且包括区域识别部分310和图像处理部分320的功能，这些功能是由处理器根据存储在存储器中或通过通信接口接收的程序进行操作实现的。下面将更详细地描述各个部本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理设备，包括：区域识别部分，其基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在所述图像中识别其中物体发生第一运动的第一区域以及其中所述物体发生与所述第一运动不同的第二运动、或所述物体基本不运动的第二区域；以及图像处理部分，其对所述图像中的所述第一区域和所述第二区域执行所述第一区域和所述第二区域之间不同的图像处理。2.根据权利要求2所述的图像处理设备，其中，所述图像包括构成运动图像的多帧图像，所述区域识别部分在所述多帧图像的每一帧中识别所述第一区域和所述第二区域、以及至少在所述第一区域中的所述物体的运动方向，以及所述图像处理部分基于所述运动方向对所述多帧图像中的所述第一区域和所述第二区域连续地执行图像处理。3.根据权利要求1或2所述的图像处理设备，其中，所述图像处理部分至少在所述图像中标记所述第一区域。4.根据权利要求3所述的图像处理设备，其中，所述区域识别部分识别其中所述物体发生所述第二运动的所述第二区域，以及所述图像处理部分以不同的模式在所述图像中标记所述第一区域和所述第二区域。5.根据权利要求1至3中任一项所述的图像处理设备，其中，所述图像处理部分...

【专利技术属性】
技术研发人员：林正和，长沼宏昌，栗原洋辅，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：