用于特征提取的图像处理装置和方法制造方法及图纸

本发明专利技术涉及用于从场景的图像中提取特征的图像处理装置。该装置可以包括处理电路，该处理电路用于，响应于特征提取事件，从表示场景的第一图像的第一图像数据中提取特征，其中，该特征提取事件基于表示该场景的第二图像的第二图像数据。该图像处理装置可以包括事件驱动传感器，第二图像可以包括正/负强度变化量以及强度变化的位置。此外，本发明专利技术涉及对应的图像处理方法。

【技术实现步骤摘要】
【国外来华专利技术】用于特征提取的图像处理装置和方法
一般地，本专利技术涉及图像处理领域。更具体地，本专利技术涉及用于从静止图像或视频帧的图像中提取特征的图像处理装置和方法。
技术介绍
近年来，视频和图像数据的数量急剧增加并且持续增长。许多基于视频或图像数据的视觉应用需要对数据进行准确而有效的分析。最近，许多工作已致力于用于不同目的的自动视频/图像分析和识别。自动视频/图像处理的重要部分之一是特征提取，涉及主成分分析(principalcomponentanalysis，PCA)、基于深度学习或神经网络的方法、光流直方图(histogramsofopticalflow，HOF)、3D梯度直方图、运动边界直方图、局部三元模式、密集网格上的运动估计等。但是，这些方法大多数都是耗时的过程，从而限制了特征提取的速度和准确性。事件驱动相机(也称为事件相机或事件相机传感器)由对于视频/图像分析和处理来说感兴趣的对象或事件触发，并允许以更直接的方式提供视频特性，从而无需进一步的分析算法。在常规特征提取方法中，通常基于标准图像传感器的输出来提取特征。例如，已知的特征提取方法SURF(speededuprobustfeatures，加速的鲁棒特征)使用局部特征检测器和描述子。此外，常规特征提取方法通常基于整个图像作为输入来计算特征。由于这通常需要大量的计算资源，因此仍然需要一种改进的图像处理装置和方法，以允许从静止图像或视频帧的图像中计算效率更高地提取特征。
技术实现思路
本专利技术的目的是提供一种改进的图像处理装置和方法，以允许从静止图像或视频帧的图像中计算效率更高地提取特征。前述和其他目的通过独立权利要求的主题实现。根据从属权利要求、说明书、以及附图，其他实施方式显而易见。一般地，本专利技术实施例利用从事件驱动相机获得的图像/视频特性进行特征提取，以进行视频/图像分析和对象/动作识别。本专利技术实施例使用事件驱动传感器和传统CMOS传感器的组合。根据本专利技术实施例，这种组合可以是在单个相机中的双传感器设置，或可以是彼此非常靠近的两个相机的设置，或者是在图像像素/样本级别上组合的彼此非常靠近的两个相机的设置。根据本专利技术实施例，可以从事件驱动相机输出中获得或提取运动统计和强度变化信息，并将其用于识别其特征需要被提取的对象。换句话说，从事件驱动相机中提取的统计可以用于确定来自标准图像传感器的图像数据的对象，以用于特征提取。根据本专利技术实施例，来自标准图像传感器的图像数据的所识别的对象的特征可以通过特征提取方法进行提取，例如基于神经网络的特征提取方法或任何传统特征提取方法。在本专利技术的实施例中实现的事件驱动相机和常规CMOS相机的组合具有两个主要优点。一方面，事件驱动相机对移动对象的敏感度会产生快速且准确的检测，这有助于从CMOS相机的输出中识别感兴趣的对象。另一方面，具有固有高分辨率并通过事件驱动相机的结果得到增强的CMOS摄像机可以处理针对机器视觉更优化的视频。根据本专利技术实施例，通过使用事件驱动相机的输出来识别感兴趣对象可以用于直接提取所识别对象的特征，而无需基于CMOS传感器/相机的图像的额外计算。更具体地，根据第一方面，本专利技术涉及用于从场景的图像中提取对象的特征的图像处理装置。该装置包括处理电路，该处理电路用于，响应于特征提取事件，从表示场景的第一图像的第一图像数据中提取对象的特征，其中，特征提取事件基于表示上述场景的第二图像的第二图像数据。在实施例中，处理电路可以包括一个或多个处理器。在第一方面的可能实施方式中，第二图像数据或事件信号数据可以包括正/负强度变化量以及强度变化的位置。因此，提供了一种改进的图像处理装置，因为通常仅图像的一部分(其包含感兴趣对象)用于特征计算并且仅提取特定对象的特征，所以允许从静止图像或视频帧的图像中计算更高效地提取对象的特征。这里所使用的“特征”可以是边缘，颜色，纹理，或边缘、颜色、纹理、或向量的组合，或来自神经网络的层或输出等，这些特征可以被映射以检测或识别或分析对象。随后这些特征可以与未知图像中的特征进行比较，以检测或分类其中的未知对象。在第一方面的另一可能实施方式中，特征提取事件由上述装置接收到特征提取事件信号而触发，其中，该特征提取事件信号包括关于要从第一图像数据中提取的特征的位置的信息。在第一方面的另一可能实施方式中，处理电路用于基于第二图像数据确定是否满足特征提取条件，并且如果满足特征提取条件，则触发特征提取。在第一方面的另一可能实施方式中，上述图像是视频流的多个图像之一，其中，处理电路还用于基于第二图像数据确定运动统计和/或样本值变化信息，并基于上述运动统计和/或上述样本值变化信息确定是否满足特征提取条件。在第一方面的另一可能实施方式中，处理电路用于，通过将上述运动统计和/或上述样本值变化信息与一个或多个阈值进行比较，基于上述运动统计和/或上述样本值变化信息确定是否满足特征提取条件。在第一方面的另一可能实施方式中，上述装置包括成像传感器，该成像传感器用于捕获上述场景的包括多个样本值的图像，并用于提供第一图像数据作为上述多个样本值的第一子集，并提供第二图像数据作为上述多个样本值的第二补充子集。因此，一个传感器提供了第一图像数据和第二图像数据。在第一方面的另一可能实施方式中，上述装置还包括空间滤波器，该空间滤波器用于对图像进行空间滤波，以提供第一图像数据作为上述多个样本值的第一子集，并提供第二图像数据作为上述多个样本值的第二子集。在第一方面的另一可能实施方式中，上述装置包括第一成像传感器和第二成像传感器，其中，第一成像传感器用于捕获上述场景的第一图像并提供第一图像数据，并且其中，第二成像传感器用于捕获上述场景的第二图像并提供第二图像数据。因此，在实施例中，第一图像数据和第二图像数据可以由两个不同的传感器提供。在第一方面的另一可能实施方式中，由第一成像传感器捕获的第一图像的分辨率高于由第二成像传感器捕获的第二图像的分辨率。在第一方面的另一可能实施方式中，处理电路还用于将第一图像下采样到第二图像的较低分辨率。在第一方面的另一可能实施方式中，第一成像传感器是CMOS传感器，第二成像传感器是事件传感器。在第一方面的另一可能实施方式中，处理电路还用于基于第二图像数据，在第一图像数据中识别满足特征提取条件的特征。换句话说，第二图像数据可以向处理电路提供关于待从第一图像(即第一图像数据)中提取的特征的信息，例如关于待提取的特征的位置的信息。在第一方面的另一可能实施方式中，第一图像数据包括第一多个样本值，第二图像数据包括第二多个样本值，其中，处理电路还用于将第一多个样本值与第二多个样本值进行映射(即配准)。可以在配准之前执行基于设置和参数(例如视场、焦距等)的几何校正。在第一方面的另一可能实施方式中，处理电路还用于通过融合第一图像和第二图像来生成合成图像。在第一方面的另一可能实施方式中，处理电路还用于通过在分别对第一图像和第二图像进行信号处理(尤其是图像处理)之后融合第一图本文档来自技高网...

【技术保护点】
1.一种用于从场景的图像中提取特征的图像处理装置(100；200)，其中，所述装置(100；200)包括处理电路，所述处理电路用于，响应于特征提取事件，从表示场景的第一图像的第一图像数据(301)中提取特征，其中，所述特征提取事件基于表示所述场景的第二图像的第二图像数据(303)。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于从场景的图像中提取特征的图像处理装置(100；200)，其中，所述装置(100；200)包括处理电路，所述处理电路用于，响应于特征提取事件，从表示场景的第一图像的第一图像数据(301)中提取特征，其中，所述特征提取事件基于表示所述场景的第二图像的第二图像数据(303)。


2.根据权利要求1所述的装置(100；200)，其中，所述特征提取事件由所述装置(100；200)接收到特征提取事件信号而触发，其中，所述特征提取事件信号包括关于要从所述第一图像数据(301)中提取的所述特征的位置的信息。


3.根据权利要求1所述的装置(100；200)，其中，所述处理电路用于基于所述第二图像数据(303)确定是否满足特征提取条件，并且如果满足所述特征提取条件，则触发所述特征提取。


4.根据权利要求3所述的装置(100；200)，其中，所述图像是视频流的多个图像之一，并且其中，所述处理电路还用于基于所述第二图像数据(303)确定运动统计和/或样本值变化信息，并基于所述运动统计和/或所述样本值变化信息确定是否满足所述特征提取条件。


5.根据权利要求4所述的装置(100；200)，其中，所述处理电路用于，通过将所述运动统计和/或所述样本值变化信息与一个或多个阈值进行比较，基于所述运动统计和/或所述样本值变化信息确定是否满足所述特征提取条件。


6.根据前述权利要求中任一项所述的装置(200)，其中，所述装置(200)包括成像传感器(201)，所述成像传感器(201)用于捕获所述场景的包括多个样本值的图像，并提供所述第一图像数据(301)作为所述多个样本值的第一子集，以及提供所述第二图像数据(303)作为所述多个样本值的第二子集。


7.根据权利要求6所述的装置(200)，其中，所述装置(200)还包括空间滤波器(205)，所述空间滤波器(205)用于对所述图像进行空间滤波，以提供所述第一图像数据(301)作为所述多个样本值的所述第一子集，以及提供所述第二图像数据(303)作为所述多个样本值的所述第二子集。


8.根据权利要求1至5中任一项所述的装置(100)，其中，所述装置(100)包括第一成像传感器(101)和第二成像传感器(111)，其中，所述第一成像传感器(101)...

【专利技术属性】
技术研发人员：赵志杰，方运潭，查钧，陈虎，周建同，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44