图像处理设备和方法技术

公开了图像处理设备和方法。一种图像处理设备可包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

Image processing equipment and methods

An image processing device and method are disclosed. An image processing device may include: a feature acquisition device configured to obtain values of a plurality of features of each pixel block for each pixel block in the target area in the image frame, each block of pixels including N x M pixels, N > 1, and M > 1; the estimation device is configured to be used in accordance with the target area and the image frame. The background is used to estimate the ability of each of the multiple features of each pixel to reflect the difference between the background and the target; and the feature weighting device is configured to give weights to the multiple features described for each pixel according to the ability of each feature to highlight the ability to reflect the differences between the background and the target. A strong feature wherein the image processing apparatus performs image matching processing on the target according to the characteristics weighted by the feature weighting device.

【技术实现步骤摘要】
图像处理设备和方法本申请是申请人于2012年1月19日向中国专利局提交的申请号为201210018287.1，专利技术名称为“图像处理设备和方法”的专利技术专利申请的分案申请。
本公开涉及图像处理领域，具体而言，涉及一种图像处理设备和方法。
技术介绍
目标跟踪或目标匹配是图像处理领域的一个重要分支。在目标跟踪的过程中，目标的特征很难保持稳定，比如光照的变化会影响图像的灰度和颜色特征，目标的变形会影响图像的纹理特征。针对这个问题，一种解决方法是采用多特征的融合。但是现有的多特征融合方法存在计算量大，很难用硬件实现等问题。在另一方面，在目标跟踪过程中，当初始化目标框时，不可避免的会把一部分背景包含进来，因此，提取特征的时也相应会把背景的干扰引入进来。背景干扰越大，后续的特征匹配的精度就会越低。如何消除背景的影响也是目标跟踪技术的研究重点之一。一种解决方法是采用核函数的方法来减弱背景的影响。相关文献包括：DorinComaniciu等人的论文“Kernel-basedobjecttracking“(发表于PatternAnalysisandMachineIntelligence，2003年5月)(简称为相关文献1)。然而，这样的方法仍然无法准确的消除背景的干扰。
技术实现思路
在下文中给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。根据本公开的一个方面，提供了一种图像处理设备，该图像处理设备可包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。根据本公开的另一方面，提供了一种照相机设备，该照相机设备包括：摄像元件；光学系统，用于在所述摄像元件上形成被摄对象的图像；以及图像处理设备，用于对所述摄像元件摄取的图像帧中的目标进行跟踪处理。其中，所述图像处理设备包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行跟踪处理。根据本公开的另一方面，提供了一种图像处理方法，该图像处理方法可包括：针对图像帧中的目标区域中的每一像素块，获取该每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，根据利用所述权重加权的特征对于目标进行图像匹配处理。上述图像处理设备和方法实现了像素级的特征选择。对于目标区域中的不同像素，可以选取不同的特征。在对目标区域中的多个像素采用相同的多个特征的情况下，根据上述处理得到的各个权重值在不同像素之间也是不同的。另外，由于根据每个像素的每个特征区分背景和目标的能力对各个特征进行加权，即突出区分背景和目标的能力强的特征，削弱区分背景和目标的能力弱的特征，从而使得各个特征的权重值反映了该特征描述目标(区分背景与目标)的能力，因此，能够有效地消除图像背景对目标的干扰。另外，本公开的实施例还提供了用于实现上述图像处理方法的计算机程序。此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述图像处理方法的计算机程序代码。附图说明参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。在附图中：图1是示出根据本公开的一个实施例的图像处理方法的示意性流程图；图2是示出图1所示的估计像素特征的区分背景和目标的能力的方法的一个示例的示意性流程图；图3是示出包含目标区域的图像的示意图；图4是示出根据图1所示的估计像素特征的区分背景和目标的能力的方法的另一具体示例的示意性流程图；图5是示出采用滑动窗在目标区域的领域上滑动的路线的示意图；图6是示出对最优特征进行加权的方法的示意图；图7是示出根据本公开的一个实施例的目标跟踪或匹配方法的示意性流程图；图8是示出根据本公开的一个实施例的图像处理设备的结构的示意性框图；图9是示出根据本公开的另一实施例的图像处理设备的结构的示意性框图；图10是示出根据本公开的一个实施例的照相机的结构的示意性框图；以及图11是示出用于实现本公开的实施例或示例的计算机的结构的示例性框图。具体实施方式下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。本公开的专利技术人发现，在已有的多特征融合方法中，进行特征融合时，通常将目标区域作为一个整体来看待，因而对目标区域内的所有像素都会选择相同的最征，而不会对目标的不同部分选择不同的特征。但是，例如，对于某个目标的一部分，颜色特征是能够将该部分与图像背景区分开的特征，而对于该目标的另外一部分，轮廓特征才是能够将该部分与图像背景区分开的特征。另外，在采用核函数消除背景的已知方法中，由于一般情况下靠近区域中心是目标的可能性大，而远离区域中心是背景的可能性大，因此，通常对目标区域乘以一个高斯分布的权重模板(即核函数)。这样，靠近中心的像素的特征会获得较大的权重，而区域边缘的像素被赋予较小的权重。采用这种方法，区域边缘附近的背景像素带来的影响就会被抑制住。但是这种方法使用的权重只能是一个椭圆形的分布，无法根据目标的形状准确的消除背景的干扰，从而有可能导致目标的部分像素被赋予了较低权重。本公开的一些实施例提供了图像处理方法和设备，其中可以实现像素级的特征选择，同时能够有效地消除图像背景对目标跟踪的干扰。图1是示出根据本公开的一个实施例的图像处理方法的流程图。如图1所示，该图像处理方法可以包括步骤102、104和106。在步骤102中，针对图像帧(如视频图像或其它图像序列中的初始图像帧)中的目标区域中的每一像素，获取该每一像素的多个特征的值。这里所述的目标区域为图像帧中包含目标的图像区本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取该像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征反映背景与目标的差异的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

【技术特征摘要】
1.一种图像处理设备，包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取该像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征反映背景与目标的差异的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。2.根据权利要求1所述的图像处理设备，其中，所述估计装置进一步被配置为通过以下来估计每一像素块的多个特征中的每一特征的反映背景与目标的差异的能力：针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，其中，该像素块的多个特征中所述差分值的累加值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中所述差分值的累加值较小的特征反映背景与目标的差异的能力较弱。3.根据权利要求2所述的图像处理设备，其中，所述估计装置进一步被配置为通过以下来针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值：利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；以及累加多次滑动得到的差分值。4.根据权利要求2所述的图像处理设备，其中，所述特征加权装置进一步被配置为：选择所述多个特征中所述差分值的累加值较大的一个或更多个，作为所述目标区域的所述每一像素块的最优特征，将所述多个特征中的其他特征权重设置为0。5.根据权利要求2-4中任一项所述的图像处理设备，其中，所述特征加权装置进一步被配置为：判断每一像素块的每一特征的所述差分值的累加值是否大于或等于预定阈值，若否，则将该特征的权重设置为0。6.根据权利要求1-4中任一项所述的图像处理设备，其中：所述特征获取装置进一步被配置为从后续图像帧中提取多个候选目标区域，并获取每一所述候选目标区域中的每一像素块的所述多个特征的值，并且其中，所述图像处理设备还包括：置信度估计装置，...

【专利技术属性】
技术研发人员：黄华坤，小川要，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP