本发明专利技术提供了图像处理装置和图像处理方法，其中，该图像处理装置包括：相关值计算部，被配置为确定目标块与每个参考块之间的相关值；确定部，被配置为确定相关值中的最大值；运动矢量检测部，被配置为检测目标块的运动矢量；以及计算部，被配置为计算由运动矢量检测部检测的运动矢量的可靠性的指标。通过本发明专利技术，对包括大量噪声或重复图案的图像也能够获得具有高可靠性的运动矢量的可靠性指标。
【技术实现步骤摘要】
本专利技术涉及一种检测两个画面图像之间的运动矢量并计算所 检测运动矢量的可靠性的图像处理装置和方法。
技术介绍
根据图像信息本身来确定两个画面图像之间的运动矢量的块 匹配技术是一项历史悠久的技术。根据块匹配技术，包括作为注目画面图像的参考画面图像和从中出现参考画面图<象的运动的原始图{象(下文称作目标画面图4象) 的两个画面图^f象之间的运动矢量是通过相对于预定大小的矩形区域的块(目标块和参考块)计算参考画面图像和目标画面图像之间 的相关性来计算的。块匹配才支术包^"以下两种情况 一种情况是如 在例如通过MPEG(运动图片专家组)系统进行运动检测的情况下， 目标画面图4象在时间上先于参考画面图 <象；以及另 一种情况是如在 例如通过下文所述的图像帧的叠加来减小噪声的情况下，参考画面 图4象在时间上先于目标画面图4 象。注意，在本"i兌明书中，术^吾画面图^象表示由一帧或一场的图傳_ 数据形成的图像。然而，为了描述方便，在本说明书的以下描述中， 々ii殳一个画面图像由一帧形成并在下文中称作帧。因此，参考画面 图像在下文被称作参考帧，而目标画面图像在下文被称作目标帧。具体地，对于电视相机的云台检测和图傳4合取对象跟踪、MPEG (运动图片专家组)系统的运动图片编码等，已开发了利用块匹配 的运动矢量匹配技术。在90年代，已促进在包括通过图像叠加进 行无传感器相机抖动校正、低照度下图像拾取时的降噪等宽范围内 的应用。此外，利用块匹配的运动矢量检测方法不仅被应用于图像识别 应用和相机抖动校正应用中，而且还被应用于如图像拾取装置的快 门速度的自动调节和液晶电视机的双倍速帧频转换的新应用中。在任何情况下，所检测矢量的可靠性都是非常重要的。具体地， 如果所检测的运动矢量精确，则能够以高精度定位多个图像，并且 能够预期图像拾取对象的跟踪、高精度相4几抖动校正等。然而，如 果使用低可靠性的运动矢量执行处理，则会在错误的方向上执行校 正等，因此，会出现取决于应用的后处理步骤的精度变低的情况。因此，例如在日本专利7>开第2006-318345号中已4是出并4皮露 了提取高可靠性的运动矢量的方法。根据该方法，执行MPEG系统 编码中的离散余弦转换(DCT)结果中的的AC分量和DC分量的 比较，或者执行与图像边缘的比较，从而从特征图像部分中检测出 运动矢量来作为具有高可靠性的运动矢量。还有一种方法可用，其中，在矢量计算之前，预先通过边缘才企 测或通过角检测器的部分提取出图像中的特征点或奇异点，并根据 许寺;f正点来确定运动矢量。此外，日本专利公开第2005-301984号中披露了从表示图像的 特征量的活动量(activity)中获得运动矢量可靠性的指标。
技术实现思路
然而，与上述运动矢量的可靠性相关的现有才支术全部都需要才是 取图像的特征点或特征量的处理，并且除运动矢量的4企测处理之外 全部都需要提供被配置为提取特征点或特征量的部件。因此，现有 技术具有结构复杂并需要提高成本的问题。此外，使用特征点或特征量的所有上述技术基本上都是针对低 噪声图像的，并且都具有在包含高噪声图像的情况下不能正常运行 的问题。此外，特征点提取方法具有在噪声或重复图案方面不是很 好的问题。因此，期望提供一种即使在图像具有高噪声或包括重复图案的 情况下仍能够通过简单结构估算运动矢量的可靠性的图像处理装 置和方法。根据本专利技术的实施例，提供了一种图像处理装置，包括相关 值计算部， 一皮配置为设定具有等于在目标画面图《象中以预定尺寸形 成的目标块的尺寸并由在与目标画面图<象不同的参考画面图<象中 设定的搜索范围内的多个像素形成的多个参考块，并确定目标块与每个参考块之间的相关值；确定部，被配置为确定在通过相关值计算部计算的相关值中的最大值以及除最大值之外的相关值中极大值；运动矢量检测部，被配置为检测所述目标块的运动矢量，作为 计算出所述相关值的所述最大值的所述参考块相对于所述目标块 的位移量(displacement amount,偏移量)；以及计算部，帔配置为 计算相关值中的最大值与除最大值之外的相关值中的极大值之间的差值，作为通过运动矢量检测部检测的运动矢量的可靠性的指标。根据本专利技术的另一个实施例，提供了一种图像处理装置，包括 相关值计算部，被配置为设定具有等于在目标画面图像中以预定尺 寸形成的目标块的尺寸并由在与目标画面图〗象不同的参考画面图 像中设定的搜索范围内的多个像素形成的多个参考块，并确定目标 块与每个参考块之间的相关值；确定部，；陂配置为确定在通过相关 值计算部计算的相关值中的最大值以及除最大值之外的相关值中 极大值；运动矢量检测部，；故配置为4企测所述目标块的运动矢量， 作为计算出所述相关值中的所述最大值的所述参考块相对于所述目标块的位移量；以及计算部，^皮配置为计算相关值中的最大值与 除最大值之外的相关值中的极大值之间的比，作为通过运动矢量检 测部所;险测的运动矢量的可靠性的指才示。例如，在目标画面图^象和参考画面图{象为静止图<象的情况下， 如果々支设不存在任何噪声的理想状态，则当确定在4臾索范围内的多 个参考块中的每一个与目标块之间的相关值时，认为相关值仅包括 一个等于相关值中的最大值的极大值。然而，在诸如拾取图像的实际图像情况下，由于光量变化、运 动目标的移动等以及即使在画面图像为静止图像的情况下的各种 类型的噪声的影响，目标画面图 <象和参考画面图 <象通常包括相关值 的多个极大值。另外，尽管基于呈现作为相关值中最大值的相关值中的第一极 大值的那个参考块的位置来检测运动矢量，但是如果相关值中的第 一极大值与除相关值的第 一极大值之外的相关值中的另 一个极大 值(即，相关值的第二极大值)之间的差很小，那么就可能会疑问 到底两个极大值中的哪一个是正确。因此，可靠性低。另 一方面，如果相关值中的第 一和第二极大值之间的差很大， 则认为根据相关值中的第 一 极大值所确定的运动矢量的可靠性相对较高。例如，在目标画面图^象和参考画面图^f象为运动图片图i象的情况 下，相关值由于运动图像部分而很少仅包括第一极大值。此外，对 于以块为单位的移动，如果相关值中的第二极大值与相关值中的第 一极大值之间的差很小，则由于可能会疑问到底两个极大值中的哪 一个是正确，所以可靠性4艮低。另一方面，如果相关值中的第一拟_ 大值与相关值中的第二极大值之间的差很大，则认为根据相关值中 的第 一极大值所确定的运动矢量的可靠性相对较高。鉴于以上，根据本专利技术的第一实施例，相关值中的第一极大值 (即，相关值中的极大值)与相关值中的第二极大值之间的差被用 作运动矢量可靠性的指标。同时，根据本专利技术的第二实施例，相关值中的第一极大值(即， 相关值中的最大值)与相关值中的第二极大值之间的比被用作运动 矢量可靠性的指标。即使在相关值的第 一极大值或最大值以及相关值的第二极大 值中包括噪声，^旦是如果确定第一才及大值或最大值与第二才及大值之 间的差或第 一极大值或最大值与第二极大值之间的比，那么噪声分 量就会彼此抵消并且噪声的影响降低。因此，运动矢量可靠性的指标非常可靠。通过该图像处理装置和方法，不需要使用图像的特征点或特征 量，而本文档来自技高网...
【技术保护点】
一种图像处理装置，包括： 相关值计算装置，用于设定多个参考块，并确定在目标画面图像中以预定尺寸形成的目标块与每个所述参考块之间的相关值，所述多个参考块具有等于所述目标块的尺寸的尺寸，并由在与所述目标画面图像不同的参考画面图像中设定的搜 索范围内的多个像素形成； 确定装置，用于确定在通过所述相关值计算装置计算的所述相关值中的最大值以及除所述最大值之外的所述相关值中的极大值； 运动矢量检测装置，用于检测所述目标块的运动矢量，作为计算出所述相关值中的所述最大值的所述 参考块相对于所述目标块的位移量；以及 计算装置，用于计算所述相关值中的所述最大值与除所述最大值之外的所述相关值中的所述极大值之间的差，作为通过所述运动矢量检测装置检测的所述运动矢量的可靠性的指标。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：仓田徹，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。