数字图像稳定设备和方法技术

一种数字图像稳定(DIS)方法，包括：特征点拣选算法，用于选择最优特征点；计算高效的基于瓦片矢量的搜索算法，用于导出选择的特征点的运动矢量；以及特征点运动矢量分组/比较过程，用于基于它们的矢量幅度比和它们的角度差来将选择的特征点对分组。一种数字图像稳定方法，包括：基于为瓦片运动矢量(瓦片MV)组的多个变换和特征点运动矢量(FP?MV)组的多个变换中的每个变换评分，来选择代表视频帧的场景中的固定/背景对象的主变换；以及基于固定(背景)组的历史和多个运动矢量组中的每个的历史，来排除大的移动对象。

【技术实现步骤摘要】
图像处理方法和电路及摄像头
本专利技术构思这里涉及数字图像稳定(DIS)，而且更具体地，涉及检测、选择、和分组用于数字图像稳定的特征点的方法。
技术介绍
数字照相机、数字摄像机和包括这样的摄像头的手持设备常常用来在摄像头在人类操作员的手中操作时捕获图像或视频。因此，在捕获图像或视频时摄像头可能在操作员手中摇晃或抖动。该抖动可以包括水平分量、垂直分量、和旋转分量。旋转可以沿与图像捕获电路的聚焦平面垂直的轴，或者沿与图像捕获电路的聚焦平面平行的轴，或者沿在垂直轴与平行轴之间歪斜的轴。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的序列中过滤由摄像头轨迹造成的抖动的电路可以包含在摄像机本身中，并且在存储捕获的视频帧之前(例如，如果摄像机包括实时MPEG编码器则在MPEG编码之前或在其期间)被激活以实时取消抖动。替换地，用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的存储序列中过滤抖动的电路可以是由实现数字图像稳定(DIS)方法的软件控制的通用微型计算机，或者可以是专用硬件，诸如嵌入在优化用于执行数字图像稳定(DIS)方法的ASIC(专用集成电路)中的MPEG视频编码器。通过稳定的、固定或移动摄像机产生的视频在捕获的视频中主要包含平滑的运动(平移、旋转)。另一方面，不稳定的摄像机产生贯穿视频图像中具有高频抖动(平移和/或旋转)的视频。从物理成像设备捕获的数字图像序列常常显示不希望的高频抖动运动。图像序列中呈现的抖动运动的量取决于图像捕获设备相对于捕获序列中的对象的物理性质。景深和成像器的底座的不稳定性(取决于底座的重量、惯量、平衡)组合以产生不希望的抖动全局运动。数字图像稳定(DIS)系统首先估计不希望的(无意的)运动，然后对图像序列施加校正。稳定视频的视觉效果高度依赖于摄像头轨迹估计的质量。数字图像稳定(DIS)算法使用有效跟踪的特征点来估计两个连续帧之间的抖动运动。数字视频稳定采用硬件和/或软件方法，用于从包含由不稳定摄像机造成的不期望抖动运动的不稳定的视频中产生空间稳定的视频。在传统DIS技术中，通过分析场景中不同的点的运动矢量来检测摄像头运动。但是运动矢量可以由对象运动以及摄像头运动引起。存在这样的函数，其提供帧的每个像素的数字分数，指示该点作为在时间相邻的帧中能够检测的特征点有多合适。这样的函数的一个示例是哈里斯角点检测器(HarrisCornerDetector)。然而，特征点的幅度对于图像的不同部分通常很不同。DIS方法可以采用全局阈值与每个像素的数字分数进行比较，这并不必然导致特征点的最优分布。因此，在低对比度的区域(例如，无云的蓝天导致稀散的或没有特征点)中可能特征点太少，而在具有许多结构的区域中，特征点可能彼此过于接近。特征点的分布不当可能增加计算过于接近的特征点的冗余运动矢量的计算负担，并且可能无法提供准确的运动矢量。在数字图像稳定(DIS)方法的实施方式中，期望最小化计算开销以便减少电路的功耗和减少执行DIS方法所需的时间。还期望检测和测量摄像头的轨迹并准确地刻画抖动以使得可以从存储/显示的视频中正确地补偿和正确地取消抖动。在数学中，仿射几何是通过仿射变换(即，非单线性变换和转换)依然不改变的几何性质的研究。已经发展了被称为仿射矩阵的由数字系数定义的数学方程组来刻画在每对连续帧之间或在其各部分(例如，帧中的运动对象)之间检测的运动的横向(上/下)、旋转、和标量(例如，放大或缩小)。因此，抖动可以通过被称为主变换或全局变换的相对于场景中的任何实际固定对象(例如，岩石、桌子、停驻的汽车、高山、太阳)的第一仿射变换矩阵来刻画，同时帧中的任何运动对象(例如，鸟、人、球、移动的车)可以通过另外的仿射矩阵来刻画。主变换(主帧间变换)指示可能由用户的手抖动造成的摄像头运动，其可以通过检测与在时间t捕获的每个帧的实际固定对象关联的一个或多个兴趣点(称为“特征点”)、然后在时间相邻帧(t+1)中搜索相同的特征点、并且计算每个特征点的运动矢量来计算。与特定对象关联(一起分组)的多个运动矢量然后被用于计算该对象的仿射变换，其根据仿射公式定义其检测的运动：x′＝sx*x+ry*y+txy′＝rx*x+sy*y+ty可以使用在视频压缩领域中采用的各种搜索方法来计算连续帧之间特征点的运动矢量。这样的搜索方法可以在两个时间相邻帧中采用诸如绝对差值和(SAD)、平均绝对差值(MAD)、或平均平方差(MSE)的宏块的数学比较(例如，通过将当前帧中包含特征点的8×8像素宏块与以特征点的位置为中心的参考帧(t+1)中的搜索区域中的多个8×8像素宏块进行比较来搜索参考帧(t+1)中特征点的位置)。在时间相邻帧(t和t+1)之间以特征点为中心的宏块的位移的测量的量和方向被称为特征点的“运动矢量”。在各种选择范围内使用块匹配算法(BMA)的现有技术的运动矢量估计方法在美国专利6,895,361(专利技术人Yang)和7,680,186(专利技术人Lee)中描述，其通过引用合并于此。视频稳定算法可以消除抖动运动，同时保持用户有意的摄像头运动。通常，抖动是由手晃动和平台振动引起的，所述手晃动和平台振动将是更快的(即，更高频)和非线性的，而摄像头运动将是更慢的并且是线性的或单调的。全局运动(摄像头轨迹)矢量被包括在补偿变换P(n)的仿射变换参数中，所述补偿变换P(n)是使用匹配的特定点对在相邻帧之间估计的。用于补偿照摄像头抖动的补偿变换P(n)可以被特征化为与场景中任何实际固定对象(例如，岩石、桌子、停放的车辆、高山、太阳)相关的第一仿射变换矩阵。在几乎所有情况下，手晃动和平台振动可能导致视频帧的平移、旋转和缩放。为了对这些进行建模，需要六参数仿射变换。即使正确地产生了补偿变换P(n)以便补偿无意的抖动运动，作为结果的补偿帧仍可能具有相对于捕获的输入视频帧的显著振荡移动，并且可能延伸超出在一些捕获的输入视频帧中可用的图像数据。这导致补偿窗口的过度偏离。为了移除视频中的抖动运动，补偿单元裁剪掉每个输入视频帧的一些边界区域。移除的边界区域的量可以被量化为裁剪率。大的裁剪率意味着边界处的更多区域被移除。可以将输出视频帧建模为叠加在输入视频帧上的补偿窗口(参见，例如，图1)。补偿窗口可以相对于输入视频帧被旋转、偏移、缩放等。对于给定裁剪率，补偿窗口的移动的量被称为补偿窗口偏离。补偿窗口超出输入视频帧边界的移动被称为补偿窗口过度偏离。如果没有抖动(无无意的摄像头轨迹)，则预期(基于实际上固定的对象的特征点的)补偿变换P(n)在两个或多个连续帧的每个帧中处于相同位置(例如，UNITY)。如果有高频抖动，则期望产生具有降低程度或降低频率的补偿窗口过度偏离的空间上稳定的视频。因此，需要自适应地在不足的视频稳定和过度偏离之间进行平衡的滤波方法。
技术实现思路
本专利技术构思的一方面提供识别特征点、并导出由于全局移动或摄像头移动而以一致方式移动的特征点的运动矢量、同时准确用于DIS目的的高效率过程。用于DIS算法的良好特征点是当应用合适的运动估计算法时给出单值的运动矢量的点。为了识别图像中的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
2010.12.23 US 61/426,975;2010.12.23 US 61/426,9701.一种处理图像的方法，包括：接收代表第一图像帧的第一图像数据；将第一图像帧的部分划分为多个瓦片；识别每个瓦片中的特征点；接收代表第二帧的第二图像数据；导出与识别的特征点对应的运动矢量；将运动矢量分组为具有相似的运动特性的运动矢量组；选择包含代表第一图像帧的场景内的固定对象的移动的运动矢量的运动矢量组；以及从选择的运动矢量组中识别代表要补偿的摄像头移动的补偿变换，其中基于矢量幅度比和角度差将运动矢量分组为运动矢量组。2.如权利要求1所述的方法，进一步包括导出与每个瓦片对应的瓦片运动矢量。3.如权利要求1所述的方法，进一步包括：基于时间积分的偏离，自适应地对补偿变换进行滤波以防止补偿窗口的过量过度偏离。4.如权利要求1所述的方法，进一步包括：识别场景中的大移动对象并且排除与该大移动对象对应的补偿变换。5.一种图像处理电路，包括：接收器，被配置为接收图像数据的帧；存储器，被配置为存储具有第一运动特性的第一组运动矢量和具有第二运动特性的第二组运动矢量；变换选择器，被配置为从第一组运动矢量和第二组运动矢量中识别代...

【专利技术属性】
技术研发人员：朴圣秀，M布朗，ESK刘，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：