数字图像稳定设备制造技术

一种数字图像稳定(DIS)方法，包括：特征点拣选算法，用于选择最优特征点；计算高效的基于瓦片矢量的分级块匹配搜索算法，用于导出选择的特征点的运动矢量；以及特征点运动矢量分组/比较过程，用于基于它们的矢量幅度比和它们的角度差来将选择的特征点对分组。

【技术实现步骤摘要】
数字图像稳定设备
本专利技术构思这里涉及数字图像稳定(DIS)，而且更具体地，涉及检测、选择、和分组用于数字图像稳定的特征点的方法。
技术介绍
数字照相机、数字摄像机和包括这样的摄像头的手持设备常常用来在摄像头在人类操作员的手中操作时捕获图像或视频。因此，在捕获图像或视频时摄像头可能在操作员手中摇晃或抖动。该抖动可以包括水平分量、垂直分量、和旋转分量。旋转可以沿与图像捕获电路的聚焦平面垂直的轴，或者沿与图像捕获电路的聚焦平面平行的轴，或者沿在垂直轴与平行轴之间歪斜的轴。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的序列中过滤由摄像头轨迹造成的抖动的电路可以包含在摄像机本身中，并且在存储捕获的视频帧之前(例如，如果摄像机包括实时MPEG编码器则在MPEG编码之前或在其期间)被激活以实时取消抖动。替换地，用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的存储序列中过滤抖动的电路可以是由实现数字图像稳定(DIS)方法的软件控制的通用微型计算机，或者可以是专用硬件，诸如嵌入在优化用于执行数字图像稳定(DIS)方法的ASIC(专用集成电路)中的MPEG视频编码器。通过稳定的、固定或移动摄像机产生的视频在捕获的视频中主要包含平滑的运动(平移、旋转)。另一方面，不稳定的摄像机产生贯穿视频图像中具有高频抖动(平移和/或旋转)的视频。从物理成像设备捕获的数字图像序列常常显示不希望的高频抖动运动。图像序列中呈现的抖动运动的量取决于图像捕获设备相对于捕获序列中的对象的物理性质。景深和成像器的底座的不稳定性(取决于底座的重量、惯量、平衡)组合以产生不希望的抖动全局运动。数字图像稳定(DIS)系统首先估计不希望的(无意的)运动，然后对图像序列施加校正。稳定视频的视觉效果高度依赖于摄像头轨迹估计的质量。数字图像稳定(DIS)算法使用有效跟踪的特征点来估计两个连续帧之间的抖动运动。数字视频稳定采用硬件和/或软件方法，用于从包含由不稳定摄像机造成的不期望抖动运动的不稳定的视频中产生空间稳定的视频。在传统DIS技术中，通过分析场景中不同的点的运动矢量来检测摄像头运动。但是运动矢量可以由对象运动以及摄像头运动引起。存在这样的函数，其提供帧的每个像素的数字得分，指示该点作为在时间相邻的帧中能够检测的特征点有多合适。这样的函数的一个示例是哈里斯角点检测器(HarrisCornerDetector)。然而，特征点的幅度对于图像的不同部分通常很不同。DIS方法可以采用全局阈值与每个像素的数字得分进行比较，这并不必然导致特征点的最优分布。因此，在低对比度的区域(例如，无云的蓝天导致稀散的或没有特征点)中可能特征点太少，而在具有许多结构的区域中，特征点可能彼此过于接近。特征点的分布不当可能增加计算过于接近的特征点的冗余运动矢量的计算负担，并且可能无法提供准确的运动矢量。在数字图像稳定(DIS)方法的实施方式中，期望最小化计算开销以便减少电路的功耗和减少执行DIS方法所需的时间。还期望检测和测量摄像头的轨迹并准确地刻画抖动以使得可以从存储/显示的视频中正确地补偿和正确地取消抖动。在数学中，仿射几何是通过仿射变换(即，非单线性变换和转换)依然不改变的几何性质的研究。已经发展了被称为仿射矩阵的由数字系数定义的数学方程组来刻画在每对连续帧之间或在其各部分(例如，帧中的运动对象)之间检测的运动的横向(上/下)、旋转、和标量(例如，放大或缩小)。因此，抖动可以通过被称为主变换或全局变换的相对于场景中的任何实际固定对象(例如，岩石、桌子、停驻的汽车、高山、太阳)的第一仿射变换矩阵来刻画，同时帧中的任何运动对象(例如，鸟、人、球、移动的车)可以通过另外的仿射矩阵来刻画。主变换(主帧间变换)指示可能由用户的手抖动造成的摄像头运动，其可以通过检测与在时间t捕获的每个帧的实际固定对象关联的一个或多个兴趣点(称为“特征点”)、然后在时间相邻帧(t+1)中搜索相同的特征点、并且计算每个特征点的运动矢量来计算。与特定对象关联(一起分组)的多个运动矢量然后被用于计算该对象的仿射变换，其根据仿射公式定义其检测的运动：x′＝sx*x+ry*y+txy′＝rx*x+sy*y+ty可以使用在视频压缩领域中采用的各种搜索方法来计算连续帧之间特征点的运动矢量。这样的搜索方法可以在两个时间相邻帧中采用诸如绝对差值和(SAD)、平均绝对差值(MAD)、或平均平方差(MSE)的宏块的数学比较(例如，通过将当前帧中包含特征点的8×8像素宏块与以特征点的位置为中心的参考帧(t+1)中的搜索区域中的多个8×8像素宏块进行比较来搜索参考帧(t+1)中特征点的位置)。在时间相邻帧(t和t+1)之间以特征点为中心的宏块的位移的测量的量和方向被称为特征点的“运动矢量”。在各种选择范围内使用块匹配算法(BMA)的现有技术的运动矢量估计方法在美国专利6,895,361(专利技术人Yang)和7,680,186(专利技术人Lee)中描述，其通过引用合并于此。
技术实现思路
本专利技术构思的一方面提供识别特征点、并导出由于全局移动或摄像头移动而以一致方式移动的特征点的运动矢量、同时准确用于DIS目的的高效率过程。用于DIS算法的良好特征点是当应用合适的运动估计算法时给出单值的运动矢量的点。为了识别图像中的特征点，应用于视频帧的像素的哈里斯角点检测器估计每个像素有多适合作为特征点。图像的不同区域具有识别的特征点候选者的不同密度。公开的光栅扫描顺序选择和拣选的方法基于视频帧的小区域(称为瓦片(tile))提供最终的特征点分布，其中特征点的最大数量随瓦片的亮度图像数据的方差σ2线性增长。每个视频帧被划分为较小数量j×k个瓦片。数量j×k个瓦片可以从用于SD视频的4×4到用于HD视频的6×6或更大；在(4..8)×(4..8)的范围内的其他数量也是可能的并且可以是有益的。选择瓦片尺寸以使得独立移动的足够大的对象覆盖至少一个瓦片的大部分，从而可以捕获它们的运动用于DIS目的，同时忽略小对象的运动。具有更多感兴趣图像数据并且因而需要更多特征点的瓦片预期具有较高的方差σ2。特征点拣选算法找到特征点之间的可编程的最小距离但是需要最少的硬件存储器。分级运动估计算法可以用来估计从帧到帧的特征点移动，其中关于后一搜索级别的可编程运动范围是有意的小，从而优选大对象或全局移动而非局部移动。因此，最小化所需的操作数量，同时结果足够准确用于数字图像稳定应用。对于例如通过拣选算法选择的每个特征点，在使用的开始矢量的小范围中通过块匹配确定其运动矢量。开始矢量是包含当前特征点的瓦片和周围瓦片(例如，上、下、左、右)的瓦片运动矢量。瓦片运动估计是导出特征点的运动矢量的过程的第一步。基于覆盖输入图像的中心部分的非重叠瓦片(例如，在特征点拣选算法中使用的相同瓦片)完成瓦片运动估计。对于每个瓦片的瓦片运动估计，在下采样图像上执行全块匹配搜索。当前帧通过用于标清(SD)视频的四到八或用于高清(HD)视频的八到十六的第二下采样系数fs2进行下采样。在该下采样域中，对每个瓦片完成全搜索块匹配并且存储瓦片矢量本文档来自技高网...

【技术保护点】

【技术特征摘要】
2010.12.23 US 61/426,970;2010.12.23 US 61/426,9751.一种处理视频数据的方法，包括：接收代表第一帧的第一图像数据；识别第一帧中的多个特征点；接收代表第二帧的第二图像数据；导出与每个特征点对应的多个运动矢量；选择运动矢量中的第一运动矢量作为当前矢量A，并且选择运动矢量中的第二运动矢量作为当前矢量B；基于当前矢量A和当前矢量B的矢量幅度比和它们的角度差来比较当前矢量A和当前矢量B；设置幅度比阈值和角度差阈值；如果当前矢量A和当前矢量B的矢量幅度比落入幅度比阈值内且它们的角度差落入角度差阈值内，则将当前矢量A和当前矢量B分组在一起；以及如果当前矢量A和当前矢量B的矢量幅度比落入幅度比阈值之外或如果它们的角度差落入角度差阈值之外，则不将当前矢量A和当前矢量B分组在一起，如果不将当前矢量A和当前矢量B分组在一起，则选择运动矢量中的第三运动矢量作为新的矢量B，然后基于当前矢量A和新矢量B的矢量幅度比和它们的角度差来比较当前矢量A和新矢量B以决定是否将当前矢量A和新矢量B分组在一起，以及选择运动矢量中的第二运动矢量作为新的矢量A并且选择运动矢量中的第四运动矢量作为新的矢量B，然后基于新矢量A和新矢量B的矢量幅度比和它们的角度差来比较新矢量A和新矢量B以决定是否将新矢量A和新矢量B分组在一起。2.如权利要求1所述的方法，其中比较矢量幅度比包括计算(|B|/|A|)^2＝((xb^2+yb^2)/(xa^2+ya^2))，其中A＝(xa,ya)，B＝(xb,yb)。3.如权利要求1所述的方法，其中幅度比阈值是r以使得(1–r)^2<(|B|/|A|)^2<(1+r)^2，其中r是小于1且大于0的预定实数。4.如权利要求1所述的方法，其中比较当前矢量A与当前矢量B之间的角度差包括将归一化矢量差的幅度的平方|a–b|^2与角度差阈值Math^2进行比较，其中|a–b|^2＝{(xa–xb)^2+(ya–yb)^2}/(xa^2+ya^2)，其中A＝(xa,ya)，B＝(xb,yb)，其中基于预定角度阈值θth来计算角度差阈值Math^2，其中Math^2＝(1+|b|^2–2*|b|*cosθth)，其中|b|＝SQRT{(|B|/|A|)^2}，而且其中仅使用一个平方根运算执行当前矢量A与当前矢量B的比较。5.如权利要求4所述的方法，其中角度差阈值Math^2＝0.5^2。6.如权利要求1所述的方法，其中执行当前矢量A与当前矢量B的比较而不使用平方根运算。7.一种视频处理电路，包括：特征点电路，配置为识别第一帧中的多个特征点并为每个特征点导出第一帧与第二帧之间的多个运动矢量；配对控制器，配置为选择运动矢量中的第一个作为当前矢量A(xa,ya)并选择运动矢量中的第二个作为当前矢量B(xb,yb)；幅度比比较器，配置为基于当前矢量A和当前矢量B的矢量幅度比来比较当前矢量A和当前矢量B；以及矢量角度比较器，配置为基于当前矢量A和当前矢量B的矢量角度差来比较当前矢量A和当前矢量B，其中，配对控制器被配置为：如果当前矢量A和当前矢量B的矢量幅度比落入幅度比阈值内且它们的角度差落入角度差阈值内，则将当前矢量A和当前矢量B分组在一起；以及如果当前矢量A和当前矢量B的矢量幅度比落入幅度比阈值之外或如果它们的角度差落入角度差阈值之外，则不将当前矢量A和当前矢量B分组在一起，如果不将当前矢量A和当前矢量B分组在一起，则配对控制器被配置为：选择运动矢量中的第三运动矢量作为新的矢量B，然后基于当前矢量A和新矢量B的矢量幅度比和它们的角度差来比较当前矢量A和新矢量B以决定是否将当前矢量A和新矢量B分组在一起，以及选择运动矢量中的第二运动矢量作为新的矢量A并且选择运动矢量中的第四运动矢量作为新...

【专利技术属性】
技术研发人员：朴圣秀，M布朗，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：