用于图像稳定的方法和装置制造方法及图纸

本发明专利技术提供了用于通过成像设备来稳定图像数据的方法和设备。在一个实施例中，方法包括检测第一帧和第二帧的图像数据，执行运动估计以确定与第一帧的图像数据的全局帧运动关联的一个或多个运动矢量，执行外点排除函数以选择一个或多个运动矢量中的至少一个运动矢量，以及至少部分地基于通过外点排除函数选择的运动矢量来确定用于第一帧的图像数据的全局变换。该方法还可以包括通过细化全局变换以校正无意的运动来确定用于第一帧的图像数据的稳定变换，以及对第一帧的图像数据应用该稳定变换以稳定第一帧的图像数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及视频数据的数字图像稳定，更具体地涉及在捕获期间对通过CMOS传感器检测到的图像数据进行的数字稳定。
技术介绍
用户操作视频成像设备，尤其是手持录制设备，可能由于操作者在支撑成像设备时的小移动而产生模糊或移位的图像数据。然而，不希望有模糊的失真图像数据。因此，传统的方法和设备已经用于稳定通过视频成像设备捕获的图像数据。例如，一种传统方法包括采用一个或多个运动传感器来检测成像设备的运动，以校正图像数据。这些方法需要运动传感器，并且可能仍然导致数字失真，因为典型采用的运动传感装置通常不能检测旋转运动。使用成像设备的缩放功能可能额外增加了图像稳定的难度。然而，传统的方法和设备没有考虑实时或近实时地对CMOS传感器，尤其是卷帘快门传感器所捕获的图像数据进行的数字视频稳定。之前的尝试旨在于执行离线后处理以补偿平移变换。但是，这些方法没有考虑局部对象运动所引入的外点(outlier)或者校正卷帘快门成像赝像。另一方法包括离线处理，其与在线处理的不同之处通常在于要求更高的功耗、更高的带宽、更高的处理延迟以及更高的算法复杂度。因此，本领域中需要能够解决采用CMOS传感器的设备的一个或多个缺陷的系统和方法。
技术实现思路
本文公开和请求保护用于稳定图像数据的系统和方法。在一个实施例中，方法包括检测第一帧的图像数据，检测第二帧的图像数据，执行运动估计以确定与第一帧的图像数据的全局帧运动关联的一个或多个运动矢量，执行外点排除函数以选择一个或多个运动矢量中的至少一个运动矢量，以及至少部分地基于通过外点排除函数选择的运动矢量来确定用于第一帧的图像数据的全局变换。该方法还可以包括通过细化全局变换以校正无意的运动来确定用于第一帧的图像数据的稳定变换，以及对第一帧的图像数据应用该稳定变换以稳定第一帧的图像数据。参见以下对本专利技术的详细描述，本专利技术的其他方面、特征和技术对相关领域技术人员将变得明显。附图说明结合附图从下文的详细描述中，本专利技术的特征、目的和优势将变得更加明显，附图中相同的附图标记贯穿各附图指代相同的部分，其中图I描绘了根据本专利技术一个实施例的视频成像设备的简化框图；图2描绘了根据本专利技术一个实施例的用于稳定图像数据的过程；图3A描绘了根据本专利技术一个实施例的帧的图像数据的图形化表示；图3B描绘了根据本专利技术一个实施例的包括图像赝像的图3A的帧的图像数据的图形化表示；图4描绘了根据本专利技术一个实施例的外点函数。图5描绘了根据本专利技术一个实施例的一系列帧的图像数据的图形化表示；图6描绘了根据本专利技术另一实施例的帧的图像数据的图形化表示； 图7描绘了根据本专利技术另一实施例的视频成像设备的简化框图。具体实施例方式本专利技术的一个方面涉及稳定成像设备的图像数据，诸如视频数据。在一个实施例中，提供了一种用于稳定通过CMOS图像传感器，诸如卷帘快门传感器或全局快门传感器，检测到的图像数据的过程。图像稳定过程可以基于图像数据相对于图像数据的先前帧或连续帧的运动，来确定用于校正无意的运动的稳定变换，其中无意的运动诸如是被转换成所捕获图像数据中的不稳定的用户移动。无意的运动可以涉及成像设备的用户的不期望运动,诸如手抖动。过程可以包括响应于多个运动矢量的扭曲(warping)变换，以及提供用于选择一个或多个运动矢量的多级细化过程的外点函数。根据另一实施例，该过程可以附加地包括基于先前或连续帧数据来确定图像数据的全局变换，以及确定与全局变换关联的置信测度以减少全局变换中的错误估计。该过程还可以包括基于全局变换来确定稳定变换以校正影响图像数据的检测的一个或多个无意的移动。根据另一实施例，提供了一种成像设备，该成像设备用于如本文描述的实时地或近实时地稳定视频图像数据。以此方式，可以检测和校正图像数据而无需对视频图像数据进行后处理。示例件实施例的描述图I描绘了根据一个实施例的配置用于提供图像数据的稳定的成像设备的简化框图。设备100涉及成像设备，诸如摄像机，或者通常包括视频成像设备的设备(例如，个人通信单元)。设备100的图像传感器105可以配置用于捕获一个或多个帧的图像数据。根据一个实施例，图像传感器105涉及互补金属氧化物半导体(CMOS)传感器。根据另一实施例，图像传感器105可以涉及卷帘快门传感器和全局快门传感器之一。如此处所使用的，卷帘快门传感器涉及通过在帧上垂直地或水平地扫描像素数据来扫描图像传感器的像素数据，从而进行检测的图像捕获设备。全局快门传感器涉及同时捕获帧的图像数据。设备100包括耦合到图像传感器105的处理器110，其可以配置用于处理通过图像传感器105检测到的与一个或多个帧关联的图像数据。对系统的示例性输入包括但不限于标清(SD)和高清(HD)视频。处理器110可以配置用于处理图像数据以经由输入/输出接口 115进行输出和/或存储在存储器120上。在一些实施例中，设备100可以配置用于向可选的存储器125输出图像数据以进行存储(例如，可移动介质，DVD-r，等等)和/或向可选的显不器130输出。如下文结合图2将更详细描述的，设备100可以配置用于执行用于图像检测的过程，包括一个或多个运动估计计算，确定全局失真以及对图像数据应用复杂变换。处理器110可以配置用于基于通过图像传感器105检测到的图像数据来提供实时数字图像稳定。根据另一实施例，处理器110可以配置用于最小化用以稳定捕获的图像数据的运动估计计算。设备100可以进一步配置用于提供比仿射(affine)更复杂的复杂失真校正处理器110可以配置用于基于存储在存储器120中的一个或多个指令进行操作，其中存储器120涉及ROM和RAM存储器之一。设备100所接收的可执行指令和/或数据可以通过存储器120存储。尽管上面已经参考用于图像传感器105的卷帘快门配置描述了设备100，同样应当理解，设备100可以涉及全局图像传感器。尽管图I中的元件可以描述为硬件，但是应当理解，这些元件的功能可以以各种方式实现，包括硬件、固件、软件及其组口 ο现在参考图2，描绘了根据本专利技术的一个实施例的对通过图I的设备检测到的图像数据进行稳定的过程。过程200可以通过在框205处检测第一帧的图像数据以及在框210处检测第二帧的图像数据来启动。根据一个实施例，在框205和210处检测到的图像数据可以是连续帧。帧的捕获之间的延迟可以基于SD和HD视频数据的视频标准，包括但不限于30帧/秒。在框215处，可以执行运动估计以确定与第一帧关联的一个或多个运动矢量。如下文结合图3更详细描述的，运动矢量可以针对全局运动而确定，诸如整个图像帧的运动。类似地，运动矢量可以针对局部运动，即帧内的对象的运动，来计算。运动矢量可以基于与第一帧和第二帧关联的图像数据的比较来确定。在一些实施例中，可以采用多个帧以用于运动估计，诸如先前检测到的和/或随后检测到的帧，以执行运动估计。在一个实施例中，运动估计可以是分层的，其中一个或多个运动矢量可以针对图像数据的粗分辨率和精分辨率而确定。然而，针对一帧内的所有块执行完整运动估计可能是非常苛刻的。因此，可以在框220处执行外点函数。如下文结合图4将更详细描述的，可以执行外点函数以选择一个或多个运动矢量。外点函数可以确定哪些运动矢量与图像帧内的全局运动不相关，并且由此选择与全局运动关联的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.10.14 US 61/251,3791.一种用于通过成像设备来稳定图像数据的方法，所述方法包括动作 检测第一帧的图像数据； 检测第二帧的图像数据； 基于所述第一帧和第二帧的图像数据，执行运动估计以确定与所述第一帧的图像数据的全局帧运动关联的一个或多个运动矢量； 执行外点排除函数以选择所述一个或多个运动矢量中的至少一个运动矢量； 至少部分地基于通过所述外点排除函数选择的运动矢量来确定用于所述第一帧的图像数据的全局变换； 通过细化所述全局变换以校正无意的运动来确定用于所述第一帧的图像数据的稳定变换；以及 对所述第一帧的图像数据应用所述稳定变换以稳定所述第一帧的图像数据。2.如权利要求I所述的方法，其中所述第一帧涉及连续检测的图像帧，在其后检测所述第二帧的图像数据。3.如权利要求I所述的方法，其中所检测的所述第一帧和第二帧的图像数据涉及通过卷帘快门传感器和全局快门传感器之一检测到的图像数据。4.如权利要求I所述的方法，其中运动估计涉及图像数据的局部和全局运动的分层特征，其中图像数据针对若干图像数据规模而细化，以选择与所述图像数据的全局运动关联的一个或多个运动矢量。5.如权利要求I所述的方法，还包括限制所述运动估计以分析图像数据的选择区域，从而降低处理复杂度和时间。6.如权利要求I所述的方法，其中所述外点排除函数还包括执行对帧之间的非全局运动的外点跟踪，以生成指派给所述图像数据的各区域的权重值。7.如权利要求I所述的方法，其中所述全局变换与用于对图像数据的运动进行分类的一个或多个模型相关联，其中权重被指派给第一图像帧中涉及为该帧的一个或多个区域确定的运动矢量的区域。8.如权利要求I所述的方法，其中所述图像稳定变换被计算以减少对所述第一帧的不够详细的运动数据和复杂场景运动之一的错误全局变换估计。9.如权利要求I所述的方法，其中应用所述图像稳定变换包括对像素数据的扭曲变换以独立地调整所述第一帧内的一个或多个像素位置。10.如权利要求I所述的方法，其中当在所述图像稳定变换期间，确定所述全局变换以及应用前向透镜变形函数时，所述图像稳定变换通过对运动矢量应用逆透镜变形函数来校正透镜变形。11.如权利要求I所述的方法，其中无意的运动涉及用户对视频成像设备施加的、不希望的运动。1...

【专利技术属性】
技术研发人员：Y·多尔金，A·古瑞维克，E·平哈索维，V·平托，
申请(专利权)人：CSR技术公司，
类型：发明
国别省市：