图像稳定设备及方法技术

提供了一种图像稳定设备及方法。所述图像稳定设备通过使用图像传感器和运动传感器二者执行图像稳定。图像失真和图像运动通过使用由图像传感器和图像处理提取的特征点的位置和由运动传感器预测的特征点的移动位置二者被稳定地校正。

【技术实现步骤摘要】
本申请要求于2015年3月23日提交到韩国知识产权局的第10-2015-0040206号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
与示例性实施例相一致的设备和方法涉及通过使用传感器融合方案稳定由一个或更多个相机捕捉的图像。
技术介绍
通常，校正由于各种原因而发生的图像抖动的图像稳定方案使用一种在两个图像中匹配或追踪对应点的方法。然而，这种图像稳定方案非常易受外部冲击、图像质量退化等的影响。此外，当捕捉的图像中存在运动对象时，针对该运动对象的图像校正可能不会被适当地执行。特别地，在基于图像处理校正运动的方法的情况下，当从追踪区域或追踪窗口的尺寸偏离的运动发生时，运动很难被校正。
技术实现思路
本专利技术构思的示例性实施例提供这样的设备及方法，其中，通过使用传感器融合方案，即使在图像质量退化、在图像捕捉设备上发生外部冲击、以及在捕捉到的图像中存在运动对象的情况下，也输出不含图像运动(诸如抖动)的稳定图像。本专利技术构思的各种方面将会部分地在以下描述中阐明，并将会部分地从描述中清楚或者可以通过本示例性实施例的实践而领会。根据一个或更多个示例性实施例，提供了一种图像稳定设备，所述图像稳定设备可包括：特征点提取器，被配置为在由图像捕捉设备捕捉的第一输入图像中提取特征点；移动量检测器，被配置为响应于图像捕捉设备的运动
检测图像捕捉设备的移动量；移动位置预测器，被配置为在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；对应位置检测器，被配置为确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；比较器，被配置为将预测的移动位置与对应特征点的位置进行比较；图像稳定器，被配置为基于比较的结果，校正由于图像捕捉设备的运动造成的第二输入图像中的图像失真。如果预测的移动位置和对应特征点的位置之间的距离在预定的范围内，则所述比较器可确定对应特征点的位置是准确的，并且如果所述距离在预定的范围内，则图像稳定器可基于对应特征点的位置校正图像失真。但是，如果所述距离超出预定的范围，则对应特征点的位置不被用作用于校正图像失真的有效数据。根据一个或更多个示例性实施例，提供了一种在图像捕捉设备中执行图像稳定的方法。所述方法可包括：通过特征点提取器，在由图像捕捉设备捕捉的第一输入图像中提取特征点；通过移动量检测器，响应于图像捕捉设备的运动检测图像捕捉设备的物理移动量；通过移动位置预测器，在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；通过对应位置检测器，确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；通过比较器，将预测的移动位置与对应特征点的位置进行比较；通过图像稳定器，基于比较的结果，校正由于图像捕捉设备的运动造成的第二输入图像中的图像失真。所述方法还可包括：如果预测的移动位置和对应特征点的位置之间的距离在预定的范围内，则确定对应特征点的位置是准确的；如果所述距离在预定的范围内，则可基于对应特征点的位置执行校正图像失真。但是，如果所述距离超出预定的范围，则对应特征点的位置不被用作用于校正图像失真的有效数据。附图说明这些和/或其它方面将通过以下结合附图的示例性实施例的描述变得清楚和更容易理解，在附图中：图1示出用于解释根据示例性实施例的图像捕捉设备的运动的发生的示图；图2示出根据示例性实施例的图像稳定设备的内部配置；图3示出根据示例性实施例的在图像稳定设备中通过使用图像传感器和运动传感器二者执行图像稳定的主要概念；图4示出在图像稳定设备中使用的运动传感器的示例；图5示出根据示例性实施例的在其中实施图像稳定设备的图像处理设备的内部配置；图6示出根据示例性实施例的用于在图像稳定设备中校正图像抖动的扫描线的特性；图7是示出根据示例性实施例的在图像捕捉设备中执行图像稳定的方法的流程图；图8是示出根据示例性实施例的作为图像捕捉设备的示例的数码相机的配置的框图。具体实施方式现在将对示例性实施例作详细参考，这些示例性实施例被示出在附图中，其中相同的标号始终表示相同的元件。在这点上，本实施例可具有不同的形式并且不应解释为限于这里阐明的描述。因此，以下仅通过参考附图描述示例性实施例，以解释专利技术构思的各种方面。如在这里使用的，术语“和/或”包括一个或更多个相关的所列项目的任意组合和所有组合。图1示出用于解释根据示例性实施例的图像捕捉设备的运动的发生的示图。参照图1，当图像捕捉设备运动或由于外部冲击等被移动时，可发生旋转或平移(R/T)运动S120。图1示出图像捕捉设备针对对象100在时间t1从初始位置S100有意地或无意地移动到在时间t2的位置S110的情况。当图像捕捉设备如图1所示移动时，在图像捕捉设备的移动发生之前的时间t1捕捉到的图像与在图像捕捉设备的移动发生之后的时间t2捕捉到的图像之间可能发生失真。作为示例，对象100的特征点P可在图像捕捉设备的移动发生之前的时间t1在相机的输入图像S101中的P1点S102被检测到。然而，对象100的特征点P可在图像捕捉设备的移动发生之后的时间t2在相机
的输入图像S111中的P2点S112被检测到。根据示例性实施例，图像稳定设备可通过使用传感器融合方案稳定图像。图像稳定设备可通过使用图像传感器和运动传感器二者去除由图像捕捉设备的各种运动(诸如摇晃或抖动)造成的失真来稳定图像。图像稳定设备可在图像捕捉设备(诸如机器人、车辆、军事装备、相机、移动电话、智能电话、膝上型计算机、平板电脑、手持设备，但不限制于此)中被实施。根据示例性实施例，图像捕捉设备可通过使用诸如互补金属氧化物半导体(CMOS)的图像传感器捕捉图像，图像传感器并不限制于此。以下将相机作为图像稳定设备的示例进行描述。图3示出在图像稳定设备中通过使用图像传感器和运动传感器二者执行图像稳定的主要概念。参照图3，相机在相机运动前捕捉的先前图像中检测特征点P1310。此外，当相机由于风吹、外部冲击或用户的手部晃动而移动时，相机通过使用运动传感器检测相机的物理移动量。在这里，物理移动可以指相机的有意地或无意地倾斜、平移、旋转、和/或任意其它移动。接下来，相机基于检测到的物理移动量预测在运动发生后捕捉的当前图像中的特征点P1310被预期移动或将会移动到的移动位置P2320。此后，相机在由相机在运动发生后捕捉的当前图像中检测与在先前图像中检测到的特征点P1310相对应的对应特征点P3330。当预测的移动位置P2320与对应特征点P3330的位置之间的距离在预定范围内时，相机确定对应特征点P3330的位置是准确的，并使用对应特征点P3330的位置作为校正失真的有效数据。然而，当预测的移动位置P2320与对应特征点P3330的位置之间的距离超过预定范围时，相机确定对应特征点P3330的位置是不准确的或对应特征点P3330是运动对象的特征点，并且不使用对应特征点P3330的数据。图2示出根据示例性实施例的图像稳定设备200的内部配置。参照图2，图像稳定设备200可包括特征点提取器210、移动量检本文档来自技高网...

【技术保护点】
一种图像稳定设备，包括：特征点提取器，被配置为在由图像捕捉设备捕捉的第一输入图像中提取特征点；移动量检测器，被配置为响应于图像捕捉设备的运动检测图像捕捉设备的移动量；移动位置预测器，被配置为在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；对应位置检测器，被配置为确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；比较器，被配置为将预测的移动位置与对应特征点的位置进行比较；图像稳定器，被配置为基于比较的结果校正由图像捕捉设备的运动造成的第二输入图像中的图像失真。

【技术特征摘要】
2015.03.23 KR 10-2015-00402061.一种图像稳定设备，包括：特征点提取器，被配置为在由图像捕捉设备捕捉的第一输入图像中提取特征点；移动量检测器，被配置为响应于图像捕捉设备的运动检测图像捕捉设备的移动量；移动位置预测器，被配置为在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；对应位置检测器，被配置为确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；比较器，被配置为将预测的移动位置与对应特征点的位置进行比较；图像稳定器，被配置为基于比较的结果校正由图像捕捉设备的运动造成的第二输入图像中的图像失真。2.如权利要求1所述的图像稳定设备，其中，第一输入图像在图像捕捉设备的运动前的一刻被捕捉，第二输入图像在图像捕捉设备的运动后的一刻被捕捉。3.如权利要求1所述的图像稳定设备，其中，比较器被配置为：如果预测的移动位置与对应特征点的位置之间的距离在预定的范围内，则确定对应特征点的位置是准确的。4.如权利要求1所述的图像稳定设备，其中，图像稳定器被配置为：如果预测的移动位置与对应特征点的位置之间的距离在预定的范围内，则基于对应特征点的位置校正图像失真。5.如权利要求1所述的图像稳定设备，其中，比较器被配置为：如果预测的移动位置与对应特征点的位置之间的距离超过预定的范围，则确定对应特征点是在第二输入图像中出现的运动对象的特征点。6.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：低通滤波器(LPF)和高通滤波器(HPF)，被配置为确定第二输入图像中的失真是由图像捕捉设备的用户造成的还是由施加到图像捕捉设备的外部冲击造成的。7.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：低通滤波器(LPF)，被配置为确定第二输入图像中的失真是否是由图像捕捉设备的用户造成的。8.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：高通滤波器(HPF)，被配置为确定第二输入图像中的失真是否是由施加到图像捕捉设备的外部冲击造成的。9.如权利要求1所述的图像稳定设备，其中，移动位置预测器被配置为通过使用检测的移动量来计算局部运动矢量，以预测移动位置。10.如权利要求9所述...

【专利技术属性】
技术研发人员：柳然杰，朴相志，李活石，
申请(专利权)人：韩华泰科株式会社，
类型：发明
国别省市：韩国;KR