The invention discloses a method for stabilizing an image sequence captured by an image capturing device, which can be operated in an image capturing device. The method includes performing optical image stabilization (OIS) during each image acquisition of the image sequence to provide a sequence of OIS-corrected images using a lens-based sensor indicating movement of the image capture device during image acquisition. The motion of the device is determined for each frame capturing each OIS-corrected image using an inertial measurement sensor. At least the estimated value of OIS control performed during image acquisition is obtained. The estimated value is removed from the intra-frame motion determined for the frame capturing the OIS-corrected image to provide residual measurement results of the frame motion. Electronic image stabilization (EIS) is performed for each OIS-corrected image based on the residual measurement results to provide a stable image sequence.
【技术实现步骤摘要】
【国外来华专利技术】稳定图像序列的方法
本专利技术涉及稳定图像序列的方法。
技术介绍
光学图像稳定(OIS)是用于静物照相机或摄像机中的机制，其通过在图像采集期间改变通向传感器的光学路径来稳定单独图像的记录。该技术可在透镜内实现或通过移动作为光学路径中的最终元件的传感器来实现。所有光学图像稳定系统的关键要素是在传感器将经校正的图像转换为数字信息之前这些系统能使投影在传感器上的图像稳定。参见图1，例如，尼康(Nikon)和佳能(Canon)的OIS具体实施通过使用浮动透镜元件来工作，该浮动透镜元件使用电磁体沿与透镜的光轴正交的方向移动透镜移位距离。使用两个压电角速度传感器(通常称为陀螺传感器)来检测振动，这两个压电角速度传感器未示出，一个用于检测水平运动，另一个用于检测垂直运动。当相机如图1所示的那样旋转时，OIS通过以下方式补偿由相机旋转引起的对象运动：使透镜镜筒移位以便保持传感器上的对象位置。这种类型的补偿具有其局限性：光学图像稳定器仅校正俯仰和/或偏航轴旋转，而不会校正沿着光轴的旋转，因此不会补偿由相机旋转引起的透视投影变化，或可因所应用的校正而造成透视失真；另外，OIS所提供的...
【技术保护点】
1.一种可在图像捕获设备内操作的用于稳定由所述图像捕获设备捕获的图像序列的方法，包括：使用指示图像采集期间的图像捕获设备运动的基于透镜的传感器，在所述图像序列的每个图像的采集期间执行光学图像稳定(OIS)以提供经OIS校正的图像的序列；使用惯性测量传感器，针对捕获每个经OIS校正的图像的每个帧确定所述设备的运动；至少获得在图像的采集期间执行的OIS控制的估计值；从针对捕获所述经OIS校正的图像的所述帧所确定的帧内运动中去除所述估计值，以提供所述帧的运动的残差测量结果；以及基于所述残差测量结果来执行每个经OIS校正的图像的电子图像稳定(EIS)，以提供已稳定的图像序列。
【技术特征摘要】
【国外来华专利技术】2016.02.19 US 15/048,149;2016.07.07 US 62/359,582;1.一种可在图像捕获设备内操作的用于稳定由所述图像捕获设备捕获的图像序列的方法，包括：使用指示图像采集期间的图像捕获设备运动的基于透镜的传感器，在所述图像序列的每个图像的采集期间执行光学图像稳定(OIS)以提供经OIS校正的图像的序列；使用惯性测量传感器，针对捕获每个经OIS校正的图像的每个帧确定所述设备的运动；至少获得在图像的采集期间执行的OIS控制的估计值；从针对捕获所述经OIS校正的图像的所述帧所确定的帧内运动中去除所述估计值，以提供所述帧的运动的残差测量结果；以及基于所述残差测量结果来执行每个经OIS校正的图像的电子图像稳定(EIS)，以提供已稳定的图像序列。2.根据权利要求1所述的方法，其中所述获得包括具有OIS控制器的透镜，所述OIS控制器向所述图像捕获设备的中央处理器提供在每个经OIS校正的图像的捕获期间所应用的OIS控制的记录。3.根据权利要求2所述的方法，其中所述去除包括根据所述相机内参矩阵来变换所述帧内运动，并且将OIS控制的所述记录的倒数乘以所述经变换的帧内运动以提供所述残差测量结果。4.根据权利要求2所述的方法，其中OIS控制的所述记录与使用惯性测量传感器确定的所述帧内运动具有时间相关性。5.根据权利要求1所述的方法，其中所述获得包括：比较由图像传感器提供的一对连续采集的经OIS校正的图像以提供所述经OIS校正的图像之间的帧内运动的估计值，并且从所述所估计的帧内运动中减去所述使用惯性测量传感器确定的所述设备的帧内运动以提供在图像的采集期间执行的OIS控制的所述估计值。6.根据权利要求5所述的方法，所述方法包括：在所述去除之前，从帧内运动的所述估计值中减去帧内透镜旋转的测量结果，并且在所述去除之后，将帧内透镜旋转的所述测量结果添加到所述帧的运动的所述残差测量结果。7.一种图像捕获设备，所述图像捕获设备包括：透镜，所述透镜具有传感器，所述传感器发出关于图像采集期间的图像捕获设备运动的信号；OIS控制器，所述OIS控制器被布置为在图像序列中的图像的捕获期间基于所述透镜传感器的信号来执行OIS控制；图像传感器，所述图像传感器被布置为向中央处理器提供经OIS校正的图像；和惯性测量传感器，所述惯性测量传感器被布置为针对每个经OIS校正的图像被捕获到所述中央处理器的每个帧指示所述图像捕获设备的运动，所述中央处理器被布置为：至少获得在图像采集期间执行的OIS控制的估计值；从针对捕获所述经OIS校正的图像的所述帧所确定的所述帧内运动...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。