手抖动补正装置、手抖动补正方法制造方法及图纸

在从基准帧到之后任意帧数的帧为止的范围内，进行动态图像数据的手抖动补正的手抖动补正装置中，具备：将输入帧和在时间上相对输入帧为前一帧之间的几何变换系数、即用于将输入帧上的坐标变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出来的第１模块；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第２模块；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第３模块；以及，使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第４模块。

【技术实现步骤摘要】

本专利技术，涉及手抖动补正装置、手抖动补正方法及记录手抖动补正程序的记录媒体。
技术介绍
一直以来，众所周知有对由摄像机等摄像装置摄得的图像，进行手抖动补正的手抖动补正装置。图1为，手抖动补正装置的块图。手抖动补正装置具有帧输入部50、几何变换系数计算部51、手抖动补正部52及帧输出部53。几何变换系数计算部51，例如、利用比对(matching)多个帧等的图像处理，计算几何变换系数。手抖动补正部52，使用由几何变换系数计算部51计算出的几何变换系数，对在临时存储器中记录的输入帧进行几何变换。几何变换系数，相当于如下面公式(1)所示3×3的矩阵中所表示的、两帧之间的世界坐标变换的系数。x′y′1=m11m12m13m21m22m23001xy1···(1)]]>图2表示的是，在使用图像处理计算出几何变换系数、并通过对输入帧进行几何变换进行手抖动补正处理时的补正处理流程。设开始帧(基准帧)为FS，设当前的输入帧为F2，设当前输入帧F2的前一个输入帧为F1，设帧F1、F2之间的几何变换系数(用于将帧F2上的坐标变换成帧F1上的坐标的几何变换系数)为M12，设帧FS、F1之间的几何变换系数为MS1，设帧FS、F2之间的累积几何变换系数(用于将帧F2上的坐标变换为帧FS上的坐标的累积几何变换系数)为MS2。对从开始帧到结束帧之间的各个帧进行如下处理。即，将输出帧用存储器清空后(步骤100)，将帧读入到工作存储器，将读入的帧(输入帧)设为F2(步骤101)。接着，判断输入帧F2是否为开始帧FS(步骤102)。当判断为输入帧F2为开始帧FS时，将如公式(2)所示的表示无变换的系数(初始值)，设置到开始帧FS和输入帧F2之间的累积几何变换系数为MS2(步骤103)。M=100010001···(2)]]>然后，在将输入帧F2设置到前一个输入帧F1的同时，将MS2设置到开始帧FS和前一个输入帧F1之间的几何变换系数MS1(步骤104)。另外，将输入帧F2的数据原样绘入(rendering)到输出帧用存储器(步骤105)。之后，返回到步骤100，在清空输出帧用存储器的同时，读入下一帧。在上述步骤102中，当判断为输入帧F2不是开始帧FS时，计算出前帧F1和当前帧F2之间的几何变换系数M12(步骤106)。接下来，如式(3)所示，根据MS1和M12计算出开始帧FS和当前帧F2之间的累积变换系数MS2(步骤107)。MS2＝M12MS1…(3)然后，在将输入帧F2设置到前一个输入帧F1的同时，将MS2设置到开始帧FS和前一个输入帧F1之间的几何变换系数MS1(步骤108)。另外，通过累积几何变换系数MS2对输入帧F2进行几何变换后，将几何变换后的帧绘入输出帧用存储器(步骤109)。之后，返回到步骤100，将输出帧用存储器清空后，读入下一帧。如下所示，为两帧之间的几何变换系数的代表性的计算方法(参考特开平11-339021号公报)。首先，从一方的帧上提取边缘部等特征点。然后，在帧之间进行特征点的追踪(比对)，求得对应一方的帧上的特征点的另一方的帧上的对应点。由于根据一组对应点(x1，y1)·(x1′，y1′)可以如式(4)得到两个方程式，因此在通过检测出3组以上的对应点导出6个或6个以上的方程式。根据这些方程式，利用线型解法可计算出未知数的几何变换系数。x′＝m11x+m12y+m13y′＝m21x+m22y+m23…(4)在现有的几何变换系数的计算方法中，由于是通过累积从开始帧FS到输入帧F2间各个相邻帧之间的几何变换系数、计算出开始帧FS和输入帧F2间的累积几何变换系数，因此有随着输入帧数增加，相邻帧之间的几何变换系数计算误差也被积蓄起来这个问题。也就是说其问题在于，当用中途帧计算几何变换系数发生较大错误时，会以用该错误的变换系数进行补正的帧作为基准，对以后的帧进行补正。另外，在现有的手抖动补正方法中，有在输出帧用存储器中会产生未被绘入的区域的问题。即当在手抖动状态下摄下的多个帧为如图3所示帧时，将这些帧进行几何变换后的数据绘入输出帧用存储器后的图像，如图4所示。在如图4所示的各帧中，斜线部分为未绘入区域。
技术实现思路
本专利技术目的是，能够较高精度地求得基准帧和输入帧之间的几何变换系数，其结果是，提供能够进行高精度手抖动补正的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。此外，本专利技术目的是，提供一种能够避免在容纳手抖动补正后的图像的输出帧用存储器的区域中，产生未绘入区域的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。另外，本专利技术目的是，提供一种能够避免在容纳手抖动补正后的图像的输出帧用存储器的区域中，产生未绘入区域，并能保持画角不变、减少画质的劣化的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。根据本专利技术的第1手抖动补正装置，在从基准帧到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于，具备将输入帧和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标变换为在时间上相对输入帧为前一个帧上坐标的几何变换系数、作为相邻帧间的几何变换系数计算的第1模块；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2模块；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3模块；以及，使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4模块。作为第3模块，例如具备从输入帧求取多个特征点的模块；对每个特征点求取基准帧上的对应点的模块；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块。对每个特征点求取基准帧上的对应点的模块，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标坐标变换为基准帧上的坐标，将得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上的特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。作为第3模块，例如具备从基准帧求取多个特征点的模块；对每个特征点求取输入帧上的对应点的模块；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块。对每个特征点求取输入帧上的对应点的模块，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪与基准帧上特征点对应的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上的对应点。根据本专利技术的第1手抖动补正方法，在从基准帧开始到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于具有将输入帧、和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标、变换为在时间上相对输入帧为本文档来自技高网...

【技术保护点】
一种手抖动补正装置，在从基准帧到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于，具备：将输入帧和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标变换为在时间上相对于输入帧为前一个帧上坐标 的几何变换系数，作为相邻帧间的几何变换系数计算出的第１模块；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第２模块；利用输入帧和基准帧之间的间接的几何变换系数，计算出 输入帧和基准帧之间的直接的几何变换系数的第３模块；以及，使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第４模块。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：畑中晴雄，千叶直树，
申请(专利权)人：三洋电机株式会社，
类型：发明
国别省市：JP[日本]