基于陀螺仪数据的图像防抖处理方法、计算机装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种基于陀螺仪数据的图像防抖处理方法、计算机装置及计算机可读存储介质，该方法包括获取陀螺仪数据以及图像数据，计算当前帧图像相对于基准图像的帧间旋转矩阵；对帧间旋转矩阵进行滤波，生成新旋转矩阵；获取当前帧图像的像素点初始坐标值，应用新旋转矩阵计算对应像素点的输出坐标值；其中，计算当前帧图像相对于基准图像的帧间旋转矩阵包括：计算当前帧图像与基准图像之间每相邻两帧图像之间的相邻帧间旋转矩阵，将多个相邻帧间旋转矩阵相乘生成帧间旋转矩阵。本发明专利技术还提供实现上述方法的计算机装置及计算机可读存储介质。本发明专利技术的计算量少，对芯片的要求较低，满足低成本的录像设备使用的要求。

【技术实现步骤摘要】
基于陀螺仪数据的图像防抖处理方法、计算机装置及计算机可读存储介质
本专利技术涉及图像数据的处理领域，具体地，是基于陀螺仪数据的图像防抖处理方法以及实现这种方法的计算机装置、计算机可读存储介质。
技术介绍
随着智能手机、平板电脑或者手持式DV机的普及，人们越来越多的使用这些手持录像设备进行视频的拍摄，通常，手持录像设备设置有一个显示屏，当人们录制视频时，能够在显示屏上实时显示所拍摄的视频画面。由于使用者在握持手持录像设备时，难免出现手部抖动或者在移动过程中拍摄视频，这样将导致手持录像设备振动，因此，一旦手持录像设备在视频拍摄过程中出现振动的情况，在显示屏上输出的视频画面会随着手持录像设备自身的振动而抖动，严重影响观看感受，因此对手持录像设备拍摄的视频图像进行防抖处理显得尤为重要。目前普遍使用的防抖处理技术主要有两类，一类是基于陀螺仪数据计算后调整镜头位移的光学防抖技术，这种技术需要用到高端的镜头模组，例如需要使用高规格可移动镜片的镜头模组，使用成本较高，不适用于低成本的手持录像设备；第二类是基于图像特征点提取和运动估计的数字防抖方案，这种方案需要提取大量的数据，且相关的图像处理运算复杂繁琐，导致手持录像设备的CPU计算量非常大，难以满足高分辨率高帧率的视频防抖需求，并且，这种方案还存在特征点匹配失败的风险，对画面中的大面积移动物体容易出现误判，导致防抖处理的稳定性不高，最终影响视频防抖处理的效果。而现有的一些防抖处理方案是获取陀螺仪的数据，根据陀螺仪的数据计算每一帧图像对应的旋转角度，再使用该旋转角度对每一帧图像进行防抖校正计算。但这种方法往往是对每一帧图像的旋转角度进行累加来计算当前帧图像对应的旋转角度，这样就涉及大量的三角函数的运算，如果使用软件实现这些计算，将导致CPU的运算量过大而影响图像处理速度，如果使用硬件实现这些计算，将导致芯片的设计面积增大，且运算效率也不如矩阵计算高。
技术实现思路
本专利技术的主要目的是提供一种CPU运算量小且防抖处理效果好的基于陀螺仪数据的图像防抖处理方法。本专利技术的另一目的是提供一种实现上述基于陀螺仪数据的图像防抖处理方法的计算机装置。本专利技术的再一目的是提供一种实现上述基于陀螺仪数据的图像防抖处理方法的计算机可读存储介质。为实现本专利技术的主要目的，本专利技术提供的基于陀螺仪数据的图像防抖处理方法包括获取陀螺仪数据以及图像数据，计算当前帧图像相对于基准图像的帧间旋转矩阵；对帧间旋转矩阵进行滤波，生成新旋转矩阵；获取当前帧图像的像素点初始坐标值，应用新旋转矩阵计算对应像素点的输出坐标值；其中，计算当前帧图像相对于基准图像的帧间旋转矩阵包括：计算当前帧图像与基准图像之间每相邻两帧图像之间的相邻帧间旋转矩阵，将多个相邻帧间旋转矩阵相乘生成帧间旋转矩阵。由上述方案可见，获取陀螺仪数据以后，将陀螺仪的旋转角度转换成旋转矩阵后，当计算某一帧图像与基准图像之间的帧间旋转矩阵时，是使用多个相邻帧间旋转矩阵累乘的方式计算，而不是直接使用旋转角累加的方式计算，这样可以避免计算大量的三角函数，从而减少CPU的计算开销。此外，生成帧间旋转矩阵后，还对帧间旋转矩阵进行滤波，也就是实现帧间平滑滤波，使得输出的图像的防抖效果更好。一个优选的方案是，基准图像为包含连续多帧图像的视频图像的首帧图像。由此可见，以首帧图像作为基准图像，可以确保后续计算的每一帧图像都是以首帧图像为基准，可以确保输出的视频信号的稳定性以及连续性。一个可选的方案是，计算当前帧图像相对于基准图像的帧间旋转矩阵前，判断所获取的陀螺仪数据或者图像数据是否满足预设条件，如是，则使用当前帧图像前预设帧图像作为基准图像。可见，在手持录像设备短时间内出现大角度旋转或者剧烈振动的情况下，如果仍使用首帧图像作为基准图像，则可能出现失真的情况，因此这种情况下对基准图像进行更新，例如以上一帧图像作为基准图像，从而确保输出视频的真实性。进一步的方案是，预设条件至少包括以下的任一项：视频数据的累计图像帧数大于预设帧数阈值；或者陀螺仪数据中一个旋转角度方向的变动频率低于预设频率阈值；或者陀螺仪数据中一个加速度方向预设时间内位移超过预设位移阈值。由此可见，当出现上述三种情况任意一种时，表明手持录像设备可能已经出现大角度转动或者振动，因此需要更新基准图像。更进一步的方案是，对帧间旋转矩阵进行滤波后，还执行：判断录像装置是否为预设类型的录像装置，如是，计算当前帧图像非首行像素与首行像素之间的旋转角度，并生成帧内旋转矩阵；应用新旋转矩阵计算对应像素点的输出坐标值包括：应用新旋转矩阵以及帧内旋转矩阵计算对应像素点的输出坐标值。可见，对于使用卷帘快门的录像设备而言，由于同一帧图像的不同行数据之间必定存在曝光时间的差异，因此，需要对不同行数据之间进行旋转角度的校正，也就是生成一个帧内旋转角度，并且使用帧内旋转角度对向上的输出坐标值进行计算，从而提高防抖处理的效果。更进一步的方案是，获取当前帧图像的像素点初始坐标值，应用新旋转矩阵计算对应像素点的输出坐标值包括：对当前帧图像的原始图像进行裁剪，获取裁剪后的当前帧图像的像素点初始坐标值并计算该像素点对应的输出坐标值。由于经过防抖处理后的图像的像素点的坐标值可能超出原始图像的边界，因此需要对原始图像进行裁剪，这样可以有效避免输出后的像素点的坐标值超出原始图像边界的情况发生。更进一步的方案是，计算对应像素点的输出坐标值后，还判断输出坐标值是否超出当前帧图像的原始图像的边界，如是，对新旋转矩阵进行滤波，并使用滤波后的新旋转矩阵重新计算像素点的输出坐标值。由此可见，如果输出的像素点的坐标值超过原始图像的边界，则对新旋转矩阵进行再次滤波，并且重新计算像素点的输出坐标值，可以减小像素点的输出坐标值超出原始图像边界的情况发生。更进一步的方案是，对新旋转矩阵经过预设次数的滤波后，如计算的像素点的输出坐标值仍超出原始图像的边界，则以原始图像作为当前帧图像的输出图像。多次对新旋转矩阵进行滤波后，像素点的输出坐标值仍超出原始图像的边界，如果继续进行滤波处理，不但增加CPU的计算量，而且还会影响图像防抖处理的效率，并影响视频画面输出的速度，因此在多次滤波后仍出现像素点的输出坐标值超出原始图像边界的情况，可以直接输出原始的图像，这样可以避免输出的视频出现卡顿的现象。为实现上是的另一目的，本专利技术提供的计算机装置包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述基于陀螺仪数据的图像防抖处理方法的各个步骤。为实现上是的再一目的，本专利技术提供计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于陀螺仪数据的图像防抖处理方法的各个步骤。附图说明图1是应用本专利技术基于陀螺仪数据的图像防抖处理方法实施例的流程图。以下结合附图及实施例对本专利技术作进一步说明。具体实施方式本专利技术的基于陀螺仪数据的图像防抖处理方法应用在录像设备上，例如，可以是智能手机、平板电脑、手持DV等手持录像设备上，还可以应用在行车记录仪等设备上，甚至可以应用在无人机、扫地机器人的录像设备上，这些录像设备在使用过程中可能出现短时间内大幅度移动或者振动的情况。进一步的，该录像设备设置有处理器以及存储器，存储器上存储有计算机程序，处理器通过执行该计算机程序实现基于本文档来自技高网...

【技术保护点】
1.基于陀螺仪数据的图像防抖处理方法，其特征在于，包括：获取陀螺仪数据以及图像数据，计算当前帧图像相对于基准图像的帧间旋转矩阵；对所述帧间旋转矩阵进行滤波，生成新旋转矩阵；获取所述当前帧图像的像素点初始坐标值，应用所述新旋转矩阵计算对应像素点的输出坐标值；其中，计算当前帧图像相对于基准图像的帧间旋转矩阵包括：计算所述当前帧图像与所述基准图像之间每相邻两帧图像之间的相邻帧间旋转矩阵，将多个所述相邻帧间旋转矩阵相乘生成所述帧间旋转矩阵。

【技术特征摘要】
1.基于陀螺仪数据的图像防抖处理方法，其特征在于，包括：获取陀螺仪数据以及图像数据，计算当前帧图像相对于基准图像的帧间旋转矩阵；对所述帧间旋转矩阵进行滤波，生成新旋转矩阵；获取所述当前帧图像的像素点初始坐标值，应用所述新旋转矩阵计算对应像素点的输出坐标值；其中，计算当前帧图像相对于基准图像的帧间旋转矩阵包括：计算所述当前帧图像与所述基准图像之间每相邻两帧图像之间的相邻帧间旋转矩阵，将多个所述相邻帧间旋转矩阵相乘生成所述帧间旋转矩阵。2.根据权利要求1所述的基于陀螺仪数据的图像防抖处理方法，其特征在于：所述基准图像为包含连续多帧图像的视频图像的首帧图像。3.根据权利要求1述的基于陀螺仪数据的图像防抖处理方法，其特征在于：计算当前帧图像相对于基准图像的帧间旋转矩阵前，判断所获取的陀螺仪数据或者图像数据是否满足预设条件，如是，则使用当前帧图像前预设帧图像作为所述基准图像。4.根据权利要求3所述的基于陀螺仪数据的图像防抖处理方法，其特征在于：所述预设条件至少包括以下的任一项：视频数据的累计图像帧数大于预设帧数阈值；或者所述陀螺仪数据中一个旋转角度方向的变动频率低于预设频率阈值；或者所述陀螺仪数据中一个加速度方向预设时间内位移超过预设位移阈值。5.根据权利要求1至4任一项述的基于陀螺仪数据的图像防抖处理方法，其特征在于：对所述帧间旋转矩阵进行滤波后，还执行：判断录像装置是否为预设类型的录像装置，如是，计算当前帧图像非首行像...

【专利技术属性】
技术研发人员：伍冠健，彭刚，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：广东,44