一种视频防抖方法技术

本申请实施例提供了一种视频防抖方法

【技术实现步骤摘要】
一种视频防抖方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种视频防抖方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]视频抖动是由于设备在录像时存在运动导致，当设备运动较为剧烈时相邻视频帧之间抖动较为剧烈
。
示例性的，用户在奔跑的过程中手持云台进行拍摄，所拍摄出的视频会产生较为强烈的抖动
。
[0003]相关技术中的视频防抖方法，仅能针对旋转运动所产生的抖动进行补偿，故视频防抖的准确性较低
。
[0004]目前，亟需一种视频防抖方法，以提供更好的视频防抖的准确性
。

技术实现思路

[0005]本申请实施例的目的在于提供一种视频防抖方法
、
装置
、
电子设备及存储介质，以提供更好的视频防抖效果
。
具体技术方案如下：
[0006]第一方面，本申请实施例提供了一种视频防抖方法，所述方法包括：
[0007]确定目标视频帧对应的目标姿态角变化量；其中，所述目标姿态角变化量为采集设备在采集所述目标视频帧时，相对于采集前一视频帧的姿态角变化量；
[0008]基于所述目标姿态角变化量，生成旋转矩阵和平移矩阵；其中，所述旋转矩阵和平移矩阵分别用于表征所述采集设备在采集所述目标视频帧时，相对于采集前一视频帧时发生的旋转变化以及平移变化；
[0009]基于所述旋转矩阵和所述平移矩阵，生成所述目标视频帧对应的运动矩阵；其中，任一视频帧对应的运动矩阵为将该视频帧转换为相对应的前一视频帧所采用的矩阵；
[0010]基于所述目标视频帧对应的运动矩阵以及所述目标视频帧之前的视频帧对应的运动矩阵，生成所述目标视频帧的相机路径，作为第一相机路径；
[0011]基于所述第一相机路径，计算所述目标视频帧的第一补偿值，并按照计算得到的第一补偿值，对所述目标视频帧进行补偿处理
。
[0012]第二方面，本申请实施例提供了一种视频防抖装置，所述装置包括：
[0013]第一确定模块，用于确定目标视频帧对应的目标姿态角变化量；其中，所述目标姿态角变化量为采集设备在采集所述目标视频帧时，相对于采集前一视频帧的姿态角变化量；
[0014]第一生成模块，用于基于所述目标姿态角变化量，生成旋转矩阵和平移矩阵；其中，所述旋转矩阵和平移矩阵分别用于表征所述采集设备在采集所述目标视频帧时，相对于采集前一视频帧时发生的旋转变化以及平移变化；
[0015]第二生成模块，用于基于所述旋转矩阵和所述平移矩阵，生成所述目标视频帧对应的运动矩阵；其中，任一视频帧对应的运动矩阵为将该视频帧转换为相对应的前一视频
帧所采用的矩阵；
[0016]第三生成模块，用于基于所述目标视频帧对应的运动矩阵以及所述目标视频帧之前的视频帧对应的运动矩阵，生成所述目标视频帧的相机路径，作为第一相机路径；
[0017]第一计算模块，用于基于所述第一相机路径，计算所述目标视频帧的第一补偿值，并按照计算得到的第一补偿值，对所述目标视频帧进行补偿处理
。
[0018]第三方面，本申请实施例提供了一种电子设备，包括：
[0019]存储器，用于存放计算机程序；
[0020]处理器，用于执行存储器上所存放的程序时，实现上述任一视频防抖方法
。
[0021]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频防抖方法
。
[0022]本申请实施例有益效果：
[0023]本申请实施例提供的视频防抖方法，可以确定目标视频帧对应的目标姿态角变化量，基于目标姿态角变化量，生成旋转矩阵和平移矩阵，基于旋转矩阵和平移矩阵，生成目标视频帧对应的运动矩阵，基于目标视频帧对应的运动矩阵以及目标视频帧之前的视频帧对应的运动矩阵，生成目标视频帧的相机路径，作为第一相机路径，基于第一相机路径，计算目标视频帧的第一补偿值，并按照计算得到的第一补偿值，对目标视频帧进行补偿处理
。
可见，本申请实施例所生成目标视频帧对应的运动矩阵，是由旋转矩阵
、
平移矩阵构成的，由于旋转矩阵是基于目标姿态角变化量确定出的
、
表征旋转变化的矩阵，而平移矩阵是基于目标姿态角变化量确定出的
、
表征平移变化的矩阵，这样，使得本申请实施例考虑到旋转运动所带来的抖动，还考虑到平移运动所带来的抖动，那么，基于目标视频帧对应的运动矩阵以及目标视频帧之前的视频帧对应的运动矩阵，所生成的第一相机路径更准确，从而所计算得到的第一补偿值更准确，进而可以提升视频防抖的准确性
。
[0024]当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点
。
附图说明
[0025]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例
。
[0026]图1为本申请实施例提供的一种视频防抖方法的流程示意图；
[0027]图2为本申请实施例提供的另一种视频防抖方法的流程示意图；
[0028]图3为本申请实施例提供的一种确定视频帧对应的目标姿态角变化量的原理示意图；
[0029]图4为本申请实施例提供的一种特征点匹配方式的原理示意图；
[0030]图
5(a)
为本申请实施例提供的一种裁剪视频帧的效果示意图；
[0031]图
5(b)
为本申请实施例提供的另一种裁剪视频帧的效果示意图；
[0032]图6为本申请实施例提供的另一种视频防抖方法的流程示意图；
[0033]图7为本申请实施例提供的一种视频防抖装置的结构示意图；
[0034]图8为本申请实施例提供的一种电子设备的结构示意图
。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围
。
[0036]下面，首先对本申请实施例中所涉及的专业术语进行介绍：
[0037]惯性测量单元
(IMU
，
Inertial Measurement Unit)
：用于测量采集设备加速度矢量的加速度计和角速度矢量的陀螺仪数据
。
[0038]变形矩阵
(Warp Matr本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频防抖方法，其特征在于，所述方法包括：确定目标视频帧对应的目标姿态角变化量；其中，所述目标姿态角变化量为采集设备在采集所述目标视频帧时，相对于采集前一视频帧的姿态角变化量；基于所述目标姿态角变化量，生成旋转矩阵和平移矩阵；其中，所述旋转矩阵和平移矩阵分别用于表征所述采集设备在采集所述目标视频帧时，相对于采集前一视频帧时发生的旋转变化以及平移变化；基于所述旋转矩阵和所述平移矩阵，生成所述目标视频帧对应的运动矩阵；其中，任一视频帧对应的运动矩阵为将该视频帧转换为相对应的前一视频帧所采用的矩阵；基于所述目标视频帧对应的运动矩阵以及所述目标视频帧之前的视频帧对应的运动矩阵，生成所述目标视频帧的相机路径，作为第一相机路径；基于所述第一相机路径，计算所述目标视频帧的第一补偿值，并按照计算得到的第一补偿值，对所述目标视频帧进行补偿处理
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述第一相机路径，计算所述目标视频帧的第一补偿值，包括：对所述第一相机路径进行平滑处理，得到平滑后的第一相机路径；基于所述第一相机路径以及所述平滑后的第一相机路径，计算所述目标视频帧的第一补偿值；对所述第一相机路径的逆矩阵与所述平滑后的第一相机路径进行相乘，得到所述目标视频帧的第一补偿值
。3.
根据权利要求1或2所述的方法，其特征在于，还包括：获取所述目标视频帧对应的变换矩阵；其中，任一视频帧对应的变换矩阵为基于特征点匹配方式所生成的
、
用于将该视频帧转换为相对应的前一视频帧所采用的矩阵；对所述目标视频帧对应的变换矩阵进行修正处理，得到所述目标视频帧对应的修正后的变换矩阵；基于所述目标视频帧对应的修正后的变换矩阵以及所述目标视频帧之前的视频帧对应的修正后的变换矩阵，生成所述目标视频帧的相机路径，作为第二相机路径；基于所述第二相机路径，计算所述目标视频帧的第二补偿值，并按照计算得到的第二补偿值，对初始补偿后的目标视频帧进行补偿处理；其中，初始补偿后的目标视频帧为按照计算得到的第一补偿值，对所述目标视频帧进行补偿处理后得到的视频帧
。4.
根据权利要求3所述的方法，其特征在于，所述对所述目标视频帧对应的变换矩阵进行修正处理，得到所述目标视频帧对应的修正后的变换矩阵，包括：若所述目标视频帧对应的变化矩阵满足预定的矩阵异常条件，将所述目标视频帧对应的变换矩阵更新为单位矩阵，得到所述目标视频帧对应的修正后的变化矩阵；若所述目标视频帧对应的变化矩阵不满足预定的矩阵异常条件，确定所述目标视频帧对应的变换矩阵为所述目标视频帧对应的修正后的变换矩阵
。5.
根据权利要求3所述的方法，其特征在于，所述基于所述第二相机路径，计算所述目标视频帧的第二补偿值之前，还包括：对所述第二相机路径进行平滑处理，得到平滑后的第二相机路径；
所述基于所述第二相机路径，计算所述目标视频帧的第二补偿值，包括：基于所述第二相机路径以及所述平滑后的第二相机路径，计算所述目标视频帧的第二补偿值
。6.
根据权利要求1或2所述的方法，其特征在于，所述基于所述旋转矩阵和所述平移矩阵，生成所述目标视频帧对应的运动矩阵，包括：基于所述旋转矩阵
、
所述平移矩阵
、
目标镜头的内参矩阵及所述内参矩阵的逆矩阵，生成所述目标视频帧对应的运动矩阵；其中，所述目标镜头为采集设备的镜头
。7.
根据权利要求1或2所述的方法，其特征在于，生成平移矩阵的方式包括：基于所述目标姿态角变化量中的关于偏航角的变化量，确定第一位移；其中，所述第一位移为所述采集设备在采集所述目标视频帧时，相对于采集前一视频帧时，在图像坐标系的
X
轴方向的位移；基于所述目标姿态角变化量中的关于俯仰角的变化量，确定第二位移；其中，所述第二位移为所述采集设备在采集所述目标视频帧时，相对于采集前一视频帧时，在图像坐标系的
Y
轴方向的位移；将所述第一位移和第二位移，代入预定的平移矩阵表达式，得到平移矩阵
。8.
根据权利要求7所述的方法，其特征在于，所述基于所述目标姿态角变化量中的关于偏航角的变化量，确定第一位移，包括：基于所述目标姿态角变化量中的关于偏航角的变化量
、
所述采集设备的焦距以及在图像坐标系的
X
轴方向上一个像素的单位尺寸，确定第一位移；所述基于所述目标姿态角变化量中的关于俯仰角的变化量，确定第二位移，包括：基于所述目标姿态角变化量中的关于俯仰角的变化量
、
所述采集设备的焦距以及在图像坐标系的
Y
轴方向上一个像素的单位尺寸，确定第二位移
。9.
根据权利要求2所述的方法，其特征在于，所述对所述第一相机路径进行平滑处理，得到平滑后的第一相机路径，包括：若所述目标视频帧在视频中的排序位置不大于预定的平滑半径，将所述第一相机路径，确定为平滑后的第一相机路径；若所述目标视频帧在视频中的排序位置大于预定的平滑半径，基于各个参考视频帧的第一指定路径，对该目标视频帧进行平滑处理，得到平滑后的第一相机路径；其中，各个参考视频帧为以所述目标视频帧作为平滑中心时所述预设的平滑半径内存在的视频帧，每一参考视频帧的第一指定路径为基于该参考视频帧对应的运动矩阵以及该参考视频帧之前的视频帧对应的运动矩阵，所生成的相机路径
。10.
根据权利要求9所述的方法，其特征在于，所述基于各个参考视频帧的第一指定路径，对该目标视频帧进行平滑处理，得到平滑后的第一相机路径，包括：确定每一参考视频帧对应的第一权重和第二权重；其中，每一参考视频帧对应的第一权重为基于与目标视频帧的帧间距所设定的权重；每一参考视频帧对应的第二权重为基于目标视频帧相对于该参考视频帧的第三位移和第四位移所设定的权重，所述目标视频帧相对于该参考视频帧的第三位移为：所述采集设备在采集所述目标视频帧时，相对于采集该参考视频帧时，在图像坐标系的
X
轴方向的位移，所述目标视频帧相对于该参考视频帧的第四位移为：所述采集设备在采集所述目标视频帧时，相对于采集该参考视频帧时，在图像坐
标系的
Y
轴方向的位移；针对每一参考视频帧，基于该参考视频帧对应的第一权重和第二权重，确定该参考视频帧对应的平滑权重；按照每一参考视频帧对应的平滑权重，对每一参考视频帧对应的第一指定路径进行加权求和，得到平滑后的第一相机路径
。11.
一种视频防抖装置，其特征在于，所述装置包括：第一确定模块，用于确定目标视频帧对应的目标姿态角变化量；其中，所述目标姿态角变化量为采集设备在采集所述目标视频帧时，相对于采...

【专利技术属性】
技术研发人员：方吉庆，郑海涛，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：