视频防抖方法以及装置制造方法及图纸

本申请提供一种视频防抖方法以及装置，视频防抖方法包括：于当前视频帧设置多个运动向量采样点；分别估算多个运动向量采样点的局部运动向量；获得当前视频帧的初始全局运动向量；根据历史运动向量队列，获得视频采集装置的持方于当前视频帧的持方运动向量的统计均值；基于当前视频帧的持方运动向量的统计均值，对当前视频帧的初始全局运动向量进行校正；基于当前视频帧的校正全局运动向量，对当前视频帧进行运动补偿。本申请实现轻量化、低功耗、容易并行处理的视频防抖的同时，提高防抖效果。抖效果。抖效果。

【技术实现步骤摘要】
视频防抖方法以及装置


[0001]本申请涉及视频
，尤其涉及一种视频防抖方法以及装置。

技术介绍

[0002]目前，常用的视频防抖方法主要有三类：机械防抖、光学防抖和电子防抖。机械防抖通过精密的机械结构和驱动单元进行防抖，擅长处理较大幅度的抖动，但是在处理高频小幅度的振动时效果较弱。光学防抖通过镜头组内部的陀螺仪检测手持设备拍摄时的轻微抖动，计算补偿移动量，驱动镜头组或者感光元件偏移，达到防抖的效果。电子防抖则是通过特征点或者灰度匹配等方法估计视频中的运动向量，通过运动向量对视频帧进行补偿、裁切，达到防抖的效果。
[0003]机械防抖和光学防抖具有良好的防抖效果，但是需要设计专用的防抖结构和陀螺仪、加速度计等元器件，产品成本相对较高、设计研发周期较长。对于可穿戴式的纽扣摄像机而言，考虑其成本、体积、重量等因素，机械防抖和光学防抖的方案较难实现。
[0004]利用特征点、光流法等方案实现的电子防抖，在计算运动向量等方面较精确，且存在一定的场景适应性，但是计算复杂度较高，占用硬件资源较多，功耗相对较高，不利于便携式设备实现；
[0005]通过灰度匹配的方案实现的电子防抖，计算占用资源较少，便于图形处理单元并行运算，但是算法鲁棒性较弱，运动向量运算容易受到场景特征的影响，在低特征场景中，容易出现匹配出错的情况。
[0006]在诸如纽扣摄像机的可穿戴式摄像机的使用场景中，人物行走时重心会出现较小的左右交替和较大的上下振动，然而，目前的电子防抖算法中，并没有将人物本身的运动向量引入到视频防抖中。
[0007]由此，如何实现轻量化、低功耗、容易并行处理的视频防抖的同时，提高防抖效果，是本领域技术人员亟待解决的技术问题。

技术实现思路

[0008]本申请为了克服上述现有技术存在的缺陷，提供一种视频防抖方法、装置、设备以及存储介质，从而实现轻量化、低功耗、容易并行处理的视频防抖的同时，提高防抖效果。
[0009]根据本申请的一个方面，提供一种视频防抖方法，包括：
[0010]于当前视频帧设置多个运动向量采样点；
[0011]分别估算多个所述运动向量采样点的局部运动向量；
[0012]基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量；
[0013]根据历史运动向量队列，获得视频采集装置的持方于当前视频帧的持方运动向量的统计均值，所述历史运动向量队列包括历史视频帧的校正全局运动向量；
[0014]基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局
运动向量进行校正，获得当前视频帧的校正全局运动向量；
[0015]基于当前视频帧的校正全局运动向量，对当前视频帧进行运动补偿，获得当前视频帧的稳定视频帧。
[0016]在本申请的一些实施例中，所述分别估算多个所述运动向量采样点的局部运动向量包括：
[0017]对于各运动向量采样点，依次遍历所述运动向量匹配搜索区域内各点：
[0018]计算当前点的绝对值差异累加和；
[0019]根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，更新所述运动向量采样点的局部运动向量。
[0020]在本申请的一些实施例中，所述根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，获取所述运动向量采样点的局部运动向量包括：
[0021]响应于当前点的绝对值差异累加和小于最小累加和，使所述最小累加和为当前点的绝对值差异累加和；
[0022]响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和大于当前点的绝对值梯度变化值，且所述最小累加和大于所述最小阈值，基于当前点的位置，更新当前运动向量采样点的局部运动向量，
[0023]其中，所述当前点的绝对值梯度变化值为当前点的绝对值差异累加和与梯度变化系数的乘积，所述当前点的前点绝对值差异累加和为当前点同一行的前一点的绝对值差异累加和。
[0024]在本申请的一些实施例中，响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和小于等于当前点的绝对值梯度变化值，或者所述最小累加和小所述最小阈值，将当前运动向量采样点的局部运动向量标记为异常运动向量，并剔除所述异常运动向量。
[0025]在本申请的一些实施例中，所述基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量包括：
[0026]将多个所述运动向量采样点的局部运动向量的中值局部运动向量，作为当前视频帧的初始全局运动向量。
[0027]在本申请的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量包括
[0028]所述基于前一视频帧的校正全局运动向量，对当前视频帧的初始全局运动向量进行平滑，获得当前视频帧的平滑全局运动向量；
[0029]基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述平滑全局运动向量进行校正，获得当前视频帧的校正全局运动向量。
[0030]在本申请的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量之后，还包括：
[0031]响应于当前视频帧的校正全局运动向量大于预设最大裁切参数，使当前视频帧的校正全局运动向量为所述最大裁切参数。
[0032]在本申请的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量之后，还包括：
[0033]基于当前视频帧的校正全局运动向量，获得当前视频帧的动态裁切参数；
[0034]基于当前视频帧的动态裁切参数对当前视频帧的稳定视频帧进行裁切。
[0035]在本申请的一些实施例中，所述基于当前视频帧的校正全局运动向量，获得当前视频帧的动态裁切参数包括：
[0036]使当前视频帧的初始动态裁切参数为当前视频帧的校正全局运动向量的绝对值；
[0037]基于历史视频帧的动态裁切参数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数；
[0038]基于所述当前视频帧的图像比例，约束当前视频帧的平滑裁切参数，获得当前视频帧的动态裁切参数。
[0039]在本申请的一些实施例中，所述基于历史视频帧的动态裁切参数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数包括：
[0040]响应于当前视频帧的初始动态裁切参数小于前一视频帧的动态裁切参数，基于前一视频帧的动态裁切参数以及裁切平滑系数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数。
[0041]在本申请的一些实施例中，所述响应于当前视频帧的初始动态裁切参数小于前一视频帧的动态裁切参数，基于前一视频帧的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频防抖方法，其特征在于，包括：于当前视频帧设置多个运动向量采样点；分别估算多个所述运动向量采样点的局部运动向量；基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量；根据历史运动向量队列，获得视频采集装置的持方于当前视频帧的持方运动向量的统计均值，所述历史运动向量队列包括历史视频帧的校正全局运动向量；基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量；基于当前视频帧的校正全局运动向量，对当前视频帧进行运动补偿，获得当前视频帧的稳定视频帧。2.如权利要求1所述的视频防抖方法，其特征在于，所述分别估算多个所述运动向量采样点的局部运动向量包括：对于各运动向量采样点，依次遍历所述运动向量匹配搜索区域内各点：计算当前点的绝对值差异累加和；根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，更新所述运动向量采样点的局部运动向量。3.如权利要求2所述的视频防抖方法，其特征在于，所述根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，获取所述运动向量采样点的局部运动向量包括：响应于当前点的绝对值差异累加和小于最小累加和，使所述最小累加和为当前点的绝对值差异累加和；响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和大于当前点的绝对值梯度变化值，且所述最小累加和大于所述最小阈值，基于当前点的位置，更新当前运动向量采样点的局部运动向量，其中，所述当前点的绝对值梯度变化值为当前点的绝对值差异累加和与梯度变化系数的乘积，所述当前点的前点绝对值差异累加和为当前点同一行的前一点的绝对值差异累加和。4.如权利要求3所述的视频防抖方法，其特征在于，响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和小于等于当前点的绝对值梯度变化值，或者所述最小累加和小所述最小阈值，将当前运动向量采样点的局部运动向量标记为异常运动向量，并剔除所述异常运动向量。5.如权利要求1所述的视频防抖方法，其特征在于，所述基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量包括：将多个所述运动向量采样点的局部运动向量的中值局部运动向量，作为当前视频帧的初始全局运动向量。6.如权利要求1所述的视频防抖方法，其特征在于，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量包括：
所述基于前一视频帧的校正全局运动向量，对当前视频帧的初始全局运动向量进行平滑，获得当前视频帧的平滑全局运动向量；基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述平滑全局运动向量进行校正，获得当前视频帧的校正全局运动向量。7.如权利要求1所述的视频防抖方法，其特征在于，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量之后，还包括：响应于当前视频帧的校正全局运动向量大于预设最大裁切参数，使当前视频帧的校正全局运动向量为所述最大裁切参数。8.如权利要求1所...

【专利技术属性】
技术研发人员：冯晶，王佛荣，章勇，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：