一种视频运动平滑处理方法技术

本发明专利技术涉及视频处理技术领域，提供一种视频运动平滑处理方法

【技术实现步骤摘要】
一种视频运动平滑处理方法、装置、设备和存储介质


[0001]本专利技术涉及视频处理
，尤其涉及一种视频运动平滑处理方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]随着如今数码拍摄设备爆发式增长，人们越来越多地通过摄像头来记录生活，与此同时，用户也对拍摄的视频的流畅性
、
稳定性等有了更高的要求
。
特别是针对行车记录仪等移动车载设备来说，视频传感器或车载摄像头是获取车辆外界信息的主要途径，然而在车辆行驶过程中，不可避免地存在着随机振动
、
路面颠簸等因素，车辆行驶速度越快，颠簸
、
振动就越剧烈，特别是在高速场景下，就会越专利技术显
。
这些因素会导致车载摄像头处于一种不稳定的工作环境中，造成录制的视频存在视觉上的抖动
、
模糊等现象，从而显著影响到视频图像的质量
。
因此，对视频图像进行高效防抖处理，生成高质量稳定流畅的视频，具有很现实的应用价值，能极大地提升用户的体验
。
[0003]电子稳像是一种常用的视频稳像技术，主要由运动估计
、
运动平滑
、
运动合成三个主要模块组成，其中，运动平滑是将摄像头运动轨迹分离出意向运动和随机抖动，去除掉抖动分量后得到平滑前后的补偿量，以供运动合成模块利用该补偿量对视频帧图像进行稳定修复
。
目前电子稳像中的运动平滑多采用曲线拟合
、r/>滑动窗口均值滤波等方法，在实时性上存在不足，稳像效果较差
。

技术实现思路

[0004]本专利技术提供一种视频运动平滑处理方法
、
装置
、
设备和存储介质，用以解决现有技术运动平滑多采用曲线拟合
、
滑动窗口均值滤波等方法，在实时性上存在不足，稳像效果较差的缺陷，提高电子稳像的实时性，增强电子稳像的效果
。
[0005]本专利技术提供一种视频运动平滑处理方法，包括：获取目标物的运动数据和图像数据，对所述运动数据和所述图像数据进行时间同步对齐；所述运动数据包括角速度和加速度；
[0006]利用互补滤波器结合所述角速度和所述加速度，估计所述目标物运动的方向四元数；
[0007]利用球面线性插值算法计算所述图像数据中的视频帧的方向四元数；
[0008]利用无迹卡尔曼滤波器对所述视频帧的方向四元数进行平滑处理；
[0009]计算平滑处理前后的所述视频帧的方向四元数之间的旋转差，利用所述旋转差对所述视频帧进行运动补偿，得到稳定后的视频帧
。
[0010]根据本专利技术提供的一种视频运动平滑处理方法，对所述运动数据和所述图像数据进行时间同步对齐，包括：
[0011]计算所述运动数据的采样时间戳和所述图像数据的采样时间戳之间的时间差，将所述时间差增加到所述图像数据的采样时间戳上
。
[0012]根据本专利技术提供的一种视频运动平滑处理方法，所述互补滤波器为非线性互补滤波器，用于对所述角速度和所述加速度进行惯性积分得到方向四元数；
[0013]利用互补滤波器结合所述角速度和所述加速度，估计所述目标物运动的方向四元数，包括：
[0014]利用非线性互补滤波器，根据所述加速度的归一化后的加速度矢量计算初始四元数；
[0015]在所述目标物处于静止状态的情况下，计算陀螺零偏；所述陀螺零偏为采集所述角速度的惯性测量单元的陀螺零偏；
[0016]基于所述初始四元数的导数积分和去除所述陀螺零偏后的所述角速度，计算得到预测的方向四元数；
[0017]基于所述预测的方向四元数，将所述加速度转换到全局坐标系下，并计算所述全局坐标系下的所述加速度与真实重力矢量之间的旋转修正量；
[0018]根据所述旋转修正量，对所述预测的方向四元数进行修正
。
[0019]根据本专利技术提供的一种视频运动平滑处理方法，根据所述旋转修正量，对所述预测的方向四元数进行修正，包括：
[0020]利用四元数乘法，将所述预测的方向四元数与所述旋转修正量相乘，得到修正后的所述预测的方向四元数
。
[0021]根据本专利技术提供的一种视频运动平滑处理方法，利用球面线性插值算法计算所述图像数据中的视频帧的方向四元数，包括：
[0022]通过所述图像数据中的视频帧的采样时间戳
t
匹配前后相邻的两个所述运动数据，两个所述运动数据的时间戳分别为
t1和
t2，采样时间戳为
t
的所述视频帧与前一个所述运动数据的时间间隔为
t
‑
t1，比例系数为利用如下的球面线性插值公式计算所述视频帧的采样时间戳处的方向四元数
q
img
：
[0023][0024]其中，
q1为时间戳为
t1的视频帧的方向四元数，
q2为时间戳为
t2的视频帧的方向四元数
。
[0025]根据本专利技术提供的一种视频运动平滑处理方法，利用无迹卡尔曼滤波器对所述视频帧的方向四元数进行平滑处理，包括
:
[0026]步骤一：利用平滑处理后的方向四元数和所述角速度定义所述无迹卡尔曼滤波器的状态变量：
[0027][0028]其中，为第
k
帧视频帧平滑处理后的方向四元数，
q1为四元数实部，
q2、q3、q4为四元数虚部向量，
q
k
的模长为1，
gyr
k
为与第
k
帧视频帧对应的角速度，
g1、g2和
g3分别为所述目标物的三轴角速度；
[0029]设置所述无迹卡尔曼滤波器中初始的状态协方差矩阵
P、
过程噪声协方差矩阵
Q
和观测噪声协方差矩阵
R
；
[0030]步骤二：在所述角速度恒定的假设条件下，构建运动方程：
[0031][0032]其中，
q
gyr
表示所述角速度转换为纯虚四元数表示的旋转；符号表示四元数乘法；在每次滤波迭代的过程中，所述角速度保持不变，并将随机的角加速度建模为高斯噪声
w
k
；
[0033]步骤三：将所述视频帧的所述预测的方向四元数和所述角速度作为观测数据，构建观测模型：
[0034][0035]其中，为新的第
k
帧视频帧的所述预测的方向四元数，
q
jitter
表示将三维抖动噪声向量转换为四元数表示；
v
k
为服从零均值高斯分布的陀螺观测噪声，为新的与第
k
帧视频帧对应的角速度；
[0036]步骤四：将上一次后验更新后的估计的状态协方差矩阵
P
k<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频运动平滑处理方法，其特征在于，包括：获取目标物的运动数据和图像数据，对所述运动数据和所述图像数据进行时间同步对齐；所述运动数据包括角速度和加速度；利用互补滤波器结合所述角速度和所述加速度，估计所述目标物运动的方向四元数；利用球面线性插值算法计算所述图像数据中的视频帧的方向四元数；利用无迹卡尔曼滤波器对所述视频帧的方向四元数进行平滑处理；计算平滑处理前后所述视频帧的方向四元数之间的旋转差，利用所述旋转差对所述视频帧进行运动补偿，得到稳定后的视频帧
。2.
根据权利要求1所述的视频运动平滑处理方法，其特征在于，对所述运动数据和所述图像数据进行时间同步对齐，包括：计算所述运动数据的采样时间戳和所述图像数据的采样时间戳之间的时间差，将所述时间差增加到所述图像数据的采样时间戳上
。3.
根据权利要求1所述的视频运动平滑处理方法，其特征在于，所述互补滤波器为非线性互补滤波器，用于对所述角速度和所述加速度进行惯性积分得到方向四元数；利用互补滤波器结合所述角速度和所述加速度，估计所述目标物运动的方向四元数，包括：利用非线性互补滤波器，根据所述加速度的归一化后的加速度矢量计算初始四元数；在所述目标物处于静止状态的情况下，计算陀螺零偏；所述陀螺零偏为采集所述角速度的惯性测量单元的陀螺零偏；基于所述初始四元数的导数积分和去除所述陀螺零偏后的所述角速度，计算得到预测的方向四元数；基于所述预测的方向四元数，将所述加速度转换到全局坐标系下，并计算所述全局坐标系下的所述加速度与真实重力矢量之间的旋转修正量；根据所述旋转修正量，对所述预测的方向四元数进行修正
。4.
根据权利要求3所述的视频运动平滑处理方法，其特征在于，根据所述旋转修正量，对所述预测的方向四元数进行修正，包括：利用四元数乘法，将所述预测的方向四元数与所述旋转修正量相乘，得到修正后的所述预测的方向四元数
。5.
根据权利要求1所述的视频运动平滑处理方法，其特征在于，利用球面线性插值算法计算所述图像数据中的视频帧的方向四元数，包括：通过所述图像数据中的视频帧的采样时间戳
t
匹配前后相邻的两个所述运动数据，两个所述运动数据的时间戳分别为
t1和
t2，采样时间戳为
t
的所述视频帧与前一个所述运动数据的时间间隔为
t
‑
t1，比例系数为利用如下的球面线性插值公式计算所述视频帧的采样时间戳处的方向四元数
q
img
：其中，
q1为时间戳为
t1的视频帧的方向四元数，
q2为时间戳为
t2的视频帧的方向四元数
。
6.
根据权利要求1‑5任一项所述的视频运动平滑处理方法，其特征在于，利用无迹卡尔曼滤波器对所述视频帧的方向四元数进行平滑处理，包括
:
步骤一：利用平滑处理后的方向四元数和所述角速度定义所述无迹卡尔曼滤波器的状态变量：其中，为第
k
帧视频帧平滑处理后的方向四元数，
q1为四元数实部，
q2、q3、q4为四元数虚部向量，
q
k
的模长为1，
gyr
k
为与第
k
帧视频帧对应的角速度，
g1、g2和
g3分别为所述目标物的三轴角速度；设置所述无迹卡尔曼滤波器中初始的状态协方差矩阵
P、
过程噪声协方差矩阵
Q
和观测噪声协方差矩阵
R
；步骤二：在所述角速度恒定的假设条件下，构建运动方程：其中，
q
gyr
表示所述角速度转换为纯虚四元数表示的旋转；符号表示四元数乘法；在每次滤波迭代的过程中，所述角速度保持不变，并将随机的角加速度建模为高斯噪声
w
k
；步骤三：将所述视频帧的所述预测的方向四元数和所述角速度作为观测数据，构建观测模型：其中，为新的第
k
帧视频帧的所述预测的方向四元数，
q
jitter
表示将三维抖动噪声向量转换为四元数表示；
v

【专利技术属性】
技术研发人员：王其超，陈戗，朱海荣，杨玉玲，季华，
申请(专利权)人：杭州鸿泉物联网技术股份有限公司，
类型：发明
国别省市：