一种视频处理方法、装置、计算设备及存储介质制造方法及图纸

本发明专利技术适用视频处理技术领域，提供了一种视频处理方法、装置、计算设备及存储介质，该方法包括：获取包含多帧视频帧的待处理视频，根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近，同时最大化增大处理后视频图像的视角场，提高了视频的防抖效果。视频的防抖效果。视频的防抖效果。

【技术实现步骤摘要】
一种视频处理方法、装置、计算设备及存储介质


[0001]本专利技术属于视频处理
，尤其涉及一种视频处理方法、装置、计算设备及存储介质。

技术介绍

[0002]在视频电子防抖过程中，现有技术方案一般是首先建立相机的运动模型，根据相机陀螺仪(或视觉特征)及所建立的运动模型估计视频中相机不同时刻的原始运动状态，然后根据平滑算法得到的不同时刻理想运动平滑的运动状态，将视频每一帧图像由原始运动状态对应的图像转换到理想运动平滑的状态对应的图像，但是对于有视场角(FOV)限制的相机，则需要根据原始运动状态、理想运动平滑的状态和相机的FOV，得到使转换后图像画面可以在原视频图像中成功索引的有边界限制的运动状态，之后将图像从原始运动状态转换到相机在有边界限制的运动状态处观测位置的图像，达到电子防抖目的。
[0003]在有边界约束的电子防抖中，输出视频采用固定的FOV存在固有缺陷：
[0004]a.若输出视频采用较大固定FOV，在运动程度比较剧烈时，由于输出防抖视频图像的边界和原始图像边界距离比较接近，此时各个时刻的有边界限制的运动状态与理想运动平滑的运动状态偏差过大，导致防抖效果较差；
[0005]b.若输出视频采用较小固定FOV，在运动程度比较平缓时，防抖的平滑余量过大(即输出视频可以采取更大的FOV，即可使有边界限制的运动状态与理想运动平滑的运动状态更接近或完全相同)，造成了FOV的浪费。因此现实中往往选取折中大小的FOV，但是运动特别剧烈时，则会出现上述a问题，使防抖效果达不到最佳，运动特别平缓时，则会出现上述b问题，使此刻的FOV利用率未达到最大。

技术实现思路

[0006]本专利技术的目的在于提供一种视频处理方法、装置、计算设备及存储介质，旨在解决由于现有技术无法提供一种有效的视频防抖处理方法，导致防抖处理效果不佳的问题。
[0007]一方面，本专利技术提供了一种视频处理方法，所述方法包括下述步骤：
[0008]获取待处理视频，所述待处理视频包含多帧视频帧；
[0009]根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对所述原始运动状态进行平滑处理，以得到所述每一视频帧的理想运动平滑的状态；
[0010]获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；
[0011]根据所述每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值；
[0012]将所述每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。
[0013]另一方面，本专利技术提供了一种视频处理装置，包括：
[0014]视频获取单元，用于获取待处理视频，所述待处理视频包含多帧视频帧；
[0015]状态平滑单元，用于根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对所述原始运动状态进行平滑处理，以得到所述每一视频帧的理想运动平滑的状态；
[0016]允许值获取单元，用于获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；
[0017]目标值计算单元，用于根据所述每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值；以及
[0018]视频转换单元，用于将所述每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。
[0019]另一方面，本专利技术还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
[0020]另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0021]本专利技术在根据预设的运动模型计算待处理视频中每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近甚至完全相同，同时尽可能增大防抖处理后视频图像的视场角，改善了防抖效果和FOV利用率。
附图说明
[0022]图1是本专利技术实施例一提供的视频处理方法的实现流程图；
[0023]图2是本专利技术实施例二提供的视频处理装置的结构示意图；
[0024]图3是本专利技术实施例三提供的计算设备的结构示意图。
具体实施方式
[0025]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0026]以下结合具体实施例对本专利技术的具体实现进行详细描述：
[0027]实施例一：
[0028]图1示出了本专利技术实施例一提供的视频处理方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：
[0029]在步骤S101中，获取待处理视频，待处理视频包含多帧视频帧；
[0030]本专利技术实施例适用于视频的防抖处理，具体地，可适用于在计算设备(例如，服务器、个人计算机)上对视频进行防抖处理，待处理视频由拍摄设备拍摄得到，拍摄设备可以为任意可获得数字图像的设备，包括但不限于单反相机、无反相机、带有拍照与摄像功能的
手机、运动相机、全景相机等，此外，待处理视频还可以是通过任意视频处理方法处理后得到的视频，待处理视频包含多帧视频帧。
[0031]在步骤S102中，根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态；
[0032]在本专利技术实施例中，预设的运动模型可以为姿态角估计模型，原始运动状态和理想运动平滑的状态则可通过姿态数据进行表示，例如，姿态四元数，理想运动平滑的状态为通过对原始运动状态进行平滑处理后得到的理想运动平滑的状态，例如，可采用均值滤波、高斯滤波等低通滤波器对原始运动状态数据进行滤波，得到理想运动平滑的理想运动平滑的状态数据。
[0033]在步骤S103中，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；
[0034]在本专利技术实施例中，对于待处理视频中的视频帧，可根据其对应的原始运动状态和转换后的理想运动平滑的状态来判断该视频帧以预设的FOV值从原始运动状态到理想运动平滑的状态转换时是否出界，进而根据判断结果调整该视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时的FOV值，以在转换时最大化利用原始视频帧的FOV，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括下述步骤：获取待处理视频，所述待处理视频包含多帧视频帧；根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对所述原始运动状态进行平滑处理，以得到所述每一视频帧的理想运动平滑的状态；获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；根据所述每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值；将所述每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。2.如权利要求1所述的方法，其特征在于，计算所述每一视频帧的目标FOV值的步骤之后，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧的步骤之前，还包括：利用时域或频域低通滤波器对每一视频帧的目标FOV值进行平滑处理，得到平滑处理后的目标FOV值。3.如权利要求1所述的方法，其特征在于，获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值的步骤，包括：判断所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时是否超出边界；当超出边界时，减少当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；当不超出边界时，增加当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值。4.如权利要求1所述的方法，其特征在于，根据每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值的步骤，包括：根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的FOV值和所述最大允许FOV值直方图中的最大允许FOV值的分布，确定下一视频帧的FOV值的增大量或缩小量，得到所述当前视频帧的下一视频帧的目标FOV值；根据所述待处理视频的时间推进，滑动更新所述最大允许FOV值直方图，动态修改每一视频帧的FOV值，以得到每一视频帧的目标FOV值。5.如权利要求4所述的方法，其特征在于，根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的F...

【专利技术属性】
技术研发人员：门泽华，陈聪，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：