视频处理方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于图像处理技术领域，提供了视频处理方法、装置、终端设备及存储介质，包括：针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像；以及，根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧；根据所述待处理视频中的首帧视频帧和每一非首帧视频帧各自分别对应的稳化视频帧，生成所述待处理视频对应的稳化视频。本申请实施例能够使得存在畸变的待处理视频准确地实现视频稳化。稳化。稳化。

【技术实现步骤摘要】
视频处理方法、装置、终端设备及存储介质


[0001]本申请属于图像处理
，尤其涉及一种视频处理方法、装置、终端设备及存储介质。

技术介绍

[0002]视频稳化(Video Stabilization)，也可称为视频稳像、视频稳定处理，是指对摄像头采集的原始视频序列进行处理，去除其中的抖动的技术。目前，视频稳化技术都是针对普通摄像头拍摄的普通视频实现的，而对于由存在镜头畸变的摄像头拍摄的存在畸变的视频，难以准确地实现视频稳化。

技术实现思路

[0003]有鉴于此，本申请实施例提供了视频处理方法、装置、终端设备及存储介质，以解决现有技术中如何准确地实现视频稳化的问题。
[0004]本申请实施例的第一方面提供了一种视频处理方法，包括：
[0005]针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像；以及，根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧；
[0006]根据所述待处理视频中的首帧视频帧和每一非首帧视频帧各自分别对应的稳化视频帧，生成所述待处理视频对应的稳化视频。
[0007]本申请实施例的第二方面提供了一种视频处理装置，包括：
[0008]稳化视频帧确定单元，用于针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像；以及，根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧；
[0009]稳化视频生成单元，用于根据所述待处理视频中的首帧视频帧和每一非首帧视频帧各自分别对应的稳化视频帧，生成所述待处理视频对应的稳化视频。
[0010]本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，使得终端设备实现如所述视频处理方法的步骤。
[0011]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得终端设备实现如所述视频处理方法的步骤。
[0012]本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的视频处理方法。
[0013]本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，由于对于待处理视频中的每一非首帧视频帧，能够先确定该非首帧视频帧的矫正图像后，再根据该矫正图像，确定非首帧视频帧的稳化视频帧，因此，即使非首帧视频帧存在畸变，也能够准确地确定其对应的稳化视频帧；由于该稳化视频帧能够准确地减少非首帧视频帧的画面抖动程度，因此，最终根据首帧视频帧及每一非首帧视频帧对应的稳化视频帧，能够准确地生成
待处理视频对应的稳化视频，即，使得该待处理视频最终能够以稳化视频的形式，呈现稳定、基本无抖动的视频画面。
附图说明
[0014]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是本申请实施例提供的一种视频处理方法的实现流程示意图；
[0016]图2是本申请实施例提供的一种待成像点成像过程的示意图；
[0017]图3是本申请实施例提供的一种图像的坐标变换示意图；
[0018]图4是本申请实施例提供的一种缩略图的示例图；
[0019]图5是本申请实施例提供的一种根据运动参数矩阵实现视频稳化的原理框架示意图；
[0020]图6是本申请实施例提供的一种视频处理装置的示意图；
[0021]图7是本申请实施例提供的终端设备的示意图。
具体实施方式
[0022]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0023]为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
[0024]通常，在摄像头拍摄的原始视频序列中，相邻两帧视频帧之间的运动可以分解为：与摄像头运动方向一致的背景画面运动(由摄像头运动产生)，以及与摄像头运动不一致的前景画面运动(由拍摄场景中的被拍摄对象的运动产生)。视频稳化的基本原理为通过算法估计出相邻两帧视频帧的背景画面运动，得到摄像头运动的运动参数，并根据该运动参数来对当前的视频帧进行射影变换处理，从而降低摄像头运动对最终呈现的视频画面的影响，进而实现稳定、无抖动的视频画面呈现。然而，目前的视频稳化技术都是针对普通摄像头拍摄的普通视频实现的，该普通视频的视频帧通常较少存在畸变。而对于存在镜头畸变的摄像头(例如由广角镜头、远摄镜头等镜头组成的摄像头)，由于其拍摄的视频帧通常为存在较严重的畸变的视频图像，因而难以直接根据相邻的两帧视频帧准确地计算得到摄像头运动的运动参数，从而难以对当前的视频帧进行准确的变换处理，进而导致存在畸变的视频难以准确地实现视频稳化。为了解决该技术问题，本申请实施例提供了一种视频处理方法、装置、终端设备及存储介质，通过对于待处理视频中的每一非首帧视频帧，先确定该非首帧视频帧的矫正图像后，再根据该矫正图像，确定非首帧视频帧的稳化视频帧，使得即使非首帧视频帧存在畸变，也能够准确地确定其对应的稳化视频帧；由于该稳化视频帧能够准确地减少非首帧视频帧的画面抖动程度，因此，根据该待处理视频中的首帧视频帧及每一非首帧视频帧对应的稳化视频帧，能够准确地生成待处理视频对应的稳化视频，即，使
得该待处理视频最终能够以稳化视频的形式，呈现稳定、基本无抖动的视频画面。
[0025]实施例一：
[0026]图1示出了本申请实施例提供的一种视频处理方法的流程示意图，该视频处理方法的执行主体为终端设备，包括但不限于智能手机、平板电脑、可穿戴设备、电脑、服务器等计算设备，还可以为摄像机、机器人等。如图1所示的视频处理方法详述如下：
[0027]在S101中，针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像；以及，根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧。
[0028]本申请实施例中，非首帧视频帧可以为待处理视频中除第一帧视频帧(即首帧视频帧)以外的任意一个视频帧，例如，若待处理视频一共包括10帧视频帧，则第2帧到第10帧均为非首帧视频帧。
[0029]本申请实施例中，对于待处理视频中的非首帧视频帧，其对应的稳化视频帧，具体为减少了该非首帧视频帧中的画面抖动，能够呈现相对稳定的画面的视频帧。需要说明的是，由于首帧视频帧是待处理视频中的第一帧视频帧，后续拍摄到的非首帧视频帧存在的画面抖动，可以理解为以首帧视频帧的画面作为基准，相对于首帧视频帧存在的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像；以及，根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧；根据所述待处理视频中的首帧视频帧和每一非首帧视频帧各自分别对应的稳化视频帧，生成所述待处理视频对应的稳化视频。2.如权利要求1所述的视频处理方法，其特征在于，在所述针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像之前，还包括：获取目标视频；根据所述目标视频中各帧视频帧的畸变情况，确定待处理视频。3.如权利要求1所述的视频处理方法，其特征在于，所述针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像，包括：针对待处理视频中的每一非首帧视频帧，进行畸变矫正处理，得到所述非首帧视频帧的矫正图像。4.如权利要求3所述的视频处理方法，其特征在于，所述针对待处理视频中的每一非首帧视频帧，进行畸变矫正处理，得到所述非首帧视频帧的矫正图像，包括：从所述待处理视频中获取所述非首帧视频帧；根据预设的畸变复原映射矩阵及所述非首帧视频帧，生成所述非首帧视频帧的矫正图像；所述畸变复原映射矩阵用于表示非首帧视频帧与所述非首帧视频帧对应的矫正图像的像素坐标映射关系。5.如权利要求4所述的视频处理方法，其特征在于，在所述从所述待处理视频中获取所述非首帧视频帧之前，还包括：根据所述待处理视频的拍摄参数，依次确定各个第一像素坐标对应的第二像素坐标；其中，所述拍摄参数包括内参矩阵和畸变参数；各个所述第一像素坐标为根据所述待处理视频的视频帧的图像大小所预设的第一图像坐标系的像素坐标；所述第二像素坐标为根据所述待处理视频的视频帧的图像大小所预设的第二图像坐标系的像素坐标；所述第一图像坐标系用于表示所述待处理视频的视频帧被矫正后所对应的图像坐标系，所述第二图像坐标系用于表示所述待处理视频的视频帧矫正前的图像坐标系；根据所述第一像素坐标及所述第二像素坐标，得到畸变复原映射矩阵。6.如权利要求1所述的视频处理方法，其特征在于，所述根据所述矫正图像，确定所述非首帧视频帧的稳化视频帧，包括：根据所述矫正图像，确定所述非首帧视频帧的运动参数矩阵；根据所述非首帧视频帧的运动参数矩阵，对所述非首帧视频帧进行变换处理，得到所述非首帧视频帧的稳化视频帧。7.如权利要求6所述的视频处理方法，其特征在于，所述针对待处理视频中的每一非首帧视频帧，确定所述非首帧视频帧的矫正图像，包括：针对待处理视频中的每一非首帧视频帧，按照预设缩放系数进行缩小处理，得到所述非首帧视频帧对应的缩略图；以及，根据所述缩略图，确定所述非首帧视频帧的矫正图像；对应地，所述根据所述矫正图像，确定所述非首帧视频帧的运动参数矩阵，包括：根据所述矫正图像，确定所述缩略图对应的运动参数矩阵；
根据所述缩略图对应的运动参数矩阵及所述预设缩放系数，确定所述非首帧视频帧的运动参数矩阵。8.如权利要求6所述的视频处理方法，其特征在于，所述矫正图像包括第一矫正图像及第二矫正图像，所述第一矫正图像为所述非首帧视频帧对应的矫正图像，所述第二矫正图像为所述非首帧视频帧的前一帧视频帧对应的矫正图像；所述根据所述矫正图像，确定所述非首帧视频帧的运动参数矩阵，包括：分别获取所述第一矫正图像的第一关键点以及所述第二矫正图像中与所述第一关键点匹配的第二关键点，得到各对关键点对；其中，一个第一关键点与其对应的所述第二关键点构成一对关键点对；根据各个所述关键点对中的所述第一关键点的第一坐标和对应的各个所述第二关键点的第二坐标，确定所述非首帧视频帧的运动参...

【专利技术属性】
技术研发人员：胡振邦，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：