车载视频稳像方法、装置、车辆及存储介质制造方法及图纸

本申请适用于图像处理技术领域，提供了一种车载视频稳像方法、装置、车辆及存储介质，该方法包括：获取车辆的车载视频；将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；对第一运动向量图进行平滑处理，得到处理后的第二运动向量图；根据第二运动向量图，计算得到第一运动光流图；根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。上述方法提高了神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。而提升视频稳像的处理效果。而提升视频稳像的处理效果。

【技术实现步骤摘要】
车载视频稳像方法、装置、车辆及存储介质


[0001]本申请属于图像处理
，尤其涉及一种车载视频稳像方法、装置、车辆及存储介质。

技术介绍

[0002]目前车载的视频录制功能是非常通用的，各个车型上都有相关的设备，在录制视频过程中，难免会遇到路面颠簸的情况，这时就需要稳像的功能。稳像分为两种通路，一个是云台为主的硬件稳像方法，一种是纯软件的解决思路。
[0003]现有技术中通常是利用神经网络提取图像的关键点，从而对全图估计一个运动矩阵，其运动估计准确度低，从而导致视频稳像的处理效果差的问题。

技术实现思路

[0004]本申请实施例提供了一种车载视频稳像方法、装置、车辆及存储介质，可以提高神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。
[0005]第一方面，本申请实施例提供了一种车载视频稳像方法，包括：
[0006]获取车辆的车载视频；
[0007]将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
[0008]对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
[0009]根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
[0010]根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。
[0011]第二方面，本申请实施例提供了一种车载视频稳像装置，包括：
[0012]第一获取模块，用于获取车辆的车载视频；
[0013]网络处理模块，用于将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
[0014]平滑处理模块，用于对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
[0015]计算模块，用于根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
[0016]运动补偿模块，用于根据所述第一运动光流图对所述车载视频中的帧图像进行运
动补偿，得到稳像视频。
[0017]第三方面，本申请实施例提供了一种车辆，包括终端设备，该终端设备包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的车载视频稳像方法。
[0018]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的车载视频稳像方法。
[0019]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的车载视频稳像方法。
[0020]本申请第一方面实施例与现有技术相比存在的有益效果是：通过获取车辆的车载视频；将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；对第一运动向量图进行平滑处理，得到处理后的第二运动向量图；根据第二运动向量图，计算得到第一运动光流图，其中，第一运动光流图用于表征车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。本申请实施例利用第一神经网络，将全图按照网格方式估计出网格状的运动向量图，并通过该网络状的运动向量图进行车载视频图像的稳像处理，在做到了端到端的运动估计的基础上，将原有的单个运动矩阵估计的方法扩展到平面网格，提高了神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。
[0021]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请一实施例提供的车载视频稳像方法的流程示意图；
[0024]图2是图1中的步骤S203的平滑处理过程的直观展示示意图；
[0025]图3是图2中步骤S204的具体实现步骤流程示意图；
[0026]图4是本申请一实施例提供的车辆视频稳像装置的结构示意图；
[0027]图5是本申请一实施例提供的车辆的结构示意图。
具体实施方式
[0028]本申请实施例的车载视频稳像方法需要利用到第一神经网络，而第一神经网络是预先训练好的网络。所以在详述本申请实施例的车载视频稳像方法之前，首先说明第一神经网络的训练过程，其中，第一神经网络的训练过程如下：
[0029]S101，获取训练数据集，训练数据集包括多个数据对，每个数据对包括第一图像和
第二图像，其中，第二图像相对于第一图像存在抖动。
[0030]需要说明的是，第一图像与第二图像的图像内容连续。可选的，第一图像和第二图像可为样本视频中相邻两帧图像，其中第二图像为相邻两帧图像中的后一帧图像，第一图像为相邻两帧图像中的前一帧图像。
[0031]S102，基于训练数据集对无监督神经网络进行训练，得到训练后的第一神经网络。
[0032]这里，无监督神经网络是一种不需要给出类别(标签)，只需要给出输入的神经网络。
[0033]在一种可能的实现方式中，步骤S102的实现过程可以包括：
[0034]步骤S1021，将数据对中的第一图像和第二图像输入无监督神经网络，得到网格状的第三运动向量图，第三运动向量图用于表征第二图像相对于第一图像的每个网格偏移向量。
[0035]这里，第一图像和第二图像输入无监督神经网络，会在第一图像和第二图像之间构建一个网格总个数为S
×
S的网格图，其中一个S表示网格图的行数，另一个S表示网格图的列数，每个网格通过无监督神经网络均会回归4个运动向量Δ
i,j
，其中，i∈[0,S)，j∈[0,S)，其中，Δ
i,j
表示网格图中坐标位置为(i,j)的网格角点对应的运动向量，i表示网格图的行号，j表示网格图的列号，最后输出一个网格状的第三运动向量图，该第三运动向量图为一个S
×<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载视频稳像方法，其特征在于，包括：获取车辆的车载视频；将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。2.如权利要求1所述的车载视频稳像方法，其特征在于，所述对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图，包括：针对所述车载视频的每帧图像，获取当前帧图像的前后K帧图像各自对应的所述第一运动向量图，其中，K为正整数；将所述当前帧图像的前后K帧图像各自对应的所述第一运动向量图进行加权融合计算，得到所述第二运动向量图。3.如权利要求1所述的车载视频稳像方法，其特征在于，还包括：获取目标移动速度，所述目标移动速度为拍摄所述车载视频的摄像设备，在拍摄所述车载视频时的移动速度；从多个神经网络中查找与所述目标移动速度匹配的神经网络，并将匹配得到的神经网络作为第一神经网络。4.如权利要求3所述的车载视频稳像方法，其特征在于，所述摄像设备为车辆上安装的摄像头，所述获取目标移动速度，包括：当所述摄像设备拍摄所述车载视频时，获取所述车辆的行驶速度，将所述行驶速度确定为所述目标移动速度。5.如权利要求1所述的车载视频稳像方法，其特征在于，将所述车载视频输入第一神经网络之前，还包括：将所述车载视频输入已训练的非稳像视频分类模型进行处理，得到所述车载视频为非稳像视频的概率值；若所述概率值大于设定阈值，则执行将所述车载视频输入第一神经网络的步骤以及后续步骤。6.如权利要求1所述的车载视频稳像方法，其特征在于，在所述车载视频输入到第一神经网络之前，还包括基于训练后的去噪网络模型对所述车载视频进行去噪处理，得到去噪处理后的车载视频；去噪网络模型的训练过程包括：获取训练数据集，其中，所述训练数据集包括多个数据对，每个所述数据对包括N张第一视频图像和N张第二视频图像，所述第一视频图像对应的光线亮度值小于所述第二视频图像对应的光线亮度值，所述第一视频图像和所述第二视频图像各自对应不同拍摄对象，N为正整数；
基于所述训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型。7.如权利要求6所述的车载视频稳像方法，其特征在于，所述基于所述训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型，包括：将所述数据对中的所述第一视频图像输入所述去噪网络模型，得到第三视频图像；将所述第三视频图像输入全局判别网络，得到第一判别结果；将所述数据对中的所述第二视频图像输入所述全局判别网络，得到第二判别结果；将所述第三视频图像的局部图像输入局部判别网络，得到第三判别结果；根据所述第一判别结果、所述第二判别结果和所述第三判别结果计算所述去噪网络模型的目标损失值；根据所述目标损失值更新所述去噪网络模型的网络参数，获得训练后的去噪网络模型。8.如权利要求6所述的车载视频稳像方法，其特征在于，所述基于训练后的去噪网络模型对所述车载视频进行去噪处理...

【专利技术属性】
技术研发人员：魏建军，贾澜鹏，樊强，刁玥，颉毅，赵龙，陈现岭，
申请(专利权)人：长城汽车股份有限公司，
类型：发明
国别省市：