视频帧的信息预测方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术实施例提供一种视频帧的信息预测方法、装置、设备以及存储介质。本发明专利技术视频帧的信息预测方法方法，包括：获取相邻的至少两个视频帧，并将所述至少两个视频帧输入视频帧预测模型，获取所述至少两个视频帧之间的位姿关系和当前帧的深度，其中，所述视频帧预测模型为基于深度神经网络训练的同时获取视频帧之间的位姿关系和当前帧的深度的模型。本发明专利技术实施例实现了精确获取视频帧的深度和位姿关系。

【技术实现步骤摘要】
视频帧的信息预测方法、装置、设备以及存储介质
本专利技术实施例涉及视频图像处理领域，尤其涉及一种视频帧的信息预测方法、装置、设备以及存储介质。
技术介绍
随着时代的发展，终端设备配置了更大更清晰的显示器，进而，用户对于视频清晰度的要求也就越来越高，这就要求在视频图像处理领域中的视频质量更高。视频质量的提高离不开视频帧深度的预测，为获得更好的视频帧深度的训练结果，对于视频帧深度的预测要更加精确。现有技术中，基于深度神经网络，普遍采用一种无监督方法(即没有预设的任何训练样本，而需要直接对数据进行建模的方法)来学习图像系列的深度，但是由于缺乏监督信息，致使每帧深度预测的精度仍然很低。
技术实现思路
本专利技术实施例提供一种视频帧的信息预测方法、装置、设备以及存储介质，相较于现有技术中缺乏监督信息，以及视频帧深度预测的精度低的问题，本方案实现了有监督的预测，并提高了视频帧深度预测的精度。第一方面，本专利技术实施例提供一种视频帧的信息预测方法，包括：获取相邻的至少两个视频帧；将所述至少两个视频帧输入视频帧预测模型，获取所述至少两个视频帧之间的位姿关系和当前帧的深度；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取视频帧之间的位姿关系和当前帧的深度的模型。进一步地，所述方法还包括：采集多组相邻的视频帧样本，并获取每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值；根据所述多组视频帧样本、每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值，采用深度神经网络训练得到所述视频帧预测模型。在一种具体的实现方式中，所述获取每组视频帧样本中视频帧之间的位姿关系真值和深度真值，包括：针对每组视频帧样本，根据所述视频帧样本中的视频帧的时序关系，确定所述视频帧样本中的视频帧之间的位姿关系真值；通过激光雷达采集所述视频帧样本中选定的当前帧的深度真值。在一种具体的实现方式中，所述根据所述多组视频帧样本、每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值，采用深度神经网络训练得到所述视频帧预测模型，包括：采用深度神经网络初始化得到初始模型；将每组视频帧样本输入所述初始模型，得到模型预测的所述视频帧样本中的视频帧之间的位姿关系和当前帧的深度；根据每组所述视频帧样本的位姿关系真值和模型预测的位姿关系，获取重投影误差；根据每组所述视频样本当前帧的深度真值和模型预测的深度，获取深度误差；根据所述重投影误差和所述深度误差对所述初始模型进行更新，得到所述视频帧预测模型。在一种具体的实现方式中，所述根据所述重投影误差和所述深度误差对所述初始模型进行更新，得到所述视频帧预测模型，包括：根据所述重投影误差和所述深度误差得到网络损失函数；根据所述网络损失函数对所述初始模型进行训练，直至网络损失函数值小于预设值，得到所述视频帧预测模型。第二方面，本专利技术实施例提供一种视频帧的信息预测装置，包括：获取模块，用于获取相邻的至少两个视频帧；处理模块，用于将所述至少两个视频帧输入视频帧预测模型，获取所述至少两个视频帧之间的位姿关系和当前帧的深度；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取视频帧之间的位姿关系和当前帧的深度的模型。进一步地，所述装置还包括：采集模块；所述采集模块用于采集多组相邻的视频帧样本，并获取每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值；所述处理模块还用于根据所述多组视频帧样本、每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值，采用深度神经网络训练得到所述视频帧预测模型。在一种具体的实现方式中，所述采集模块具体用于：针对每组视频帧样本，根据所述视频帧样本中的视频帧的时序关系，确定所述视频帧样本中的视频帧之间的位姿关系真值；通过激光雷达采集所述视频帧样本中选定的当前帧的深度真值。在一种具体的实现方式中，所述处理模块具体用于：采用深度神经网络初始化得到初始模型；将每组视频帧样本输入所述初始模型，得到模型预测的所述视频帧样本中的视频帧之间的位姿关系和当前帧的深度；根据每组所述视频帧样本的位姿关系真值和模型预测的位姿关系，获取重投影误差；根据每组所述视频样本当前帧的深度真值和模型预测的深度，获取深度误差；根据所述重投影误差和所述深度误差对所述初始模型进行更新，得到所述视频帧预测模型。在一种具体的实现方式中，所述处理模块具体用于：根据所述重投影误差和所述深度误差得到网络损失函数；根据所述网络损失函数对所述初始模型进行训练，直至网络损失函数值小于预设值，得到所述视频帧预测模型。第三方面，本专利技术实施例提供一种电子设备，包括：处理器、存储器以及计算机程序；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的视频帧的信息预测方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的视频帧的信息预测方法。本专利技术实施例提供的一种视频帧的信息预测方法、装置、设备以及存储介质，通过获取相邻的至少两个视频帧，并将该至少两个视频帧输入视频帧预测模型，获取该至少两个视频帧之间的位姿关系和当前帧的深度，实现了精确获取视频帧的深度和位姿关系。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的视频帧的信息预测方法实施例一的流程示意图；图2为本专利技术实施例提供的视频帧的信息预测方法实施例二的流程示意图；图3为本专利技术实施例提供的视频帧的信息预测方法实施例三的流程示意图；图4为本专利技术实施例提供的视频帧的信息预测装置实施例一的结构示意图；图5为本专利技术实施例提供的视频帧的信息预测装置实施例二的结构示意图；图6为本专利技术实施例提供的电子设备的硬件结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。现有技术中，基于深度神经网络，普遍采用一种无监督方法(即没有预设的任何训练样本，而需要直接对数据进行建模的方法)来学习图像系列的深度，但是由于缺乏监督信息，致使每帧深度预测的精度仍然很低。针对上述存在的问题，本专利技术提出一种视频帧的信息预测方法、装置、设备以及存储介质。将相邻的视频帧输入视频帧预测模型，获取该相邻的视频帧之间的位姿关系和当前帧的深度，并对视频帧预测模型训练，实现了精确获取视频帧的深度和位姿关系，使得能够进一步得到物体在三维物理空间中的坐标。下面通过几个具体实施例对该方案进行详细说明。图1为本专利技术实施例提供的视频帧的信息预测方法实施例一的流程示意图，如图1所示，该视频帧的信息预测方法，包括：S101：获取相邻的至少两个视频帧。在本步骤中，从时序本文档来自技高网...

【技术保护点】
1.一种视频帧的信息预测方法，其特征在于，包括：获取相邻的至少两个视频帧；将所述至少两个视频帧输入视频帧预测模型，获取所述至少两个视频帧之间的位姿关系和当前帧的深度；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取视频帧之间的位姿关系和当前帧的深度的模型。

【技术特征摘要】
1.一种视频帧的信息预测方法，其特征在于，包括：获取相邻的至少两个视频帧；将所述至少两个视频帧输入视频帧预测模型，获取所述至少两个视频帧之间的位姿关系和当前帧的深度；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取视频帧之间的位姿关系和当前帧的深度的模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：采集多组相邻的视频帧样本，并获取每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值；根据所述多组视频帧样本、每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值，采用深度神经网络训练得到所述视频帧预测模型。3.根据权利要求2所述的方法，其特征在于，所述获取每组视频帧样本中视频帧之间的位姿关系真值和深度真值，包括：针对每组视频帧样本，根据所述视频帧样本中的视频帧的时序关系，确定所述视频帧样本中的视频帧之间的位姿关系真值；通过激光雷达采集所述视频帧样本中选定的当前帧的深度真值。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多组视频帧样本、每组视频帧样本中视频帧之间的位姿关系真值和当前帧的深度真值，采用深度神经网络训练得到所述视频帧预测模型，包括：采用深度神经网络初始化得到初始模型；将每组视频帧样本输入所述初始模型，得到模型预测的所述视频帧样本中的视频帧之间的位姿关系和当前帧的深度；根据每组所述视频帧样本的位姿关系真值和模型预测的位姿关系，获取重投影误差；根据每组所述视频样本当前帧的深度真值和模型预测的深度，获取深度误差；根据所述重投影误差和所述深度误差对所述初始模型进行更新，得到所述视频帧预测模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述重投影误差和所述深度误差对所述初始模型进行更新，得到所述视频帧预测模型，包括：根据所述重投影误差和所述深度误差得到网络损失函数；根据所述网络损失函数对所述初始模型进行训练，直至网络损失函数值小于预设值，得到所述视频帧预测模型。6.一种视频帧的信息预测装置，其特征在于，包括：获取模块，用于获取相邻的至少两个视频帧；处理模块，用于将所述至少两个视频...

【专利技术属性】
技术研发人员：何雷，侯瑞杰，沈莉霞，杨光垚，彭亮，董芳芳，宋适宇，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11