视频帧的处理方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术实施例提供一种视频帧的处理方法、装置、设备以及存储介质，该方法包括：获取待处理的视频帧，将待处理的视频帧的输入视频帧预测模型，得到待处理的视频帧的深度和视频帧的语义信息，其中，视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和当前视频帧的语义信息的模型。本发明专利技术实施例提供的视频帧的处理方法，通过结合语义信息来预测视频帧的深度，提高了视频帧深度预测的准确度。

【技术实现步骤摘要】
视频帧的处理方法、装置、设备以及存储介质
本专利技术实施例涉及视频图像处理领域，尤其涉及一种视频帧的处理方法、装置、设备以及存储介质。
技术介绍
立体视频相对于平面视频，视觉冲击力强、艺术欣赏价值高，能够提供给用户更好的视觉体验。因此，利用计算机视觉等技术将现有的平面视频转换为立体视频具有非常重要的应用价值。其中，将平面视频转化为立体视频关键在于提取平面视频中每帧的深度信息，相关技术中，提供一种基于深度神经网络，无监督(即没有深度真值的约束)方法来学习视频帧的深度，然而，采用上述方法预测出的视频帧深度准确度不高。
技术实现思路
本专利技术实施例提供一种视频帧的处理方法、装置、设备以及存储介质，用于解决上述方案中对于视频帧深度的预测准确度不高的问题。第一方面，本专利技术实施例提供一种视频帧的处理方法，包括：获取待处理的视频帧；将所述待处理的视频帧的输入视频帧预测模型，得到所述待处理的视频帧的深度和所述视频帧的语义信息；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型。可选的，所述视频帧预测模型是按照如下方法训练得到的：采集多个视频帧样本文档来自技高网...

【技术保护点】
1.一种视频帧的处理方法，其特征在于，包括：获取待处理的视频帧；将所述待处理的视频帧的输入视频帧预测模型，得到所述待处理的视频帧的深度和所述视频帧的语义信息；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型。

【技术特征摘要】
1.一种视频帧的处理方法，其特征在于，包括：获取待处理的视频帧；将所述待处理的视频帧的输入视频帧预测模型，得到所述待处理的视频帧的深度和所述视频帧的语义信息；其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型。2.根据权利要求1所述的方法，其特征在于，所述视频帧预测模型是按照如下方法训练得到的：采集多个视频帧样本，并获取每个视频帧样本的深度真值和每个视频帧样本的真实语义信息；根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型。3.根据权利要求2所述的方法，其特征在于，所述获取每个视频帧样本的深度真值，包括：通过激光雷达采集每个视频帧样本的深度真值。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型，包括：采用深度神经网络初始化得到初始模型；将每个视频帧样本输入到所述初始模型，得到所述初始模型输出的深度和语义信息；根据每个视频帧样本的深度真值和模型预测的深度，获取深度误差；根据每个视频帧样本的真实语义信息和模型预测的语义信息，获取语义信息的误差；根据所述深度误差、所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述深度误差、所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型，包括：根据模型预测的深度，获取每个视频帧样本对应的三维点云；根据所述三维点云和每个视频帧样本对应的真实的语义信息，得到平面区域的三维点云；根据所述平面区域的三...

【专利技术属性】
技术研发人员：何雷，侯瑞杰，沈莉霞，杨光垚，彭亮，董芳芳，宋适宇，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11