用于单目视频中场景自适应未来深度预测的方法、系统和计算机介质技术方案

公开了用于预测视频帧的深度的系统、方法和计算机可读介质。一种方法可以包括以下步骤：接收多个训练数据，每个训练数据包括连续视频帧集合和所述连续视频帧的后续视频帧的深度表示；接收具有多个权重θ的预训练的神经网络模型f

【技术实现步骤摘要】
【国外来华专利技术】用于单目视频中场景自适应未来深度预测的方法、系统和计算机介质
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月16日提交的专利技术名称为“用于单目视频中场景自适应未来深度预测的方法、系统和计算机介质(Methods,systems and computer medium for scene
‑
adaptive future depth prediction in monocular videos)”的第17/203,645号美国非临时申请的权益，该申请通过全文引用的方式并入本文。


[0003]本专利技术涉及预测单目视频中的深度。具体地，本专利技术涉及使用元学习方法生成单目视频的深度估计。

技术介绍

[0004]随着社交媒体的蓬勃发展和相机技术的进步，特别是在智能手机设备的背景下，视频已成为传播娱乐、教育和意识的核心形式。
[0005]每分钟都有数百小时甚至更多的新视频内容上传到基于社交媒体的视频共享和流媒体平台。大多数视频都是用智能手机或其它移动设备拍摄的单目视频。各种任务和应用程本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于预测视频帧深度的计算机实现的方法，其特征在于，包括：接收多个训练数据并且对于每个D
i
：其中，各自分别表示具有连续时间戳的多个t个连续视频帧中的一个视频帧；是紧随所述视频帧之后的未来视频帧的深度表示；接收具有多个权重θ的预训练的神经网络模型f
θ
；当所述预训练的神经网络模型f
θ
不收敛时：基于每个D
i
，i＝1......N中所述多个连续视频帧和所述预训练的神经网络模型f
θ
计算多个第二权重θ
’
i
；基于所述多个训练数据和所述多个第二权重θ
’
i
，更新所述多个权重θ；接收具有连续时间戳的多个m个新的连续视频帧基于更新的多个权重θ，预测紧随所述视频帧之后的视频帧的深度表示。2.根据权利要求1所述的方法，其特征在于，计算所述多个第二权重θ
′
i
基于公式：其中，α表示学习率，表示基于计算的损失，表示梯度算子。3.根据权利要求2所述的方法，其特征在于，更新所述多个权重θ基于公式：其中，β表示学习率，表示基于计算的损失，表示梯度算子。4.根据权利要求3所述的方法，其特征在于，预测视频帧的所述深度表示包括：基于所述多个新的连续视频帧和所述更新的多个权重θ，更新所述多个第二权重θ
′
i
；基于更新的多个第二权重θ
′
i
生成所述深度表示。5.根据权利要求4所述的方法，其特征在于，更新所述多个第二权重θ
’
i
基于公式：其中，α是学习率，表示基于计算的损失，表示梯度算子。6.根据权利要求5所述的方法，其特征在于，所述预训练的神经网络模型f
θ
的训练过程包括当前帧重建过程和未来深度预测过程。7.根据权利要求6所述的方法，其特征在于，所述预训练的神经网络模型f
θ
的所述训练过程包括：
接收具有连续时间戳的多个连续视频帧将具有随机值的f
θ
的多个初始参数设置为所述多个权重θ；从所述多个连续视频帧中提取多个空间特征；在所述当前帧重建过程期间：基于所述多个空间特征重建所述多个连续视频帧中的每个视频帧；基于重建的视频帧，更新所述多个权重θ中的至少一个权重的值；在所述未来深度预测过程期间：基于所述多个空间特征，提取所述多个连续视频帧的时间特征；基于所述多个连续视频帧的所述时间特征，生成紧随所述视频帧之后的视频帧的深度预测；基于所述视频帧的所述深度预测，更新所述多个权重θ中的至少一个权重的值。8.根据权利要求7所述的方法，其特征在于，提取所述时间特征包括使用3D卷积神经网络提取所述时间特征。9.根据权利要求1至8中任一项所述的方法，其特征在于，对于所述视频帧中的一个或多个表面，任一视频帧的所述深度表示包括表示从所述相应表面到视点的估计距离的深度值。10.根据权利要求9所述的方法，其特征在于，任一视频帧的所述深度表示包括所述视频帧的深度图。11.一种用于预测视频帧的深度的系统，其特征在于，所述系统包括：处理单元；耦合到所述处理单元的存储器，所述存储器存储机器可执行指令，所述机器可执行指令当由所述处理单元执行时，使所述系统：接收多个训练数据并且对于每个D
i
：其中，...

【专利技术属性】
技术研发人员：刘欢，池志祥，于远灏，王洋，唐进，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：