一种虚拟相机位姿调整方法、系统以及计算机程序产品技术方案

技术编号:43953805 阅读:25 留言:0更新日期:2025-01-07 21:40
本申请涉及计算机视觉领域,公开了一种虚拟相机位姿优化方法。该方法包括:通过动态神经辐射场确定预设参考视频对应的隐式表达模型,并通过隐式神经表达模型确定场景渲染视频;将渲染视频和预设参考视频输入至预设虚拟相机位姿优化模型,以确定参考视频和渲染视频中各视频帧的光流图、人物关节点热力图和深度图;确定光流损失函数、关节点损失函数和深度损失函数并确定引导区域;针对渲染视频中视频帧的任一像素点,根据光流损失函数、关节点损失函数、深度损失函数以及引导区域分别确定第一回传梯度、第二回传梯度和第三回传梯度并进行回传,以优化虚拟相机的拍摄参数。可减少内存消耗并提供类似于注意力的机制,帮助收敛关注信息丰富的区域。

【技术实现步骤摘要】

本申请涉及计算机视觉与虚拟场景拍摄,特别地涉及一种虚拟相机位姿调整方法、系统以及计算机程序产品


技术介绍

1、此处提供的
技术介绍
描述的目的是总体地给出本申请的背景,本部分的陈述仅仅是提供了与本申请相关的背景,并不必然构成现有技术。

2、现有技术下,对于一个传统的演艺节目而言,真实视频拍摄过程一般包括场景设计、表演安排、情节设计和相机位置设定等多个步骤。每个拍摄的镜头都受到上述因素的影响,由于客观条件的限制,视频制作者可能无法拍摄出最好的镜头。同时,这类节目由于其不确定性,导演往往会选择提前进行一次预演的拍摄,这需要耗费大量的人力物力,也会受到时间和天气等各种因素影响。所以高成本、低可控性和需要提前彩排是目前传统演艺节目的主要问题。但如果能将节目转移到虚拟场景中进行拍摄,则可以减少各种因素带来的影响,帮助导演方便快速的找到最佳拍摄方案,获得最佳的视觉效果,提高节目的制作效率并且减少大量的成本消耗。然而,虽然虚拟场景中拍摄有诸多优点,但是目前虚拟场景通常使用虚拟引擎人为搭建,手工建模相关的演艺场景这一过程过于复杂耗时,需要人为创建物体的材质、纹理本文档来自技高网...

【技术保护点】

1.一种虚拟相机位姿调整方法,其特征在于,所述方法包括:

2.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述预设虚拟相机位姿优化模型包括:

3.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述预设引导区域确定模型包括:

4.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度,包括:

5.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述第二梯度...

【技术特征摘要】

1.一种虚拟相机位姿调整方法,其特征在于,所述方法包括:

2.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述预设虚拟相机位姿优化模型包括:

3.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述预设引导区域确定模型包括:

4.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度,包括:

5.根据权利要求1所述的虚拟相机位姿调整方法,其特征在于,所述根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述...

【专利技术属性】
技术研发人员:吴晓雨金立标邱驹成
申请(专利权)人:中国传媒大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1