基于显式几何形变的实时动态自由视角合成方法及装置制造方法及图纸

本发明专利技术公开了一种基于显式几何形变的实时动态场景自由视角合成方法及装置，在预处理阶段，获得基准坐标系下的神经辐射场与对应显式几何表示；同时提取实时辐射场和显式几何形变，在运行阶段，首先将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的矩阵变换关系，并通过相机投影将世界坐标系下的显示几何映射到屏幕空间，对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角获得少量需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。本发明专利技术在实时获得自由视角合成的同时能够很好的控制储存空间与内存开销，并能够高质量的将实时辐射场拓展到动态场景。到动态场景。到动态场景。

【技术实现步骤摘要】
基于显式几何形变的实时动态自由视角合成方法及装置


[0001]本专利技术属于计算机视觉领域，尤其涉及一种基于显式几何形变的实时动态自由视角合成方法及装置。

技术介绍

[0002]自由视角合成（即动态场景的自由视角合成）在增强现实、虚拟现实领域及体育转播和远程会议上有着众多实际应用场景。近年来元宇宙概念的兴起，实时动态场景下的自由视角合成技术成为连接人体感官与真实虚拟场景的桥梁。
[0003]静态场景的自由视角合成的目的是：给定一系列同一场景不同视角下的图像，获取该场景在任意新视角（即新的相机位姿）下的图像。动态场景的自由视角合成解决的是给定同一动态场景在不同视角下的图像（例如足球场上运动的球员、视频会议中进行演讲的汇报人、或草坪上玩耍的猫），获取该场景在任意新视角以及场景中物体任意新动作下的图像。而实时动态场景自由视角合成便是要求输入新视角与新动作后即时获得上述图像。
[0004]现有解决自由视角合成问题的方法可以分为基于基图片绘制和基于场景重建两类。基于基图片的方法可以获得较好的自由视角图像质量，但其视角与时序连续性受到基图片数量限制。基于场景重建方法通过三维重建技术获得场景集合并通过图形学渲染得到新视角下的图像，但此类方法往往只能处理静态场景的自由视角合成，且其真实感依赖于渲染管线。
[0005]神经辐射场是近年来兴起的通过体渲染对场景的颜色与几何进行隐式重建的方法，这类方法将静态场景表达为3维坐标点与2维视角方向的5维函数（用神经网络拟合获得），通过对屏幕采样射线进行体渲染获得自由视角合成结果，能够生成具有真实感且视角连续的新视角合成结果，但受网络查询效率与体渲染的限制，其运行时速度很慢且无法处理动态环境。
[0006]为了提高神经辐射场的运行时速度，有方法提出通过离散并缓存神经辐射场，并通过数据压缩与投影方法提高神经辐射场的运行时速度，达到实时静态场景的真实感自由视角合成，但该类方法往往有很大的储存开销与内存开销，无法应用于动态场景。
[0007]为了将神经辐射场应用于动态场景的自由视角合成，还有一类方法提出使用神经形变场或动态神经辐射场对动态场景进行恢复与自由视角合成，但这类方法的运行时速度仍受限于体渲染的大量采样与神经网络的时间开销，且由于神经形变场的可延伸性较弱，此类方法一般不能处理场景中原本不存在的新动作。

技术实现思路

[0008]本专利技术针对现有技术的不足，提供一种基于显式几何形变的实时动态自由视角合成方法及装置，本专利技术方法基于显式几何（例如三角网格模型等显式表面模型）的形变场（即不同坐标系下的矩阵变换关系），将有效神经辐射场采样点映射到基准场景坐标系，同时采用离散化与缓存方法加速基准神经辐射场渲染效率。
[0009]本专利技术的目的是通过以下技术方案实现的：根据本专利技术的第一方面，提供一种基于显式几何形变的实时动态自由视角合成方法，该方法包括预处理阶段和运行阶段；(1)预处理阶段，包括：(1.1)给定动态场景的多视角视频，重建出基准坐标系下的神经辐射场与对应显式几何表示；(1.2)根据基准坐标系下的神经辐射场，提取动态场景对应的基准坐标系下的实时辐射场；提取基准坐标系下显示几何和动态场景对应的形变场；(2)运行阶段，包括：(2.1)将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的变换关系，并通过投影将世界坐标系下的显示几何映射到屏幕空间；(2.2)对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角信息获得需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。
[0010]进一步地，步骤(1.1)中，所述神经辐射场的输入为三维空间点位置以及二维观察方向，输出为三维空间点的颜色以及空间点透明度。
[0011]进一步地，步骤(1.1)中，在重建基准坐标系下的神经辐射场的过程中，引入对神经辐射场几何部分的相似性约束，使得空间中邻近点的基准坐标系法向、世界坐标系法向以及位移场空间运动速度相近。
[0012]进一步地，步骤(1.1)中，神经辐射场的颜色坐标多层感知机的输入为基准坐标系下的观察方向。
[0013]进一步地，步骤(1.2)中，提取实时辐射场的过程中，过滤距离显式几何超过设定距离阈值的网格点，将实时辐射场中八叉树同一叶子节点下不同三维空间位置的采样点均用于该叶子节点的球谐函数投影。
[0014]进一步地，步骤(1.2)中，利用参数化梯度下降算法结合位移场的连续性，优化获得显式几何位移场的逆，基于自动梯度求解算法进行求解初始化。
[0015]进一步地，步骤(2.1)中，利用顶点着色器并行应用显式几何形变场，并进行投影变换，以获得从基准坐标系到屏幕空间的变换关系。
[0016]进一步地，步骤(2.1)中，对于人体数据，利用顶点着色器并行应用线性骨骼蒙皮动画的正向算法的变换关系，获得从形变坐标系到世界坐标系的变换关系。
[0017]进一步地，步骤(2.2)中，利用渲染过程以及形变过程的变换关系的逆，通过片段着色器并行地将体渲染所需的采样点以及射线映射到基准坐标系，采样基准坐标系下实时辐射场，利用片段着色器并行运行体渲染算法。
[0018]根据本专利技术的第二方面，提供一种基于显式几何形变的实时动态自由视角合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述基于显式几何形变的实时动态自由视角合成方法。
[0019]本专利技术的有益效果是：由于本专利技术方法基于显式几何的形变场进行动态场景与抽象基准场景的映射，可以完成任意动作下的新视角合成，包括场景中原本不存在的动作。
[0020]由于运行时渲染的所有步骤都可通过GPU并行加速进行，本专利技术方法可以达成实时动态场景的自由视角合成。
[0021]本专利技术提出的方法无需对不同动作进行缓存与离散化，在实时获得自由视角视频的同时能很好的控制储存空间与内存开销，能很好的将实时辐射场拓展到动态场景。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术实施例的整体流程示意图。
[0024]图2是本专利技术实施例的动态神经辐射场重建流程示意图。
[0025]图3是本专利技术实施例的形变场与实时辐射场提取流程示意图。
[0026]图4是本专利技术实施例的动态神经辐射场实时渲染流程示意图。
[0027]图5为本专利技术实施例提供的基于显式几何形变的实时动态自由视角合成装置结构图。
具体实施方式
[0028]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。
[0029]在下面的描述中阐述了很多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显式几何形变的实时动态自由视角合成方法，其特征在于，包括预处理阶段和运行阶段；(1)预处理阶段，包括：(1.1)给定动态场景的多视角视频，重建出基准坐标系下的神经辐射场与对应显式几何表示；(1.2)根据基准坐标系下的神经辐射场，提取动态场景对应的基准坐标系下的实时辐射场；提取基准坐标系下显示几何和动态场景对应的形变场；(2)运行阶段，包括：(2.1)将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的变换关系，并通过投影将世界坐标系下的显示几何映射到屏幕空间；(2.2)对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角信息获得需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。2.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，所述神经辐射场的输入为三维空间点位置以及二维观察方向，输出为三维空间点的颜色以及空间点透明度。3.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，在重建基准坐标系下的神经辐射场的过程中，引入对神经辐射场几何部分的相似性约束，使得空间中邻近点的基准坐标系法向、世界坐标系法向以及位移场空间运动速度相近。4.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，神经辐射场的颜色坐标多层感知机的输入为基准坐标系下的观察方向。5.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于...

【专利技术属性】
技术研发人员：徐震，孙佳明，鲍虎军，周晓巍，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：