基于深度无偏估计的神经渲染方法、系统及设备技术方案

本发明专利技术属于三维重建领域，具体涉及了一种基于深度无偏估计的神经渲染方法、系统及设备，旨在解决现有的新视角图像合成和模型重建中，由于相机大幅度运动还会导致相机轨迹估计的不准确使得渲染图像可能出现失真、模糊的问题。本发明专利技术包括：获取同一目标物体的多张不同角度的图像；基于深度估计网络和采样点估计网络构建深度无偏估计渲染网络，并通过多重损失函数进行训练；逐张获取每一张输入图像对应的初始深度图，并通过线性变换参数转换为多视图一致的无偏深度图，采样并通过采样点估计网络获得颜色、深度和体密度。本发明专利技术通过将深度一致性引入到无姿态先验的神经辐射场训练中，解决了大幅度相机运动下的姿态估计和神经渲染的问题。

【技术实现步骤摘要】

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利技术的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素本文档来自技高网...

【技术保护点】

1.一种基于深度无偏估计的神经渲染方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于深度无偏估计的神经渲染方法，其特征在于，所述深度估计网络，采用多级编码解码的深度无偏估计网络实现，具体包括：

3.根据权利要求2所述的基于深度无偏估计的神经渲染方法，其特征在于，所述无偏深度图，其获得方法包括：

4.根据权利要求2所述的基于深度无偏估计的神经渲染方法，其特征在于，所述步骤S4，包括：

5.根据权利要求3所述的基于深度无偏估计的神经渲染方法，其特征在于，所述深度无偏估计渲染网络，其训练方法包括：

6.根据权利要求5所述的...

【技术特征摘要】

1.一种基于深度无偏估计的神经渲染方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于深度无偏估计的神经渲染方法，其特征在于，所述深度估计网络，采用多级编码解码的深度无偏估计网络实现，具体包括：

3.根据权利要求2所述的基于深度无偏估计的神经渲染方法，其特征在于，所述无偏深度图，其获得方法包括：

4.根据权利要求2所述的基于深度无偏估计的神经渲染方法，其特征在于，所述步骤s4，包括：

5.根据权利要求3所述的基于深度无偏估计的神经渲染方法，其特征在于，所述深度无偏估计渲染网络，其训练方法包括：

6.根据权利要求5所述的基于深度无偏估计的神经渲染方法，其特征在于，所述总损失函数为：

7.根据权利要求6所述的基于深度无偏...

【专利技术属性】
技术研发人员：方顺，张志恒，崔铭，冯星，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：