基于神经辐射场的三维重建方法、装置、设备及存储介质制造方法及图纸

本申请涉及图像处理技术领域，揭露一种基于神经辐射场的三维重建方法、装置、设备及存储介质，其中方法包括：获取若干多视角图像，并对每张多视角图像进行相机位姿估计和稀疏点云重建，得到拍摄相机信息和稀疏点云数据；基于稀疏点云数据，对多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将采样点三维位置信息与拍摄相机信息作为采样点信息；通过对采样点信息进行位置编码处理，得到目标采样点信息；将目标采样点信息转换为三维模型隐式表示，得到三维图像；对三维图像进行体素渲染，生成新视角图像，并将新视角图像从隐式表示的三维模型进行显示化表示，生成三维网格模型。本发明专利技术有利于提高三维模型的生成精度。成精度。成精度。

【技术实现步骤摘要】
基于神经辐射场的三维重建方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种基于神经辐射场的三维重建方法、装置、设备及存储介质。

技术介绍

[0002]在计算机图形学和计算机视觉中，三维重建是根据物体单视图或者多视图的图像对物体进行三维重建的过程，称为基于图像的几何建模(Image based modeling)。这种技术已逐渐成熟且走向实用阶段，有些软件能够让用户拿着普通相机或者手机对着要建模的实物从不同视角拍摄若干照片，然后软件就能根据这些照片自动地生成相应的3D模型。这种基于图片的建模技术提供给了非专业建模人士来构建3D模型新的工具。
[0003]当前主流的多视图三维重建算法仍为传统的基于立体视觉算法。然而，基于立体视觉的3D重建算法重建实时性差、计算量大、对图片采集要求较高，重建结果会存在边缘细节不清晰、模型空洞等情况，从而导致三维模型的生成精度较低。

技术实现思路

[0004]本申请实施例的目的在于提出一种基于神经辐射场的三维重建方法、装置、设备及存储介质，以提高三维模型生成的精度。
[0005]为了解决上述技术问题，本申请实施例提供一种基于神经辐射场的三维重建方法，包括：
[0006]获取若干多视角图像，并对每张所述多视角图像进行相机位姿估计和稀疏点云重建，得到所述多视角图像对应的拍摄相机信息和稀疏点云数据，其中，所述拍摄相机的空间位置和拍摄方向；
[0007]基于所述稀疏点云数据，对所述多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将所述采样点三维位置信息与所述拍摄相机信息作为采样点信息；
[0008]通过对所述采样点信息进行位置编码处理，得到目标采样点信息；
[0009]将所述目标采样点信息转换为三维模型隐式表示，得到隐式表示的三维图像；
[0010]对所述三维图像进行体素渲染，生成新视角图像，并将所述新视角图像从隐式表示的三维模型进行显示化表示，生成三维网格模型。
[0011]为了解决上述技术问题，本申请实施例提供一种基于神经辐射场的三维重建装置，包括：
[0012]多视角图像获取单元，用于获取若干多视角图像，并对每张所述多视角图像进行相机位姿估计和稀疏点云重建，得到所述多视角图像对应的拍摄相机信息和稀疏点云数据，其中，所述拍摄相机的空间位置和拍摄方向；
[0013]采样点信息生成单元，用于基于所述稀疏点云数据，对所述多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将所述采样点三维位置信息与所述拍
摄相机信息作为采样点信息；
[0014]位置编码单元，用于通过对所述采样点信息进行位置编码处理，得到目标采样点信息；
[0015]三维图像生成单元，用于将所述目标采样点信息转换为三维模型隐式表示，得到隐式表示的三维图像；
[0016]体素渲染单元，用于对所述三维图像进行体素渲染，生成新视角图像，并将所述新视角图像从隐式表示的三维模型进行显示化表示，生成三维网格模型。
[0017]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于神经辐射场的三维重建方法。
[0018]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于神经辐射场的三维重建方法。
[0019]本专利技术实施例提供了一种基于神经辐射场的三维重建方法、装置、设备及存储介质。其中，方法包括：获取若干多视角图像，并对每张多视角图像进行相机位姿估计和稀疏点云重建，得到多视角图像对应的拍摄相机信息和稀疏点云数据，其中，拍摄相机的空间位置和拍摄方向；基于稀疏点云数据，对多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将采样点三维位置信息与拍摄相机信息作为采样点信息；通过对采样点信息进行位置编码处理，得到目标采样点信息；将目标采样点信息转换为三维模型隐式表示，得到隐式表示的三维图像；对三维图像进行体素渲染，生成新视角图像，并将新视角图像从隐式表示的三维模型进行显示化表示，生成三维网格模型。本专利技术实施例通过引入神经辐射场的隐式表示对三维模型进行表示，有利于提高三维模型的生成精度。
附图说明
[0020]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的基于神经辐射场的三维重建方法流程的一实现流程图；
[0022]图2是本申请实施例提供的基于神经辐射场的三维重建方法中子流程的又一实现流程图；
[0023]图3是本申请实施例提供的基于神经辐射场的三维重建方法中子流程的又一实现流程图；
[0024]图4是本申请实施例提供的基于神经辐射场的三维重建方法中子流程的又一实现流程图；
[0025]图5是本申请实施例提供的基于神经辐射场的三维重建装置示意图；
[0026]图6是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0027]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0030]下面结合附图和实施方式对本专利技术进行详细说明。
[0031]需要说明的是，本申请实施例所提供的基于神经辐射场的三维重建方法一般由服务器执行，相应地，基于神经辐射场的三维重建装置一般配置于服务器中。
[0032]请参阅图1，图1示出了基于神经辐射场的三维重建方法的一种具体实施方式。
[0033]需注意的是，若有实质上相同的结果，本专利技术的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
[0034]S1：获取若干多视角图像，并对每张多视角图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的三维重建方法，其特征在于，包括：获取若干多视角图像，并对每张所述多视角图像进行相机位姿估计和稀疏点云重建，得到所述多视角图像对应的拍摄相机信息和稀疏点云数据，其中，所述拍摄相机信息的空间位置和拍摄方向；基于所述稀疏点云数据，对所述多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将所述采样点三维位置信息与所述拍摄相机信息作为采样点信息；通过对所述采样点信息进行位置编码处理，得到目标采样点信息；将所述目标采样点信息转换为三维模型隐式表示，得到隐式表示的三维图像；对所述三维图像进行体素渲染，生成新视角图像，并将所述新视角图像从隐式表示的三维模型进行显示化表示，生成三维网格模型。2.根据权利要求1所述的基于神经辐射场的三维重建方法，其特征在于，所述基于所述稀疏点云数据，对所述多视角图像进行图像特征提取和采样处理，得到采样点三维位置信息，并将所述采样点三维位置信息与所述拍摄相机信息作为采样点信息，包括：通过神经网络模型对所述多视角图像进行图像特征提取，得到图像特征；基于所述稀疏点云数据和所述图像特征进行采样处理，得到所述采样点三维位置信息；将所述采样点三维位置信息与所述拍摄相机信息作为所述采样点信息。3.根据权利要求2所述的基于神经辐射场的三维重建方法，其特征在于，所述基于所述稀疏点云数据和所述图像特征进行采样处理，得到所述采样点三维位置信息，包括：基于所述稀疏点云数据和所述图像特征，结合均匀采样的方式，对在新的视角下光线投影的信息表征点进行采样，得到所述采样点三维位置信息。4.根据权利要求1所述的基于神经辐射场的三维重建方法，其特征在于，所述通过对所述采样点信息进行位置编码处理，得到目标采样点信息，包括：将所述采样点信息中的所述采样点三维位置信息映射到高维空间，并基于所述采样点三维位置信息和所述拍摄相机信息构建映射关系，以对所述采样点信息进行位置编码处理，得到所述目标采样点信息。5.根据权利要求1所述的基于神经辐射场的三维重建方法，其特征在于，所述目标采样点包括目标三维位置信息和目标拍摄相机信息，所述将所述目标采样点信息转换为三维模型隐式表示，得到隐式表示的三维图像，包括：将所述目标三维位置信息输入到第一全连接层中进行卷积处理和激活处理，得到中间特征和体素密度；将所述中间特征和所述目标拍摄相机信息进行拼接...

【专利技术属性】
技术研发人员：高立刚，齐镗泉，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：