基于单视图神经辐射场的非刚性物体三维重建方法及系统技术方案

本发明专利技术公开一种基于单视图神经辐射场的非刚性物体三维重建方法，包括：首先，输入单张RGB图像，通过预训练的深度学习骨干网络提取全局特征，并结合语义分割网络生成物体的掩码图像。其次，采用神经辐射场变体pixelNeRF预测体积密度和颜色分布，嵌入动态变形场和参数化模板以约束形状合理性，解决单视图重建中的形状歧义性问题。接着，通过Marching Cubes算法提取网格模型，利用重建算法补全遮挡和细节，并使用纹理超分辨率技术增强表面真实感。最后，提供用户交互接口进行局部优化，并通过可微分物理引擎校正运动姿态，生成可驱动的三维动画模型。本发明专利技术结合单视图神经辐射场与动态形变建模技术，具有高精度、高效率、支持交互编辑、可生成驱动动画等优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与三维重建，尤其涉及一种基于单视图嵌入动态变形场和参数化模板神经辐射场变体的非刚性物体三维重建方法，具体为一种基于单视图神经辐射场的非刚性物体三维重建方法。

技术介绍

1、目前，非刚性物体三维重建方法主要有三维扫描重建、基于多视图重建和基于单视图重建等。三维扫描重建需要用到三维扫描仪，虽然精度高、重建效果好，但是其造价昂贵、操作流程复杂，难以普及。

2、基于多视图的三维重建方法随着深度学习技术的发展而兴起，目前也是非刚性物体重建所采取的主流方法。多视图重建具有较强的几何约束，精度高，能用于复杂的变形重建，主要方法有基于多尺度多视角图像特征先验并结合注意力机制的神经辐射场方法、基于运动恢复结构-多视角立体视觉(sfm-mvs)的三维重建方法等。但是这些通常需要在环境中搭建相机矩阵、同步多摄像头系统，导致经济和时间成本的消耗，并且很多特殊情况下没有办法获得物体的多视角图像，因此单视图重建技术开始逐渐发展。

3、单视图重建输入简单，往往只需要一张rgb图像即可进行重建，其在刚性物体的三维重建中表现出色，但是在非刚性本文档来自技高网...

【技术保护点】

1.基于单视图神经辐射场的非刚性物体三维重建方法，其特征在于，包括：

2.根据权利要求1所述基于单视图神经辐射场的非刚性物体三维重建方法，其特征在于，所述步骤1中的深度学习骨干网络，采用ResNet-50和Vision Transformer的混合架构，其中，ResNet-50通过其残差连接结构提取单一图像的局部特征，利用预训练的卷积神经网络层捕获物体表面的纹理细节和局部几何特征；Vision Transformer将输入图像分块处理，通过自注意力机制建立长距离依赖关系，用于捕捉物体的全局结构和姿态特征；两种网络的输出特征通过特征融合模块进行拼接和降维，形成包含多尺度信息的统...

【技术特征摘要】

1.基于单视图神经辐射场的非刚性物体三维重建方法，其特征在于，包括：

2.根据权利要求1所述基于单视图神经辐射场的非刚性物体三维重建方法，其特征在于，所述步骤1中的深度学习骨干网络，采用resnet-50和vision transformer的混合架构，其中，resnet-50通过其残差连接结构提取单一图像的局部特征，利用预训练的卷积神经网络层捕获物体表面的纹理细节和局部几何特征；vision transformer将输入图像分块处理，通过自注意力机制建立长距离依赖关系，用于捕捉物体的全局结构和姿态特征；两种网络的输出特征通过特征融合模块进行拼接和降维，形成包含多尺度信息的统一特征表示。

3.根据权利要求2所述基于单视图神经辐射场的非刚性物体三维重建方法，其特征在于，所述分类网络基于深度学习骨干网络提取的特征，通过全连接层和softmax函数输出物体的类别概率，并将类别概率作为先验知识嵌入到语义分割网络中；所述语义分割网络以深度学习骨干网络输出的融合特征作为输入，采用mask r-cnn和u-net的级联结构，输出像素级精度的二值掩码图像数据集。

4.根据权利要求1所述基...

【专利技术属性】
技术研发人员：黄嵩杰，归子涵，胡成超，钟晨，王靖宇，赵婕乐，苏贝奇，尹航，贺威，杨光义，
申请(专利权)人：武汉大学，
类型：发明
国别省市：