基于2D图像重建3D图像方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于2D图像重建3D图像方法、装置、设备及存储介质，其中方法包括：利用预先训练好的点云重建模型的分布特征编码网络提取2D图像的编码特征向量，所述点云重建模型包括所述分布特征编码网络、用于进行形状处理的第一渐进映射生成器和用于进行结构细节处理的第二渐进映射生成器；根据所述第一渐进映射生成器对所述编码特征向量进行处理，生成稀疏点云；根据所述第二渐进映射生成器对所述稀疏点云进行处理，生成高密度点云；根据所述高密度点云构建3D图像。本发明专利技术通过多阶段渐进映射生成机制来重构2D图像的高密度点云，以降低重建3D图像的误差。降低重建3D图像的误差。降低重建3D图像的误差。

【技术实现步骤摘要】
基于2D图像重建3D图像方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种基于2D图像重建3D图像方法、装置、设备及存储介质。

技术介绍

[0002]脑机接口是指在人或动物大脑与外部设备之间创建的直接连接，并完成脑与设备的信息交换以达到影响设备操作的目的。脑机接口的研究极具社会意义和现实意义，有助于提高机械的工作效率，并实现人操控机械、人操控活物等场景，从而进一步解放社会生产力。确保脑机接口可以精确胜任复杂的工作的最主要因素就是通过微创手术向操控者的大脑指定区域安装大量数目的脑电极以捕捉大脑信号。目前，随着脑机接口技术的发展，其所需要的探测脑部信号的电极的数量呈指数级增长，这给为大脑安装电极的脑机接口手术带来了新的挑战。在脑机接口手术中，大规模电极的准确安装除了有赖于医生的技术水平，也和手术大脑在术中的精确建模、定位数字化有很大关系。
[0003]目前的主流术中建模、定位方法是目标的3D重建，即通过标的物（如2D图像、实时影像）和影像算法重建出部分或完整的大脑3D结构。在当前的3D重建工作中，点云是信息载本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于2D图像重建3D图像方法，其特征在于，包括：利用预先训练好的点云重建模型的分布特征编码网络提取2D图像的编码特征向量，所述点云重建模型包括所述分布特征编码网络、用于进行形状处理的第一渐进映射生成器和用于进行结构细节处理的第二渐进映射生成器；根据所述第一渐进映射生成器对所述编码特征向量进行处理，生成稀疏点云；根据所述第二渐进映射生成器对所述稀疏点云进行处理，生成高密度点云；根据所述高密度点云构建3D图像。2.根据权利要求1所述的基于2D图像重建3D图像方法，其特征在于，所述第一渐进映射生成器包括树结构的跨域多结构图卷积网络和高尺度形状判别网络；所述根据所述第一渐进映射生成器对所述编码特征向量进行处理，生成稀疏点云，包括：将所述编码特征向量输入至所述树结构的跨域多结构图卷积网络，得到第一初始点云；利用所述高尺度形状判别网络判别所述第一初始点云在第一预设尺度上的形状完善程度，并引导所述树结构的跨域多结构图卷积网络优化所述第一初始点云，得到所述稀疏点云。3.根据权利要求2所述的基于2D图像重建3D图像方法，其特征在于，所述第二渐进映射生成器包括堆叠结构的跨域多结构图卷积网络和低尺度细节判别网络；所述根据所述第二渐进映射生成器对所述稀疏点云进行处理，生成高密度点云，包括：利用所述堆叠结构的跨域多结构图卷积网络对所述稀疏点云进行上采样操作，生成第二初始点云；利用所述低尺度细节判别网络判别所述第二初始点云在第二预设尺度上的结构可信程度，并引导所述堆叠结构的跨域多结构图卷积网络优化所述第二初始点云，得到所述高密度点云，所述第二预设尺度的精度高于所述第一预设尺度。4.根据权利要求1所述的基于2D图像重建3D图像方法，其特征在于，预先训练所述点云重建模型的步骤，包括：获取2D样本图像和所述2D样本图像对应的真实点云，并构建待训练的点云重建模型；利用所述分布特征编码网络从所述2D样本图像提取得到样本编码特征向量，并计算得到所述样本编码特征向量的KL散度；将所述样本编码特征向量输入至所述第一渐进映射生成器，生成样本稀疏点云，并利用预设规则计算得到所述稀疏点云与所述真实点云之间的第一倒角距离和第一推土机距离；将所述样本稀疏点云输入至所述第二渐进映射生成器，生成样本高密度点云，并利用所述预设规则计算得到所述高密度点云与所述真实点云之间的第二倒角距离和第二推土机距离；利用基于所述KL散度、所述第一倒角距离和所述第一推土机距离构建的第一损失函数反向更新所述第一渐进映射生成器，并利用基于所述KL散度、所述第二倒角距离和所述第二推土机距离构建的第二损失函数反向更新所述第二渐进映射生成器。5.根据权利要求...

【专利技术属性】
技术研发人员：王书强，胡博闻，申妍燕，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：