【技术实现步骤摘要】
三维模型重建方法、装置、设备、存储介质及程序产品
[0001]本公开涉及计算机视觉
，尤其涉及一种三维模型重建方法、装置、设备、存储介质及程序产品。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]三维场景的渲染与重建是利用场景的多视角图像信息提取出场景和物体的三维信息，渲染出特定观测视角的场景图像和重建出三维场景的结构模型，是计算机视觉中的一个重要内容。基于深度学习的三维重建主要使用了深度神经网络的学习和拟合能力，对图像进行三维重建。
[0004]然而，现有技术中的三维模型重建方案存在处理过程冗余的问题，因而导致三维模型重建效率较低。
技术实现思路
[0005]有鉴于此，本公开的目的在于提出一种三维模型重建方法、装置、设备、存储介质及程序产品，至少在一定程度上解决相关技术中的技术问题之一。
[0006]基于上述目的，本公开示例性实施例第一方面提供了一种三维模型重建方法，包括：
【技术保护点】
【技术特征摘要】
1.一种三维模型重建方法，其特征在于，包括：获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，包括：利用Instant
‑
NGP引擎中的CUDA体渲染框架进行所述渲染。3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，包括：对于同一采样射线上的所述采样点，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，基于所述球内采样点进行球内颜色渲染和基于所述球外采样点进行球外颜色渲染，得到球内渲染颜色和球外渲染颜色；对所述球内渲染颜色和所述球外渲染颜色进行加权，得到所述采样射线的渲染颜色；将所述采样射线的渲染颜色作为所述采样射线在所述图像中对应的所述目标像素点的渲染颜色。4.根据权利要求1所述的方法，其特征在于，所述基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色，包括：根据所述球内采样点的位置，基于所述符号距离网络，得到所述球内采样点的符号距离、法向量和特征编码，根据所述符号距离和法向量，得到所述球内采样点的体密度；根据所述球内采样点的位置、法向量和特征编码以及采样射线的方向，基于所述球内颜色预测网络，得到所述球内采样点的预测颜色；根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色。5.根据权利要求4所述的方法，其特征在于，所述根据所述符号距离和法向量，得到所述球内采样点的体密度，包括：获取所述法向量与所述采样射线的方向的夹角余弦值；基于拉普拉斯累积分布函数，根据所述符号距离和所述夹角余弦值，得到所述球内采样点的体密度。6.根据权利要求4所述的方法，其特征在于，所述神经辐射网络中包括体密度网络和球
外颜色预测网络，所述根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色，包括：根据所述球外采样点的位置，基于所述体密度网络，得到所述球外采样点的体密度和特征编码；根据所述球外采样点的位置和特征编码以及所述采样射线的方向，得到所述球外采样点的预测颜色。7...
【专利技术属性】
技术研发人员：张永强，徐文婷，丁京祯，赵超逸，赵敏达，赵增，李林橙，刘柏，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。