基于无向距离函数的单目三维模型生成方法及装置制造方法及图纸

技术编号:43468779 阅读:20 留言:0更新日期:2024-11-27 13:06
本发明专利技术提出一种基于无向距离函数的单目三维模型生成方法和装置,结合来自多视图扩散模型的数据先验和无符号距离场UDF重建器带来的几何先验。具体而言,我们利用了一个联合框架,该框架由以下部分组成:生成模块:利用扩散模型带来的数据先验,优化浅层密度网络,从而提供来自任意视图的一致渲染。重建模块:引入几何先验来正则化深层UDF网络,该网络将生成模块的渲染结果提取成精确的几何体。场耦合器:在扩散过程中建立来自UDF到渲染的正反馈,从而显着提高生成模块的几何感知能力,同时不影响UDF分布。

【技术实现步骤摘要】

本专利技术涉及人工智能、计算机图形学和三维建模。


技术介绍

1、三维生成模型。近年来,生成对抗网络gan的进步使得二维图像合成领域取得了重大进展。最近,人们越来越关注利用基于三维感知的生成对抗网络gan技术,仅从二维图像中获取有关三维形状的知识,而无需显式的三维数据。然而,值得一提的是,基于gan的方法在训练稳定性和对多样化物体的处理能力方面仍然面临挑战。扩散模型之前已经在二维新视图合成中得到了研究,其为三维生成研究中的应用开辟了新的探索途径。这是通过它们与神经辐射场nerf、特征网格和三平面的集成来实现的。

2、基于二维扩散模型的三维生成:近期二维升维(2d-lifting)方法的进展展示了预训练二维生成模型在从二维图像生成三维数据的潜力。基于这些二维先验,即分数蒸馏采样(sds)或变分得分蒸馏(vsd)技术在各种研究中被普遍用于基于文本或视觉输入构建三维模型。zero123被提出用于根据参考图像和位置作为调节因素来生成来自不同视角的图像。该先验的利用可以通过得分蒸馏采样技术用于神经辐射场的优化。magic123结合了二维和三维扩散先验来提高本文档来自技高网...

【技术保护点】

1.一种基于无向距离函数的单目三维模型生成方法,其特征在于,包括:

2.如权利要求1所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该生成步骤包括:

3.如权利要求2所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该第一编码特征还包括该无符号距离场模型输出的无向距离值,具体来说通过下式将该无向距离值与该神经辐射场模型输出的密度进行融合:

4.如权利要求2所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该重建步骤还包括:根据该重建多视角图像和该目标多视角图像构建第三损失函数,该第二损失函数和该第三损失函数一起训练更新该重建模...

【技术特征摘要】

1.一种基于无向距离函数的单目三维模型生成方法,其特征在于,包括:

2.如权利要求1所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该生成步骤包括:

3.如权利要求2所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该第一编码特征还包括该无符号距离场模型输出的无向距离值,具体来说通过下式将该无向距离值与该神经辐射场模型输出的密度进行融合:

4.如权利要求2所述的基于无向距离函数的单目三维模型生成方法,其特征在于,该重建步骤还包括:根据该重建多视角图像和该目标多视角图像构建第三损失函数,该第二损失函数和该第三损失函数一起训练更新该重建模块。

5.一种基于无向距离函数的单目三维模型生成装置,其特征在于,包括:

6.如权利要求1所述的基于无向距离函数的单目三维模型生成装置,其特征在于...

【专利技术属性】
技术研发人员:高林刘玉涛陈伟凯杨洁孟晓旭杨博
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1