一种基于深度估计的单目物体三维重建方法及装置制造方法及图纸

技术编号:44907687 阅读:26 留言:0更新日期:2025-04-08 18:53
本说明书实施例公开了一种基于深度估计的单目物体三维重建方法及装置,包括:获取待处理的多视角图像;基于图像分割模型,对所述待处理的多视角图像进行分割,获取多视角场景线索以及多视角物体图像;基于所述多视角物体图像,通过预设的视觉大模型组合获取一致性特征,以及基于所述多视角场景线索,通过预设的Transformer模型获取解构特征;所述一致性特征与所述解构特征,通过扩散Unet模型进行融合重建,获得超分隐编码;基于所述多视角场景线索以及所述超分隐编码进行多层次深度预测,获得深度信息;基于所述深度信息进行三维重建,生成单目目标图像。

【技术实现步骤摘要】

本说明书涉及计算机及图像识别,尤其涉及一种基于深度估计的单目物体三维重建方法及装置


技术介绍

1、多视角物体重建作为计算机视觉领域的重要研究方向,为目标物体的三维重建提供了技术手段。

2、传统的多视角立体方法(multi-view stereo,mvs)通过模块化流程如特征匹配、深度预测和融合等步骤实现三维物体重建。然而,近年来神经视点合成(neural viewsynthesis,nvs)的突破,特别是神经辐射场(neural radiance fields,nerf)的引入,极大推动了该领域的发展。nerf通过多层感知器对几何形状和视角依赖的外观进行建模,并通过体积渲染优化,带来了卓越的渲染质量。随着计算机视觉技术的发展,多视角物体三维重建,依然面临着诸多问题。重建过程中缺乏精细的深度估计和网格生成策略,导致在处理复杂场景或物体表面时无法捕捉到微小细节,进而导致分辨率低,细节刻画不足;由于过度重视渲染效果,而导致三维重建结果失真,重建结果在几何一致性上存在缺陷;同时,由于未考虑多视角一致性表征的问题,导致多视角信息的整合的精准度差,导致三本文档来自技高网...

【技术保护点】

1.一种基于深度估计的单目物体三维重建方法,其特征在于,所述单目物体三维重建方法包括:

2.如权利要求1所述的单目物体三维重建方法,其特征在于,所述多视角场景线索为物体级token,所述多视角场景线索包括每个元素的特征、位置和检测框信息;

3.如权利要求1所述的单目物体三维重建方法,其特征在于,所述预设的视觉大模型组合包括三个视觉大模型,三个视觉大模型并联连接,所述预设的视觉大模型包括:用于语义特征提取的视觉大模型、用于纹理特征提取的视觉大模型和用于结构特征提取的视觉大模型;

4.如权利要求3所述的单目物体三维重建方法,其特征在于,所述一致性特征的获取...

【技术特征摘要】

1.一种基于深度估计的单目物体三维重建方法,其特征在于,所述单目物体三维重建方法包括:

2.如权利要求1所述的单目物体三维重建方法,其特征在于,所述多视角场景线索为物体级token,所述多视角场景线索包括每个元素的特征、位置和检测框信息;

3.如权利要求1所述的单目物体三维重建方法,其特征在于,所述预设的视觉大模型组合包括三个视觉大模型,三个视觉大模型并联连接,所述预设的视觉大模型包括:用于语义特征提取的视觉大模型、用于纹理特征提取的视觉大模型和用于结构特征提取的视觉大模型;

4.如权利要求3所述的单目物体三维重建方法,其特征在于,所述一致性特征的获取为:

5.如权利要求1所述的单目物体三维重建方法,其特征在于,所述解构特征包括:法线解构特征、轮廓解构特征和角点解构特征;

6.如权利...

【专利技术属性】
技术研发人员:范肇心郑志明
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1