基于单目视图的三维重建方法与装置制造方法及图纸

技术编号:26794301 阅读:42 留言:0更新日期:2020-12-22 17:10
本公开的实施例公开了基于单目视图的三维重建方法与装置。该方法的一具体实施方式包括:获取输入图像;对上述输入图像进行多次卷积处理,得到多层特征图序列;将上述多层特征图序列中的第二层特征图输入至局部特征增强模块以生成局部增强特征图集;响应于对上述多层特征图序列中的最后一层特征图进行卷积操作得到的全局特征图,将上述全局特征图与上述局部增强特征图集进行融合,得到整体特征图;将上述整体特征图输入至三维部件生产器以生成具有部件级信息的三维信息。该实施方式实现了快速准确地呈现三维空间中各个部件级信息。

【技术实现步骤摘要】
基于单目视图的三维重建方法与装置
本公开的实施例涉及计算机
,具体涉及基于单目视图的三维重建方法与装置。
技术介绍
从图片的信息重建对应的三维模型,是理解并且和这个世界进行交互的重要步骤。相关的三维重建方法往往基于同一物体的多个不同视图之间的相关关系,估计出物体的三维模型,或着通过单目图像重建出三维模型。然而,当采用上述方法进行三维模型的重建,经常会存在以下技术问题:第一,基于同一物体的多个不同视图之间的相关关系估计的三维模型往往依赖于额外的辅助信息,局部特征的表现性较弱,难以呈现精细化的局部特征结构;第二,在生成三维空间中各个部件级信息时速度较慢,且准确度不高。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了基于单目视图的三维重建方法与装置,来解决以上
技术介绍
部分提到的技术问题中的一项或多项。<本文档来自技高网...

【技术保护点】
1.一种基于单目视图的三维重建方法,包括:/n获取输入图像;/n对所述输入图像进行多次卷积处理,得到多层特征图序列;/n将所述多层特征图序列中的第二层特征图输入至局部特征增强模块以生成局部增强特征图集;/n响应于对所述多层特征图序列中的最后一层特征图进行卷积操作得到的全局特征图,将所述全局特征图与所述局部增强特征图集进行融合,得到整体特征图;/n将所述整体特征图输入至三维部件生产器以生成具有部件级信息的三维信息。/n

【技术特征摘要】
1.一种基于单目视图的三维重建方法,包括:
获取输入图像;
对所述输入图像进行多次卷积处理,得到多层特征图序列;
将所述多层特征图序列中的第二层特征图输入至局部特征增强模块以生成局部增强特征图集;
响应于对所述多层特征图序列中的最后一层特征图进行卷积操作得到的全局特征图,将所述全局特征图与所述局部增强特征图集进行融合,得到整体特征图;
将所述整体特征图输入至三维部件生产器以生成具有部件级信息的三维信息。


2.根据权利要求1所述的方法,其中,所述对所述输入图像进行多次卷积处理,得到多层特征图序列,包括:
利用预先训练的网络,对所述输入图像进行高层特征提取,得到高层特征;
将所述高层特征进行多次卷积特征提取,得到多层特征图序列。


3.根据权利要求2所述的方法,其中,所述将所述多层特征图序列中的第二层特征图输入至局部特征增强模块以生成局部增强特征图集,包括:
基于所述多层特征图序列中的第二层特征图,通过将预设滑动窗口块进行堆叠,得到一个块列表;
基于所述块列表,自适应学习所述块列表中每块的权重,得到块列表的权重;
基于所述块列表的权重,选取预定数目个块列表作为局部增强特征图集。


4.根据权利要求3所述的方法,其中,所述响应于对所述多层特征图序列中的最后一层特征图进行卷积操作得到的全局特征图,将所述全局特征图与所述局部增强特征图集进行融合,得到整体特征图,包括:
将所述多层特征图序列中的最后一层特征图进行卷积操作,得到的全局特征图;
利用以下公式,将所述全局特征图与所述局部增强特征图集进行融合,得到整体特征图:



其中,Fen表示整体特征图,Fc表示第二层特征图,ξ()表示局部特征增强操作,ξ(Fc)表示对第二层特征图进行局部增强操作得到的局部增强特征图集,表示融合操作,δ()表示ELU激活函数,w()表示卷积操作,Fl表示多层特征图序列中的最后一层特征图,w(Fl)表示对多层特征图序列中的最后一层特征图进行卷积操作,b表示卷积操作中的偏移量,δ(w(Fl)+b)表示多层特征图序列中的最后一层特征图经过卷积操作后输入至ELU激活函数得到的全局特征图。


5.根据权利要求4所述的方法,其中,所述将所述整体特征图输入至三维部件生产器以生成具有部件级信息的三维信息,包括:
将所述整体特征图进行重新排列,得到四维特征作为第一特征;
基于交叉熵损失公式和三维焦点损失公式,对所述第一特征进行一系列反卷积操作,得到具有部件级信息的三维信息。


6.根据权利要求5所述的方法,其中,所述...

【专利技术属性】
技术研发人员:李甲石鼎丰赵一凡赵沁平
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1