一种基于RGB-D三维重建的刚性物体虚实遮挡方法技术

技术编号:40423400 阅读:29 留言:0更新日期:2024-02-20 22:43
本发明专利技术提出一种基于RGB‑D三维重建的刚性物体虚实遮挡方法,涉及增强现实的技术领域,基于四叉树结构的改进ORB算法提取RGB‑D视频序列中每一帧深度图像的特征点,建立并筛选稀疏对应关系,获取稀疏的全局位姿,对稀疏的相机全局位姿进行优化,利用八叉树结构对表面重建算法TSDF进行优化,得到完整的真实场景三维模型,最后利用相机的全局位姿估计,计算真实场景和虚拟物体的三维信息,得到虚拟物体和真实场景的深度关系,比较虚拟物体和真实场景的深度关系,得到虚实遮挡结果,并进行遮挡剔除,实现了刚性物体准确的虚实遮挡效果,提升AR应用中虚实融合场景的真实感。

【技术实现步骤摘要】

本专利技术涉及增强现实的,更具体地,涉及一种基于rgb-d三维重建的刚性物体虚实遮挡方法。


技术介绍

1、增强现实(augmented reality,ar)技术在用户周围的现实世界呈现由计算机构建的虚拟物体以及作为提示的文字、图案、视频等信息,并允许用户与虚拟世界信息进行自然交互。在早期的ar应用中,并未考虑虚拟物体与真实物体的空间位置关系,只是简单地将虚拟物体叠加到场景中,可能会导致虚拟物体错误地遮挡真实物体,错误的虚实遮挡关系不仅会降低ar系统的真实性,使用户产生视觉疲劳,且在诸如外科手术、工业装配等需要严格确认前后位置关系的应用中会带来难以估计的后果和损失。

2、在ar场景中,真实物体既可能是刚性物体,也可能是用户的手或进入视场的其他用户等非刚性物体。不同领域的ar应用对虚实遮挡效果的要求不同,近年来国内外研究人员针对虚实遮挡问题提出大量的解决方案,其中,刚性物体的遮挡处理方法可以分为基于模型和基于深度两种方法。其中,基于模型的方法多用于对静态的真实场景进行遮挡处理,适用于大部分刚性物体,首先需要构建三维模型并将模型放置在场景对应位置,本文档来自技高网...

【技术保护点】

1.一种基于RGB-D三维重建的刚性物体虚实遮挡方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于RGB-D三维重建的刚性物体虚实遮挡方法,其特征在于,设深度相机实时获取的RGB-D视频序列为S,表示为:S={fi=(Ci,Dinp_i)},其中,fi表示视频流帧中的第i帧图像,Ci表示RGB视频流,Dinp_i表示RGB视频流对应的深度视频流,深度视频流Dinp_i的每一帧深度图像Di的像素点为pd(ud,vd),则满足:

3.根据权利要求2所述的基于RGB-D三维重建的刚性物体虚实遮挡方法,其特征在于,设在以w为圆心,以R为半径的圆形邻域内,若w周...

【技术特征摘要】

1.一种基于rgb-d三维重建的刚性物体虚实遮挡方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于rgb-d三维重建的刚性物体虚实遮挡方法,其特征在于,设深度相机实时获取的rgb-d视频序列为s,表示为:s={fi=(ci,dinp_i)},其中,fi表示视频流帧中的第i帧图像,ci表示rgb视频流,dinp_i表示rgb视频流对应的深度视频流,深度视频流dinp_i的每一帧深度图像di的像素点为pd(ud,vd),则满足:

3.根据权利要求2所述的基于rgb-d三维重建的刚性物体虚实遮挡方法,其特征在于,设在以w为圆心,以r为半径的圆形邻域内,若w周围的x个像素中相邻n个像素与圆心w的灰度值之差小于设定的阈值,则w为某一帧深度图像的特征点;

4.根据权利要求3所述的基于rgb-d三维重建的刚性物体虚实遮挡方法,其特征在于,进行帧间特征点匹配和筛选的过程包括:

5.根据权利要求4所述的基于rgb-d三维重建的刚性物体虚实遮挡方法,其特征在于,的重投影误差的表达式为:

6.根据...

【专利技术属性】
技术研发人员:张炜何露
申请(专利权)人:广州市大湾区虚拟现实研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1