一种基于深度图像数据流的虚实遮挡处理方法技术

本发明专利技术涉及一种基于深度图像数据流的虚实遮挡处理方法，包括场景点云模型的构建、三维空间注册和虚实遮挡处理并渲染三个部分。首先将深度相机采集的深度数据进行滤波等预处理操作，并计算每一点的法向量；然后根据带有法向量的点云和利用上一帧相机位姿从三维场景模型投影得到的点云，采用最近点迭代算法计算相机位姿；然后将当前帧的点云融合到三维场景的点云模型中；在重建场景的同时，实时计算深度相机采集的彩色图像特征点，通过与模板图像特征点匹配来进行三维空间注册；然后通过得到的相机姿态去处理虚拟物体和三维场景的空间位置关系和遮挡关系并实时渲染。本发明专利技术能够在现有的主流设备上实时运行，并能够在输入数据分辨率较低时也能得到良好的虚实遮挡效果。

【技术实现步骤摘要】
一种基于深度图像数据流的虚实遮挡处理方法
本专利技术属于计算机视觉与计算机图形图像处理领域，具体地说是一种基于深度图像数据流的虚实遮挡处理方法，该方法可在输入数据分辨率较低、深度数据存在空洞和噪声的情况下，实时地估计相机姿态和重建三维场景的点云模型，并根据相机姿态实时处理虚拟物体与三维场景之间的遮挡关系，并将遮挡处理后的结果与彩色图像融合，实现一种虚实融合的效果，对于三维重建系统和实时增强现实(AR)技术的研究有着重要意义。
技术介绍
增强现实是将虚拟物体叠加到真实环境中从而实现虚实融合效果的一项技术，近年来己经成为计算机视觉、计算机图形学等领域的一个研究热点。虚实遮挡处理问题的研究对于增强现实系统的完善和实用化起到至关重要的作用，是增强现实应用中迫切需要解决的关键问题。当融合图像中存在错误的虚实遮挡关系时，观察者就很难正确地判断虚实物体之间的相对位置关系，难以得到逼真的虚实融合效果。随着深度传感器的普及和三维重建技术的发展，近年来基于深度数据的SLAM系统和三维模型重建的研究正在兴起。与传统基于图像识别追踪的AR系统相比，深度数据提供了场景的三维信息，极大地提高了相机位姿的估计的准本文档来自技高网...

【技术保护点】
一种基于深度图像数据流的虚实遮挡处理方法，其特征在于，包括以下步骤：步骤(1)、对原始深度图像数据作平滑等预处理操作；对原始相机数据流中的彩色图像进行ORB特征关键点检测，用于后续匹配模板图像的特征关键点；步骤(2)、根据相机内部参数，将预处理后的深度数据中的每一个像素点的坐标和深度转化为相机坐标系下的三维坐标；然后利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；步骤(3)、根据上一帧的相机位姿，采用光线投影算法，计算三维模型的投影点云映射图Map1，采用最邻近点迭代算法(ICP)，利用Map1与步骤(2)计算得到的三维点云映射图Map2...

【技术特征摘要】
1.一种基于深度图像数据流的虚实遮挡处理方法，其特征在于，包括以下步骤：步骤(1)、对原始深度图像数据作平滑等预处理操作；对原始相机数据流中的彩色图像进行ORB特征关键点检测，用于后续匹配模板图像的特征关键点；步骤(2)、根据相机内部参数，将预处理后的深度数据中的每一个像素点的坐标和深度转化为相机坐标系下的三维坐标；然后利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；步骤(3)、根据上一帧的相机位姿，采用光线投影算法，计算三维模型的投影点云映射图Map1，采用最邻近点迭代算法(ICP)，利用Map1与步骤(2)计算得到的三维点云映射图Map2计算出相机的当前位姿；然后将当前帧的点云融合到三维模型中；根据模型投影得到当前相机视角下的点云，并且计算其法向量，用于对下一帧点云图像配准；步骤(4)、若尚未完成三维空间注册，则将步骤(1)所得的彩色图像ORB特征点与模板图像ORB特征点进行FLANN特征匹配，得到模板图像在原始彩色图像所对应的区域，通过彩色图像与步骤(2)三维点云映射图的对应关系，计算模板图像在相机坐标系的三维空间坐...

【专利技术属性】
技术研发人员：齐越，郭小志，
申请(专利权)人：北京航空航天大学青岛研究院，北京航空航天大学，
类型：发明
国别省市：山东,37