一种面向RGBD三维重建的关键帧提取方法技术

本发明专利技术公开了一种面向RGBD三维重建的关键帧提取方法。首先对于相机采集的RGBD数据流和用视觉里程计估计的相机位姿，将时间上相邻的若干数据帧分为一组。对于每一组数据，根据相机位姿和相机参数将每一帧深度图像向第一帧深度图像投影；将每组第一帧RGB图像向其余每一帧图像投影，通过线性插值的方式得到每一张投影RGB图像的灰度值。然后估计每一帧RGB图像的模糊程度，结合对应投影深度图像的权值，得到投影RGB图像的权值。根据得到的权值分别将组内投影深度图像和投影RGB图像融合，得到RGBD关键帧。本发明专利技术减少了深度相机采集数据的空洞和噪声，得到较清晰的深度图像和RGB图像，为相机位姿的全局优化和纹理提取等三维重建中的其它工作提供较可靠的数据来源。

A key frame extraction method for 3D reconstruction of RGBD

The invention discloses a key frame extraction method for three-dimensional reconstruction of RGBD. First, the RGBD data stream captured by camera and the camera pose estimated by visual odometry are divided into a set of adjacent data frames. For each set of data, according to the camera pose and camera parameters of each frame to the first frame depth image projection depth; each of the first frame RGB image to the rest of each frame of image projection, by linear interpolation method each projection gray value of the image by RGB. Then, the fuzzy degree of each frame RGB image is estimated, and the weight of the projection RGB image is obtained by combining the weight of the corresponding projection depth image. According to the obtained weights, the intra group projection depth image and the projected RGB image are fused respectively to obtain the RGBD key frame. The invention reduces noise and cavity depth camera data acquisition, get the depth image and RGB image is clear, provide a reliable source of data for other work pose global optimization and texture extraction in 3D reconstruction.

【技术实现步骤摘要】
一种面向RGBD三维重建的关键帧提取方法
本专利技术属于计算机视觉与计算机图形图像处理领域，具体地说是一种RGBD数据流中关键帧的提取方法，该方法为基于RGBD数据流的三维重建中相机位姿估计优化以及纹理重建的研究提供了更可靠的数据来源，对基于RGBD数据的三维重建技术的研究有着重要意义。
技术介绍
随着深度传感器的普及和三维重建技术的发展，近年来基于RGBD数据的三维模型重建的研究正在兴起。与传统基于RGB图像的三维重建相比，深度图像提供了场景的三维信息，极大地提高了三维重建的可行性和精度。而关键帧提取在相机的位姿估计、相机重定位以及纹理重建中都起到重要的作用。目前针对三维重建的关键帧提取的方法可以分为以下三类：一是基于时间戳的方法，该类算法以时间戳或帧数为单位，每隔一定的时间或帧数提取数据作为关键帧。这类方法实现简单、时间效率极高，关键帧的选取会受到扫描速率的影响；二是基于帧间运动检测的方法，该类方法计算每一帧数据与上一关键帧的相机相对位姿变换，根据大小决定是否加入关键帧序列；三是基于图像特征的方法，如Philip等人根据帧间对应特征点的数量提取关键帧。这类方法对相机的参数依赖性不本文档来自技高网...

【技术保护点】
一种面向RGBD三维重建的关键帧提取方法，其特征在于包括以下步骤：步骤(1)、将标定后的深度相机和彩色相机采集的RGBD数据流按照时间戳分组，相邻若干帧的深度图像、RGB图像和用视觉里程计估计的相机位姿为一组数据；步骤(2)、对每一组数据，根据深度相机的内部参数，将每一帧深度图像映射到三维空间中，然后根据相机位姿向组内第一帧深度图像投影，得到投影深度图像，投影的过程中更新投影深度图像中相邻的整数坐标的像素值，对投影深度图像的每一个像素，取与组内第一帧深度图像最接近的深度值为实际深度值；步骤(3)、对投影深度图像的每一个像素，根据相应投影坐标的误差计算其权值，对组内每一帧投影深度图像，以加权平均...

【技术特征摘要】
1.一种面向RGBD三维重建的关键帧提取方法，其特征在于包括以下步骤：步骤(1)、将标定后的深度相机和彩色相机采集的RGBD数据流按照时间戳分组，相邻若干帧的深度图像、RGB图像和用视觉里程计估计的相机位姿为一组数据；步骤(2)、对每一组数据，根据深度相机的内部参数，将每一帧深度图像映射到三维空间中，然后根据相机位姿向组内第一帧深度图像投影，得到投影深度图像，投影的过程中更新投影深度图像中相邻的整数坐标的像素值，对投影深度图像的每一个像素，取与组内第一帧深度图像最接近的深度值为实际深度值；步骤(3)、对投影深度图像的每一个像素，根据相应投影坐标的误差计算其权值，对组内每一帧投影深度图像，以加权平均的方式计算最终的深度关键帧的像素值；步骤(4)、对每一组数据中的RGB图像，根据彩色相机...

【专利技术属性】
技术研发人员：齐越，韩尹波，王晨，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11