三维场景重建方法和设备技术
Method and apparatus for 3D scene reconstruction
Method and apparatus for 3D scene reconstruction. The method comprises: obtaining multi frame image sequence from a binocular camera different attitude and / or different locations; the depth image of the current frame based on the extraction of planar features, and plane feature extraction based on depth image of the previous frame and the current frame plane feature extraction based on depth image plane, to form a chain of two-dimensional plane; the current frame image based on image feature extraction, and image feature extraction based on two-dimensional images of the previous frame and the current frame image feature extraction based on 2D image feature point matching feature points to form a chain; the plane chain and the feature point calculating chain, rotation matrix and displacement vector; and according to the rotation matrix and the displacement vector is calculated, the current frame plane feature and image feature transformation to the world coordinate system under which Shu Ping said. The plane and the characteristic points in the chain of the plane and the feature points for each frame camera coordinate system.
【技术实现步骤摘要】
本专利技术涉及三维场景重建的领域，更具体地说，涉及用于室内三维场景重建的方法和设备。
技术介绍
真实而准确的室内场景三维模型在沉浸式的远程交互、辅助设计、建筑及室内设计的教育、室内装修的分享、房地产公司的广告和市场推广以及增强现实游戏有着广泛的应用，如何快速而便捷的重构室内场景是一个很有挑战性的问题。作为一种三维重建技术，运动估计结构(Structure-from-Motion，SfM)仅仅根据二维图像特征(如SIFT，SURF或Harris Corner等)来估算照相机的姿态，从而实现三维重建。针对室内场景的特殊性，如大面积的单色的墙体或天花板，许多区域(如天花板，单色的墙壁及单色的家具等等)没有显著的纹理，很难检测到有效的二维图像特征，导致SfM方法检测不到足够的特征点，最终导致传统SfM方法失败。另外，在三维重建中，当采用最近点迭代法(Iterative Closest Point，ICP)进行点云对齐时，同样由于室内场景的特殊性，很多区域(天花板，墙壁，桌面等)是大面积的平面，缺乏显著的几何结构特征，会导致ICP收敛速度很慢或者错误的收敛；此外对于大的场...
【技术保护点】
一种三维场景重建方法，包括：由处于不同姿态和/或不同地点的双目摄像头获取多帧图像序列；基于当前帧的深度图像，提取平面特征，并且将基于先前帧深度图像提取的平面特征与基于当前帧深度图像提取的平面特征进行平面匹配以形成平面链；基于当前帧的二维图像，提取图像特征，并且将基于先前帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点链；利用所述平面链和所述特征点链，计算旋转矩阵和位移向量；以及根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示，其中所述平面链和所述特征点链中的各平面和各特征点为各帧摄像头坐标系下的表示。
【技术特征摘要】
1.一种三维场景重建方法，包括：由处于不同姿态和/或不同地点的双目摄像头获取多帧图像序列；基于当前帧的深度图像，提取平面特征，并且将基于先前帧深度图像提取的平面特征与基于当前帧深度图像提取的平面特征进行平面匹配以形成平面链；基于当前帧的二维图像，提取图像特征，并且将基于先前帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点链；利用所述平面链和所述特征点链，计算旋转矩阵和位移向量；以及根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示，其中所述平面链和所述特征点链中的各平面和各特征点为各帧摄像头坐标系下的表示。2.根据权利要求1所述的方法，其中利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的步骤通过集束调整来执行。3.根据权利要求2所述的方法，其中利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的步骤包括：将所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面以及所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点进行最小误差匹配；以及基于所述最小误差匹配，计算所述旋转矩阵和所述位移向量。4.根据权利要求3所述的方法，其中所述最小误差匹配包括：计算所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第一值；计算所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第二值；计算所述第一值与所述第二值的加权和，并将其定义为第三值；通过使得所述第三值最小，计算所述旋转矩阵和所述位移向量。5.一种三维场景重建设备，包括：三维图像采集单...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。