多目相机的三维重建方法、装置、VR相机和全景相机制造方法及图纸

本发明专利技术适用于计算机视觉领域，提供了一种多目相机的三维重建方法、装置、VR相机和全景相机。所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。本发明专利技术可以为点云提供具体真实的物理尺度，且VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。

Three dimensional reconstruction method, device, VR camera and panoramic camera for multi camera

The invention is applicable to the field of computer vision and provides a three-dimensional reconstruction method, device, VR camera and panoramic camera of a multi-eye camera. The method includes: acquiring video captured by each camera during the moving process of the multi-camera, the multi-camera is a VR camera or panoramic camera including at least two cameras; simultaneously extracting key frames for video captured by all cameras and correcting distortion for each key frame; and shooting video according to all cameras. The key frames corresponding to the frequency are reconstructed to generate the point cloud and the camera attitude; the common point cloud generated by the adjacent cameras is obtained, and the scales of all point clouds are determined according to the common point cloud generated by the adjacent cameras. The invention can provide a specific and real physical scale for point cloud, and the lens of VR camera or panoramic camera can provide a wider field of view, cover a more complete angle, and increase the coincidence degree of adjacent two lenses, provide more common points for determining the scale of point cloud, and increase robustness.

【技术实现步骤摘要】
多目相机的三维重建方法、装置、VR相机和全景相机
本专利技术属于计算机视觉领域，尤其涉及一种多目相机的三维重建方法、装置、VR相机和全景相机。
技术介绍
现有技术对机器人的定位和导航，通常利用基于普通镜头的多目相机采集图像，然后通过SFM(StructureFromMotion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。
技术实现思路
本专利技术的目的在于提供一种多目相机的三维重建方法、装置、计算机可读存储介质、VR相机和全景相机，旨在解决基于普通镜头的多目相机采集的图像进行三维重建的鲁棒性较差的问题。第一方面，本专利技术提供了一种多目相机的三维重建方法，所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。第本文档来自技高网...

【技术保护点】
1.一种多目相机的三维重建方法，其特征在于，所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

【技术特征摘要】
1.一种多目相机的三维重建方法，其特征在于，所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。2.如权利要求1所述的方法，其特征在于，所述获取多目相机在移动过程中每个摄像头拍摄的视频具体为：获取多目相机在移动过程中每个摄像头对静态场景分别拍摄的视频。3.如权利要求1所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正之前，所述方法还包括：预先对多目相机的每个摄像头做摄像头内参数及摄像头外参数的标定，获取每个摄像头的相机矩阵和畸变系数。4.如权利要求3所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；或者，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。5.如权利要求1所述的方法，其特征在于，关键帧可以通过以下方式提取：将每个摄像头拍摄的视频的第1帧图像作为关键帧；用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。6.如权利要求1所述的方法，其特征在于，所述根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态具体为：根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。7.如权利要求1所述的方法，其特征在于，所述根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态具体包括：将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；提取所有关键帧的角点，用ORB描述子描述角点；匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点；优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机...

【专利技术属性】
技术研发人员：谢亮，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东,44