一种虚拟现实的六自由度三维重构方法、系统及便携式终端技术方案

本发明专利技术涉及图像处理领域，提供一种虚拟现实的六自由度三维重构方法，所述方法包括获取N幅鱼眼图像，对鱼眼图像进行畸变矫正和立体校正，并进一步对校正后相邻的两幅图像进行立体匹配获取视差图，将视差图转换为深度图，最后利用深度图和立体校正后的图像重构出三维全景图。本发明专利技术还提供一种虚拟现实的六自由度三维重构系统及便携式终端。本发明专利技术实现了虚拟现实的六自由度的体验，带给用户较好的真实感和临场感。

A 3D reconstruction method, system and portable terminal for six degrees of freedom of virtual reality

The present invention relates to the field of image processing, to provide six degree of freedom 3D reconstruction method of virtual reality, the method includes obtaining N picture fisheye image, fish eye image distortion correction and calibration, and further two images of the corrected adjacent stereo matching to obtain disparity map, the disparity map is converted to a depth map finally, using the depth map and three-dimensional corrected image reconstructed 3D panorama. The invention also provides a virtual reality six degree of freedom 3D reconstruction system and a portable terminal. The invention realizes the experience of six degrees of freedom of virtual reality, and gives the user a better sense of authenticity and sense of presence.

【技术实现步骤摘要】
一种虚拟现实的六自由度三维重构方法、系统及便携式终端
本专利技术涉及一种图像的处理方法，特别是涉及一种虚拟现实的六自由度三维重构方法、系统及便携式终端。
技术介绍
和普通平面图像相比，鱼眼图像能够记录的场景范围更广，利用环形排布的多个摄像机拍摄可以得到多幅鱼眼图像。目前虚拟现实技术只能实现3个自由度的旋转体验，难以实现在空间上的平移效果，带给用户的视觉效果和临场感较差。现有技术中，针对虚拟现实中图片的三维重构方法分散于各种文献中，例如，中国专利申请号2016106797331揭示了一种基于单光场相机的目标物三维重构方法，该方法流程较为复杂，且主要应用场景为工业生产线上产品的三维形状检测等领域，三维重构的效果有待进一步提高。移动客户端的三维重构技术目前也散见于各种文献，例如，该专利申请2016102078353揭示了一种双目三维重构方法，同样的，该技术对硬件要求较高，市场化成本较高，不利于大规模推广，且流程复杂，计算量大，硬件负荷较大。因此，有必要重新审视虚拟现实技术中三维重构的思路，开发一种利用新的三维重构技术，重建出摄像机周围360°的场景，实现六自由度的体验，带给用户较好的真实感和临场感的技术。
技术实现思路
本专利技术的目的在于提供一种虚拟现实的六自由度三维重构方法、系统及便携式终端。本专利技术提供的虚拟现实的六自由度三维重构方法包括获取鱼眼图像的步骤，进一步包括：对鱼眼图像进行畸变矫正；对畸变矫正后的图像进行立体校正；对立体校正后的相邻图像进行立体匹配，获取视差图；将视差图转换为深度图；根据深度图和立体校正后的图像重构三维全景图。进一步的，鱼眼图像的数量为N个，鱼眼图像由摄像机或鱼眼镜头拍摄，摄像机或鱼眼镜头的数量为N个，N为大于等于2的整数。进一步的，畸变矫正具体为：对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。进一步的，立体匹配是对相邻的两幅图像进行立体匹配，获取N幅视差图disp1-dispn。进一步的，视差图转换为深度图具体为：获取视差值与深度值之间的关系，将N幅视差图转换为深度图depth1-depthn。进一步的，重构三维全景图具体为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I1-In重构三维全景图。本专利技术提供的虚拟现实的六自由度三维重构系统包括鱼眼图像获取模块，用于加载摄像机拍摄的鱼眼图像，此处的摄像机可以为N个，N为大于等于2的整数，特别的，摄像机也可以为鱼眼镜头，因此，鱼眼图像的数量相应的为N幅，进一步包括：畸变矫正模块：用于对获取的鱼眼图像进行畸变矫正，该模块对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。立体校正模块：用于对畸变矫正模块输出的图像进行立体校正，得到校正后的图像I1-In。立体匹配模块：用于对校正后相邻的两幅图像进行进行立体匹配，相邻的两幅图像，例如I1-I2，I2-I3,…In-I1进行立体匹配获取N幅视差图disp1-dispn。视图转换模块：用于将立体匹配模块输出的N幅视差图转换为深度图。该模块获取视差值与深度值之间的关系，根据视差值与深度值之间的关系，将N幅视差图转换为深度图depth1-depthn。三维全景重构模块：根据深度图和矫正后的图像I1-In重构三维全景图，该模块获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I1-In重构三维全景图。本专利技术还进一步提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术提供的虚拟现实的六自由度三维重构方法的步骤。本专利技术还进一步提供一种便携式终端，该便携式终端包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现本专利技术提供的虚拟现实的六自由度三维重构方法的步骤。采用本专利技术提供的虚拟现实的六自由度三维重构方法、系统及便携式终端，对鱼眼图像进行畸变矫正和立体校正，并进一步对校正后相邻的两幅图像进行立体匹配获取视差图，将视差图转换为深度图，最后利用深度图和立体校正后的图像重构出三维全景图，实现虚拟现实的六自由度的体验，带给用户较好的真实感和临场感。附图说明图1是本专利技术虚拟现实的六自由度三维重构方法流程图。图2是本专利技术虚拟现实的六自由度三维重构系统的模块图。图3是本专利技术虚拟现实的六自由度三维重构方法的便携式终端组成图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一：请参阅图1，本专利技术实施例一提供的虚拟现实的六自由度三维重构方法，包括以下步骤：S101：加载鱼眼图像，此处的鱼眼图像由摄像机拍摄，摄像机可以为N个，N为大于等于2的整数，特别的，摄像机也可以为鱼眼镜头，因此，鱼眼图像的数量相应的为N幅。S102：对步骤S101获取的N幅鱼眼图像进行畸变矫正。该步骤具体为：对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。S103:对步骤S102输出的矫正后的图像进行立体校正，得到校正后的图像I1-In。S104:对校正后相邻的两幅图像进行进行立体匹配，获取N幅视差图，该步骤具体为：对相邻的两幅图像，如I1-I2，I2-I3,…In-I1进行立体匹配获取N幅视差图disp1-dispn。S105:将S104中的N幅视差图转换为深度图，该步骤具体为：获取视差值与深度值之间的对应关系；根据视差值与深度值之间的对应关系，将N幅视差图转换为深度图depth1-depthn。S106:根据深度图和校正后的图像I1-In重构三维全景图，该步骤具体为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I1-In重构三维全景图。实施例二：请参阅图2，本专利技术实施例二提供的虚拟现实的六自由度三维重构系统的模块图，该系统包括：鱼眼图像获取模块201：用于加载摄像机拍摄的鱼眼图像，此处的摄像机可以为N个，N为大于等于2的整数，特别的，摄像机也可以为鱼眼镜头，因此，鱼眼图像的数量相应的为N幅。畸变矫正模块202：用于对获取的鱼眼图像进行畸变矫正，该模块对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。立体校正模块203：用于对畸变矫正模块202输出的图像进行立体校正，得到校正后的图像I1-In。立体匹配模块204：用于对校正后相邻的两幅图像进行进行立体匹配，相邻的两幅图像，例如I1-I2，I2-I3,…In-I1进行立体匹配获取N幅视差图disp1-dispn。视图转换模块205：用于将立体匹配模块输出的N幅视差图转换为深度图。该模块获取视差值与深度值之间的对应关系，根据视差值与深度值之本文档来自技高网...

【技术保护点】
一种虚拟现实的六自由度三维重构方法，包括加载鱼眼图像的步骤，其特征在于，还包括以下步骤：对鱼眼图像进行畸变矫正；对畸变矫正后的图像进行立体校正；对立体校正后的相邻两幅图像进行立体匹配，获取视差图；将视差图转换为深度图；根据深度图和立体校正后的图像重构三维全景图。

【技术特征摘要】
1.一种虚拟现实的六自由度三维重构方法，包括加载鱼眼图像的步骤，其特征在于，还包括以下步骤：对鱼眼图像进行畸变矫正；对畸变矫正后的图像进行立体校正；对立体校正后的相邻两幅图像进行立体匹配，获取视差图；将视差图转换为深度图；根据深度图和立体校正后的图像重构三维全景图。2.如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，鱼眼图像的数量为N个，鱼眼图像由摄像机或鱼眼镜头拍摄，摄像机或鱼眼镜头的数量为N个，N为大于等于2的整数。3.如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述的畸变矫正具体为：对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。4.如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述的立体匹配是对相邻的两幅图像进行立体匹配，获取N幅视差图disp1-dispn。5.如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述的视差图转换为深度图具体为：获取视差值与深度值之间的对应关系，将N幅视差图转换为深度图depth1-depthn。6.如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述的重构三维全景图具体为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I1-In重构三维全景图。7.一种虚拟现实的六自由度三维重构系统，包括鱼眼图像获取模块，用于加载鱼眼图像，鱼眼图像的数量为N幅，鱼眼图像可以为摄像机...

【专利技术属性】
技术研发人员：谢亮，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东,44