一种基于三维重建的VR生成器制造技术

本发明专利技术适用于计算机视觉术领域，提供了一种基于三维重建的VR生成器，通过设置多目相机、第一处理器、第二处理器、三维重建模块、点云处理模块，实现了提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。

【技术实现步骤摘要】
一种基于三维重建的VR生成器
本专利技术属于计算机视觉术领域，尤其涉及一种基于三维重建的VR生成器。
技术介绍
三维重建技术是计算机视觉的一个分支，是计算机视觉和计算机图形图像处理相结合的一个研究方向。它广泛的用于工业自动化、逆向工程、文物保护、计算机辅助医疗、虚拟现实、增强现实和机器人应用等场景虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。现有技术通常利用基于普通镜头的多目相机采集图像，然后通过SFM(StructureFromMotion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。且针对现有技术中，对于实时目标物体的三维重建，并未有合适与三维重建模型相融合，导致虚拟场景中的真实性差、降低使用者的体验感。故，有必要提供一种技术方案，以解决上述技术问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于三维重建的VR生成器，用于解决基于普通镜头的多目相机采集的图像进行三维重建的鲁棒性较差、实时虚拟场景真实性差的问题。本专利技术实施例的第一方面提供了一种基于三维重建的VR生成器，所述VR生成器包括：多目相机，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；第一处理器，用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合；点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。优选的，在本专利技术中，所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。优选的，在本专利技术中，所述对每一所述关键帧进行畸变矫正包括：对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；或者，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。优选的，在本专利技术中，所述根据所述待处理视频提取关键帧包括：将每个摄像头拍摄的视频的第1帧图像作为关键帧；用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。优选的，在本专利技术中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。优选的，在本专利技术中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视觉原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。优选的，在本专利技术中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术通过由于根据多目相机在移动过程中每个摄像头拍摄的视频进行三维重建，因此可以为点云提供具体真实的物理尺度，可以提供一下需要真实尺度的应用，比如测距、测量体积等。又由于多目相机是包括至少两个摄像头的VR相机或者全景相机，因此相比普通镜头的三维重建，VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。又由于对所有摄像头拍摄的视频同时提取关键帧，根据所有摄像头拍摄的视频对应的关键帧做三维重建，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的一基于三维重建的VR生成器的结构示意图；图2是本专利技术实施例二提供的一基于三维重建的VR生成器对应的的方法流程示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的本文档来自技高网...

【技术保护点】
1.一种基于三维重建的VR生成器，其特征在于，所述VR生成器包括：/n多目相机，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；/n第一处理器，用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；/n第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；/n三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合；/n点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。/n

【技术特征摘要】
1.一种基于三维重建的VR生成器，其特征在于，所述VR生成器包括：
多目相机，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
第一处理器，用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合；
点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。


2.根据权利要求1所述一种基于三维重建的VR生成器，其特征在于，
所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。


3.根据权利要求1所述一种基于三维重建的VR生成器，其特征在于：
所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体...

【专利技术属性】
技术研发人员：黄仲华，周成富，
申请(专利权)人：广东申义实业投资有限公司，
类型：发明
国别省市：广东;44