三维重建方法、电子设备和计算机可读存储介质技术

本申请实施例涉及图像处理技术领域，公开了一种三维重建方法、电子设备和计算机可读存储介质。上述三维重建方法包括：获取对目标区域拍摄得到的全景图像序列；对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建，使得可以提高三维重建的建成效果与成功率。使得可以提高三维重建的建成效果与成功率。使得可以提高三维重建的建成效果与成功率。

【技术实现步骤摘要】
三维重建方法、电子设备和计算机可读存储介质


[0001]本申请涉及图像处理
，特别涉及一种三维重建方法、电子设备和计算机可读存储介质。

技术介绍

[0002]在近些年的计算机技术的进步，AR、VR技术逐渐成为研究的热点领域之一，在娱乐领域，尤其是基于5G通讯下大带宽、低延时的场景下，逐渐开始出现各种优秀的应用。如何有效的重建目标区域的场景是其中极其重要的方向之一。同时，由于目前娱乐场景逐渐增大，娱乐内容逐渐广泛，对重建区域的大小及精度提出了更高的要求。
[0003]传统的纯视觉三维重建的构建方法都是基于离散分布的不同视角方向上的测区影像数据来实现，然而其由于建图效果不稳定、可建成区域小以及传统单目相机视角小从而使建成效果较差。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种应三维重建方法、电子设备和计算机可读存储介质，使得可以提高三维重建的建成效果与成功率。
[0005]为至少实现上述目的，本申请实施例提供了一种三维重建方法，包括：获取对目标区域拍摄得到的全景图像序列；对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建。
[0006]为至少实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行；以使所述至少一个处理器能够执行上述的三维重建方法。
[0007]为至少实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的三维重建方法。
[0008]本申请实施例提供的三维重建方法，获取对目标区域拍摄得到的全景图像序列；对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿；对全景图像进行切割，以得到全景图像对应的多个方位的图像；根据多个方位的图像和全景图像对应的相机位姿，对目标区域进行三维重建。本申请实施例通过拍摄全景图像，有利于增加目标区域的可视范围，360
°
的全景视野能为目标区域的重建提供较大便利。同时通过对全景图像进行相机位姿估计获得在重建过程中所需要的相机位姿，结合相机位姿对全景图像进行切割以得到多个方位的图像，有利于从多个不同方位更加全面的反应目标区域的特点。最后结合相机位姿和切割得到的多个方位的图像进行三维重建，有利于提高三维重建的建成效果与成功率。
附图说明
[0009]图1是本申请实施例中提到的三维重建方法的流程图；
[0010]图2是本申请实施例中提到的步骤102的一种实现方式的流程图；
[0011]图3是本申请实施例中提到的对全景图像进行切割所涉及的坐标系的示意图；
[0012]图4是本申请实施例中提到的步骤104的一种实现方式的流程图；
[0013]图5是本申请实施例中提到的步骤302的一种实现方式的流程图；
[0014]图6是本申请实施例中提到的电子设备的结构示意图。
具体实施方式
[0015]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0016]本申请的一个实施例提供了一种三维重建方法，应用于电子设备。本实施例中的三维重建方法的流程图可以参考图1，包括：
[0017]步骤101：获取对目标区域拍摄得到的全景图像序列；
[0018]步骤102：对全景图像序列中的全景图像进行相机位姿估计，得到全景图像对应的相机位姿；
[0019]步骤103：对全景图像进行切割，以得到全景图像对应的多个方位的图像；
[0020]步骤104：根据多个方位的图像和全景图像对应的相机位姿，对目标区域进行三维重建。
[0021]本申请实施例通过拍摄全景图像，有利于增加目标区域的可视范围，360
°
的全景视野能为目标区域的重建提供较大便利。同时通过对全景图像进行相机位姿估计获得在重建过程中所需要的相机位姿，结合相机位姿对全景图像进行切割以得到多个方位的图像，有利于从多个不同方位更加全面的反应目标区域的特点。最后结合相机位姿和切割得到的多个方位的图像进行三维重建，有利于提高三维重建的建成效果与成功率。
[0022]在步骤101中，可以通过全景相机对目标区域进行拍摄，得到全景图像序列；其中，全景图像序列可以理解为若干帧连续的全景图像。全景相机在拍摄得到全景图像序列后，可以将全景图像序列发送给电子设备，使得电子设备获取对目标区域拍摄得到的全景图像序列，从而进行后续的处理。或者，电子设备中具备全景相机，从而电子设备可以直接通过其内部设置的全景相机获取到全景图像序列。对目标区域使用全景相机进行拍摄，拍摄时尽量保持相机稳定，由于全景相机的视角极大，因此在遇到某个时刻有障碍物或者行人导致相机部分被遮挡并不需要有额外补偿或躲避操作。本实施例中，相当于采用连续的大视角图像进行三维重建，有利于提高三维重建的稳定性和准确度。
[0023]在一个实施例中，全景相机包括两个鱼眼镜头和图像拼接单元，两个鱼眼镜头中心位置相同且放置方向相反，各鱼眼镜头的视角为180
°
；图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，然后使用
Rotated BRIEF)是一种快速特征点提取和描述的算法，ORB特征可以理解为采用该ORB算法提取到的特征。
[0036]在步骤203中，电子设备对各相邻关键帧图像的特征，进行特征匹配，得到各相邻关键帧图像中的特征匹配对。比如，可以不断将关键帧图像之间进行特征匹配，并筛选出可靠的匹配对，该可靠的匹配对即为特征匹配对，特征匹配对中的特征之间的匹配度大于预设匹配度。其中预设匹配度可以根据实际需要进行设置，用于表征特征匹配对中的特征之间的匹配度较大，本实施例对预设匹配度的具体大小不作具体限定。
[0037]其中，最简单的特征匹配方法就是暴力匹配，即对每一个特征点与所有的特征点测量描述子的距离，然后排序，取最近的一个作为匹配点。描述子的距离表述了两个特征之间的相似程度。然而，当特征点很多的时，暴力匹配的运算量就变得很大，此时快速近似最近邻算法更加适合于匹配点数量极多的情况。特征点可以由关键点和描述子两部分组成，关键点是指特征点在图像中的位置，有些特征点还具有朝向、大小等信息。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取对目标区域拍摄得到的全景图像序列；对所述全景图像序列中的全景图像进行相机位姿估计，得到所述全景图像对应的相机位姿；对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像；根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建。2.根据权利要求1所述的三维重建方法，其特征在于，在所述得到所述全景图像对应的相机位姿之后，还包括：根据所述全景图像对应的相机位姿，确定所述全景图像序列中的关键帧图像；以及所述根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建，包括：提取所述关键帧图像对应的相机位姿；根据所述全景图像序列中的各全景图像对应的多个方位的图像和所述关键帧图像对应的相机位姿，对所述目标区域进行三维重建。3.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述多个方位的图像和所述全景图像对应的相机位姿，对所述目标区域进行三维重建；选取目标像素点；根据所述多个方位的图像和所述全景图像对应的相机位姿，确定所述多个方位的图像之间的极线；遍历所述极线上的各个像素点，并搜索与所述目标像素点匹配的像素点；根据所述与所述目标像素点匹配的像素点，计算所述目标像素点的空间位置，根据所述目标像素点的空间位置，确定所述目标区域的结构化重建信息；以所述结构化重建信息为重建骨架，对所述目标区域进行三维重建。4.根据权利要求3所述的三维重建方法，其特征在于，所述根据所述多个方位的图像和所述全景图像对应的相机位姿，确定所述多个方位的图像之间的极线，包括：确定所述多个方位的图像中的第i帧图像的相机光心与所述目标像素点的连线的向量；根据所述全景图像对应的相机位姿，确定所述多个方位的图像对应的相机光心的平移向量；确定所述连线的向量和所述平移向量构成的平面；根据所述平面和所述多个方位的图像中的第i+n帧图像的相交线，确定所述多个方位的图像之间的极线；其中，i和n均为大于或等于1的自然数。5.根据权利要求1至4任一项所述的三维重建方法，其特征在于，所述对所述全景图像进行切割，以得到所述全景图像对应的多个方位的图像，包括：根据所述全景图像对应的相机位姿，计算待分割得到的多个方位的图像对应的相机位姿；根据所述待分割得到的多个方位的图像对应的相机位姿，对所述全景图像进行切割，以得到所述全景图像对应的多...

【专利技术属性】
技术研发人员：靳懿，
申请(专利权)人：中兴通讯南京有限责任公司，
类型：发明
国别省市：