一种用于混合图片的三维重建方法及系统技术方案

本发明专利技术实施例提供一种用于混合图片的三维重建方法及系统，该方法包括：通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片，且所述混合图片集包含多个目标场景的特征点；根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。本发明专利技术实施例由于混合图片中一般都包含有多个目标，所以现需要对混合图片进行分类，得到每一目标对应的图片集，再根据每一目标对应的图片集对该目标进行三维重建，从而获得待建模场景的三维重建图像，本发明专利技术实施例有助于目标三维重建的准确性和可扩展性。

A 3D reconstruction method and system for mixed images

The embodiment of the present invention provides a method and system for three-dimensional reconstruction of mixed pictures. The method includes: classifying all pictures in the mixed picture set by a trained neural network model, obtaining a picture set corresponding to each object in the scene to be modeled, and the mixed picture set includes different scenes to be modeled. An angle image, and the blended image set contains feature points of multiple target scenes; according to the corresponding picture set of each target, each target is reconstructed three-dimensional to obtain the three-dimensional reconstructed image of the scene to be modeled. In the embodiment of the present invention, since there are usually multiple objects in the mixed picture, it is necessary to classify the mixed picture, get the corresponding picture set of each object, and then reconstruct the object according to the corresponding picture set of each object, so as to obtain the three-dimensional reconstructed image of the scene to be modeled. The embodiment of the present invention It is helpful for the accuracy and extensibility of 3D reconstruction.

【技术实现步骤摘要】
一种用于混合图片的三维重建方法及系统
本专利技术实施例涉及三维建模
，尤其涉及一种用于混合图片的三维重建方法及系统。
技术介绍
三维重建在计算机视觉中是指由多幅二维图像恢复出物体三维结构的信息，实现物体的外部特征如形状、纹理等三维重建，是透视成像的逆过程。目前基于计算机视觉的三维重建方法大致可以分为两类：立体视觉方法和运动恢复方法。无论是哪种方法，其本质上都是获得物体的第三个维度上面的信息，即为深度信息。平面信息能给出二维信息，通过一定的方式获取第三个维度的信息即可恢复物体的三维模型。为了获得深度信息，一种方法是估测二维图像中每个像素点相对于相机的距离，即为深度图，然后基于得到的深度图对图像进行处理来创建第二视角。另外一种方法则是通过多张图片直接合成。将多张图片中的特征点加以提取，并对其进行匹配；匹配之后就可以把图片中属于同一来源的点目标提取出来，实现图像的拼接和三维重建。其中将会涉及到模式识别等相关方面的问题，并且还需要根据这些特征反推算其空间位置信息，需要有效的算法支撑。但是它不需要其余的背景信息，因此需要的输入较为理想，但是实现过程较为复杂。在以上两种方式中对图片集的要求较高，但是在实际中，很多图片集都是混合图片集，也就是说一个图片集中并不仅仅只有一个目标物的各角度照片，会混合着多种目标的不同角度图片。因此，亟需一种针对混合图片的三维建模方法。
技术实现思路
本专利技术实施例提供一种用于混合图片的三维重建方法，该方法包括：S1，通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片，且所述混合图片集包含多个目标场景的特征点；S2，根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。本专利技术实施例提供一种用于混合图片的三维重建系统，该系统包括：分类模块，用于通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片；重建模块，用于根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。本专利技术实施例提供一种用于混合图片的三维重建设备，该设备包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行一种用于混合图片的三维重建方法。本专利技术实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行一种用于混合图片的三维重建方法。本专利技术实施例提供一种用于混合图片的三维重建方法及系统，当对待建模场景进行360度拍照得到混合图片时，由于混合图片中一般都包含有多个目标，所以现需要对混合图片进行分类，得到每一目标对应的图片集，再根据每一目标对应的图片集对该目标进行三维重建，从而获得待建模场景的三维重建图像，本专利技术实施例有助于目标三维重建的准确性和可扩展性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种用于混合图片的三维重建方法的流程图；图2为本专利技术实施例一种用于混合图片的三维重建系统的结构示意图；图3为本专利技术实施例一种用于混合图片的三维重建设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例一种用于混合图片的三维重建方法的流程图，如图1所示，该方法包括：S1，通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片，且所述混合图片集包含多个目标场景的特征点；S2，根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。在上述实施例的基础上，优选地，步骤S1之前还包括：通过迁移学习，修正待训练神经网络模型的网络层参数，所述待训练神经网络模型包括网络层和全连接层，所述全连接层连接在所述网络层之后；对修正后的待训练神经网络模型进行训练，获得训练后的神经网络模型。在针对一个待建模场景进行三维重建时，一般地，需要先拍摄这待建模场景360度各个方向的照片，这些照片构成混合图片集，由于是对待建模场景360度进行拍照，这些图片中会包括许多个目标，并且某些图片中会包含不止一个目标场景的特征点，需要把混合图片中关于一个目标的各个角度的所有图片分为一个类，在进行分类时，通过深度学习来对图片进行分类。本专利技术实施例深度学习中采用的神经网络为Inception-v3模型，在利用Inception-v3模型对待建模混合图片集进行分类之前，还需要先对Inception-v3模型进行训练，训练好了之后，利用训练后的Inception-v3模型再对待建模混合图片集中的图片进行分类。与一般不同的是，考虑到大部分数据或任务是存在相关性的，所以通过迁移学习，本专利技术实施例中Inception-v3模型不是向大多数网络那样从零开始训练，而是利用ImageNet数据集上训练好的一个Inception-v3模型的迁移学习框架，将Inception-v3模型的迁移学习框架中的模型参数通过某种方式分享给新的Inception-v3模型，从而加快并优化模型的学习效率。迁移学习(Transferlearning)顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。具体地，所述通过迁移学习，修正待训练神经网络模型的网络层参数，具体为：通过ImageNet数据集，获取训练后的Inception-v3模型；将训练后的Inception-v3模型中网络层参数作为所述待训练神经网络模型的网络层参数。需要说明的是，ImageNet是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。在ImageNet数据集上，对Inception-v3模型进行训练，将训练后的Inception-v3模型作为本专利技术实施例的迁移学习框架。在实际操作过程中，将Inception-v3模型的迁移学习框架中所有卷积层的参数赋予到一个新的Inception-v3模型中，然后在对这个新的Inception-v3模型进行训练，将待建模混合图片集中的图片通过训练后的Inception-v3模型中的网络层，可以看做是对待建模混合图片集中的图片进行特征提取的过程。在Inception-v3模型的网络层之后本文档来自技高网...

【技术保护点】
1.一种用于混合图片的三维重建方法，其特征在于，包括：S1，通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片，且所述混合图片集包含多个目标场景的特征点；S2，根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。

【技术特征摘要】
1.一种用于混合图片的三维重建方法，其特征在于，包括：S1，通过训练后的神经网络模型对混合图片集中所有图片进行分类，获取待建模场景中每一目标对应的图片集，所述混合图片集中包括所述待建模场景不同角度的图片，且所述混合图片集包含多个目标场景的特征点；S2，根据每一目标对应的图片集，对每一目标进行三维重建，以获得所述待建模场景的三维重建图像。2.根据权利要求1所述方法，其特征在于，步骤S1之前还包括：通过迁移学习，修正待训练神经网络模型的网络层参数，所述待训练神经网络模型包括网络层和全连接层，所述全连接层连接在所述网络层之后；对修正后的待训练神经网络模型进行训练，获得训练后的神经网络模型。3.根据权利要求1所述方法，其特征在于，步骤S2中，所述根据每一目标对应的图片集，对每一目标进行三维重建，具体包括：对于任一目标对应的图片集，获取所述任一目标对应的图片集中每一图片的尺度不变特征变换SIFT特征；根据每一图片的SIFT特征，通过运动恢复结构SFM算法获取所述任一目标的稀疏点云；根据所述任一目标的稀疏点云，通过多视角密集匹配CMVS/PMVS算法获取所述任一目标的密集点云；根据所述任一目标的密集点云，获取所述任一目标的三维重建图像。4.根据权利要求1所述方法，其特征在于，步骤S2之后还包括：对所述待建模场景的三维重建图像进行滤波，并通过三维图形编辑软件显示滤波后所述待建模场景的三维重建图像。5.根据权利要求2所...

【专利技术属性】
技术研发人员：郝巍娜，刘雨欣，吴海涛，李瑞东，梁欢，
申请(专利权)人：中国科学院光电研究院，
类型：发明
国别省市：北京,11