模型重建方法、装置、设备及存储介质制造方法及图纸

提供的是一种模型重建方法、装置、设备及存储介质。一种渐进式大规模模型重建方法包括：获取目标场景的第一图像集；获取所述目标场景的第二图像集；基于所述第一图像集构建所述目标场景的初始模型；以及基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型，其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。

【技术实现步骤摘要】
模型重建方法、装置、设备及存储介质
本申请涉及模型重建，尤其涉及渐进式大规模模型重建方法、装置、设备及存储介质。
技术介绍
现实世界对象的三维重建是计算机视觉、计算机图形学以及虚拟现实等领域中的共性科学问题和核心技术，也是科研前沿热点问题。基于图像的三维重建方法，通过预先采集场景或对象的图像序列，依据二维图像信息重建场景或对象模型。该方法代价低廉，数据源的获取简单，硬件依赖性小，并且随着所获取图像的分辨率的提高，基于图像的三维重建算法在重建质量、稳健性以及计算效率等方面都取得了很多新的进展。运动恢复结构方法(StructureFromMotion，SFM)就是一种利用图像序列信息，恢复相机运动参数与场景的结构信息的重建方法，它以序列图像为输入，输出图像特征点、匹配结果、相机参数以及稀疏的3D点云重建模型。现有的SFM方法通常采用增量式的重建方法，即在选取了初始化图像对之后再一张一张地添加新的图像对重建的模型进行补充和修正，直到所有的图像被用作重建为止。这样的方法有以下几个缺点：1.重建的结果对于初始化图像对的选取十分敏感，若初始化图像对选取不佳很可能导致重建失败或者没有办法用到绝大多数的输入图像。这种情况下需要重新初始化，导致重建的成功率低，需要多次初始化才有可能成功重建。2.由于图像数据分布和质量的问题，这种重建方法经常每次只能利用一部分图像进行重建，导致原本连续的场景被分割成若干独立的模型。3.基于图像的SFM重建方法无法恢复场景真实的尺寸。
技术实现思路
鉴于上述问题，本公开提出了一种渐进式大规模模型重建方法，该方法先基于专门采集的数据构建完整的初始模型，再利用大量第二图像集对初始模型进行细化，从而可以提高大规模模型重建的成功率、效率和效果。在一个代表性方面，所公开的技术可用于提供一种模型重建方法，包括：获取目标场景的第一图像集；获取所述目标场景的第二图像集；基于所述第一图像集构建所述目标场景的初始模型；以及基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型,其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。根据本公开的一些实施例，所述获取目标场景的第一图像集包括：以所述目标场景的中心为圆心，在所述目标场景周围分别设定第一圆弧、第二圆弧和第三圆弧；分别在所述第一圆弧、所述第二圆弧和所述第三圆弧上确定第一基本采集点、第二基本采集点和第三基本采集点；分别以所述第一基本采集点、第二基本采集点和第三基本采集点为起始点，以固定的角度间隔捕获所述目标场景的多个图像。根据本公开的一些实施例，所述第一圆弧、所述第二圆弧和所述第三圆弧的半径分别为R1、R2和R3，并且其中，R1<R2<R3。根据本公开的一些实施例，所述第一圆弧、所述第二圆弧和所述第三圆弧的对应角度在0°至360°之间，并且其中，所述第一圆弧、所述第二圆弧和所述第三圆弧的所述对应角度相等。根据本公开的一些实施例，所述第一基本采集点、所述第三基本采集点和所述圆心位于同一直线上，并且其中，所述第二基本采集点与所述直线偏离所述固定的角度间隔的一半。根据本公开的一些实施例，所述第一图像集内嵌采集地点的GPS信息，并且取决于所述目标场景的大小，所述第一图像集的数目在300到1000的范围内。根据本公开的一些实施例，所述获取所述目标场景的第二图像集包括：在视频库中检索与所述目标场景相对应的视频集合；对所述视频集合中的每个视频进行帧抽取；将所述抽取的帧中的每一个输入神经网络进行目标识别，如果识别出该帧中存在所述目标场景，则将该帧存储为所述目标场景的第二图像集中的一个。根据本公开的一些实施例，基于关键词在所述视频库中检索与所述目标场景相对应的视频集合，并且其中，所述关键词包括所述目标场景的名称、缩写、别称、特征描述中的至少一个。所述视频库为网络视频库或本地存储的视频库。根据预定的帧速率对所述视频集合中的每个视频进行帧抽取，并且其中，所述第二图像集的数目在500到2000的范围内。根据本公开的一些实施例，所述基于所述第一图像集构建所述目标场景的初始模型包括：基于所述第一图像集对所述目标场景进行重建；以及基于所述第一图像集的所述内嵌GPS信息，恢复所述目标场景的真实尺寸。根据本公开的一些实施例，基于所述第一图像集对所述目标场景进行重建包括以下步骤：i.提取所述第一图像集的每一个的特征点；ii.对所述第一图像集中的所有图像进行特征点匹配；iii.根据特征点匹配的结果计算所述第一图像集中的每一个在全局坐标系下的旋转值和平移量；iv.利用所述旋转量和平移量进行目标场景重建。根据本公开的一些实施例，基于所述第一图像集的内嵌GPS信息，恢复所述目标场景的真实尺寸包括：通过将所述GPS信息转换成目标单位，获得每个第一图像集的位置信息；利用所述位置信息将初始模型与所述第一图像集的位置进行对齐；根据对齐的初始模型获取所述目标场景的所述真实尺寸。根据本公开的一些实施例，基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型包括：把所述第二图像集中的每个图像定位到所述初始模型中；将所述第二图像集中的每个图像的特征点加入所述初始模型中；以及优化所述添加特征点之后的初始模型，以得到所述目标场景的目标模型。在另一代表性方面，所公开的技术可用于提供一种模型重建装置，包括：第一图像集获取模块，其被配置为获取目标场景的第一图像集；第二图像集获取模块，其被配置为获取所述目标场景的第二图像集；初始模型构建模块，其被配置为基于所述第一图像集构建所述目标场景的初始模型；以及模型细化模块，其被配置为基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型,其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。在又一代表性方面，所公开的技术可用于提供一种用于模型重建的系统，包括终端和数据服务器，其中，所述终端被配置为：将请求数据发送给所述数据服务器；所述数据服务器被配置为：响应于所述请求数据，根据所述请求数据中的检索参数，确定与目标场景相对应的视频集合，并将所述视频集发送给所述终端，其中，所述视频集合包括多个视频；所述终端还被配置为：获取目标场景的第一图像集；基于所述视频集合获取所述目标场景的第二图像集；基于所述第一图像集构建所述目标场景的初始模型；以及基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型,其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。在又一代表性方面，公开了一种配置或可操作以执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。在又一代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。<本文档来自技高网...

【技术保护点】
1.一种模型重建方法，包括：/n获取目标场景的第一图像集；/n获取所述目标场景的第二图像集；/n基于所述第一图像集构建所述目标场景的初始模型；以及/n基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型，/n其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。/n

【技术特征摘要】
1.一种模型重建方法，包括：
获取目标场景的第一图像集；
获取所述目标场景的第二图像集；
基于所述第一图像集构建所述目标场景的初始模型；以及
基于所述第二图像集对所述初始模型进行细化，以得到所述目标场景的目标模型，
其中，所述第一图像集包括从所述目标场景的多个角度采集的多个图像，并且所述第一图像集中的每个图像包含采集所述每个图像时采集地点的地理位置信息。


2.根据权利要求1所述的模型重建方法，其中，所述获取目标场景的第一图像集包括：
以所述目标场景的中心为圆心，在所述目标场景周围分别设定第一圆弧、第二圆弧和第三圆弧；
分别在所述第一圆弧、所述第二圆弧和所述第三圆弧上确定第一基本采集点、第二基本采集点和第三基本采集点；
分别以所述第一基本采集点、第二基本采集点和第三基本采集点为起始点，以固定的角度间隔捕获所述目标场景的多个图像。


3.根据权利要求2所述的模型重建方法，其中，所述第一圆弧、所述第二圆弧和所述第三圆弧的半径分别为R1、R2和R3，并且其中，R1<R2<R3。


4.根据权利要求2所述的模型重建方法，其中，所述第一圆弧、所述第二圆弧和所述第三圆弧的对应角度在0°至360°之间，并且其中，所述第一圆弧、所述第二圆弧和所述第三圆弧的所述对应角度相等。


5.根据权利要求2所述的模型重建方法，其中，所述第一基本采集点、所述第三基本采集点和所述圆心位于同一直线上，并且其中，所述第二基本采集点与所述直线偏离所述固定的角度间隔的一半。


6.根据权利要求2所述的模型重建方法，其中，所述第一图像集内嵌采集地点的GPS信息，并且取决于所述目标场景的大小，所述第一图像集的数目在300到1000的范围内。


7.根据权利要求1所述的模型重建方法，其中，所述获取所述目标场景的第二图像集包括：
在视频库中检索与所述目标场景相对应的视频集合；
对所述视频集合中的每个视频进行帧抽取；
将所述抽取的帧中的每一个输入神经网络进行目标识别，如果识别出该帧中存在所述目标场景，则将该帧存储为所述目标场景的第二图像集中的一个。


8.根据权利要求7所述的模型重建方法，其中，基于关键词在所述视频库中检索与所述目标场景相对应的视频集合，并且其中，所述关键词包括所述目标场景的名称、缩写、别称、特征描述中的至少一个。

...

【专利技术属性】
技术研发人员：罗琳捷，刘晶，陈志立，王国晖，杨骁，杨建朝，连晓晨，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：开曼群岛;KY