用于场景三维重建的方法及装置、三维重建系统制造方法及图纸

本申请涉及计算机技术领域，公开一种用于场景三维重建的方法，包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。本申请还公开一种用于场景三维重建的装置和三维重建系统。于场景三维重建的装置和三维重建系统。于场景三维重建的装置和三维重建系统。

Method and device for scene 3D reconstruction, 3D reconstruction system

【技术实现步骤摘要】
用于场景三维重建的方法及装置、三维重建系统


[0001]本申请涉及计算机
，例如涉及一种用于场景三维重建的方法及装置、三维重建系统。

技术介绍

[0002]目前，基于图像的三维重建具有速度快、实时性好等优点。该类方法成本低廉，数据源获取简单，硬件依赖性小。随着所获取图像的分辨率、成像质量等因素的提高，基于图像的三维重建算法在重建质量、鲁棒性等方面进展迅速，具有重要的理论研究价值以及广阔的市场应用前景。
[0003]相关技术中的基于图像的场景三维重建的方法包括：对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM(Structure from Motion，运动恢复结构)技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出。
[0004]在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
[0005]该方法能够实现场景的三维重建。但是，对于续航能力不足的迷你无人机，在一次图像采集的过程中仅能采集有限数量的图像数据。使用该方法时，难以兼顾图像检索效率和图像匹配的准确度和完整度，进而可能导致失去关键连接而使得场景三维重建的效果差。

技术实现思路

[0006]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0007]本公开实施例提供了一种用于场景三维重建的方法及装置、三维重建系统，以通过迷你无人机采集图像时，提高场景三维重建的效果。
[0008]在一些实施例中，所述方法包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。
[0009]可选地，通过图像初步处理，构建词袋树，包括：控制无人机进行图像采集；根据采集的图像，提取特征点；通过对特征点进行聚类，构建词袋树。
[0010]可选地，控制无人机进行图像采集，包括：将场景进行区域划分；控制无人机每次采集一个区域的图像，直至采集所有区域的图像；控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。
[0011]可选地，控制无人机每次采集一个区域的图像，包括：控制无人机上升至第一设定高度；将无人机的镜头与地面的夹角调整为第一设定角度；控制无人机采用往返飞行和轨
迹交叉的方式对当前区域进行图像采集；控制无人机上升至第二设定高度；将无人机的镜头与地面的夹角调整为第二设定角度；控制无人机环绕当前区域的四周进行拍摄。
[0012]可选地，根据词袋树，进行组内图像处理，获得组内匹配信息，包括：根据特征点和词袋树，获得组内图像特征向量；根据组内图像特征向量，确定组内图像相似度；根据词袋树和组内图像相似度，获得组内候选匹配对；通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。
[0013]可选地，根据词袋树，进行组内图像处理，获得图像组特征向量，包括：根据组内匹配信息，构建特征点轨迹；根据特征点轨迹，获得图像组特征向量。
[0014]可选地，根据图像组特征向量，进行组间图像处理，获得组间匹配信息，包括：根据图像组特征向量，确定图像组相似度；根据图像组相似度，获得组间候选匹配对；通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。
[0015]可选地，根据组内匹配信息和组间匹配信息，进行模型重建，包括：根据组内匹配信息和组间匹配信息，进行初始场景重建；根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展；对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。
[0016]在一些实施例中，所述装置包括处理器和存储有程序指令的存储器，处理器被配置为在运行程序指令时，执行上述用于场景三维重建的方法。
[0017]在一些实施例中，所述三维重建系统包括上述用于场景三维重建的装置。
[0018]本公开实施例提供的用于场景三维重建的方法及装置、三维重建系统，可以实现以下技术效果：
[0019]通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息以增加关键连接。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。
[0020]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0021]一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
[0022]图1是本公开实施例提供的一个用于场景三维重建的方法的示意图；
[0023]图2是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
[0024]图3是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
[0025]图4是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
[0026]图5是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
[0027]图6是本公开实施例提供的一个候选匹配对获取的对比结果图；
[0028]图7是本公开实施例提供的一个场景三维重建的结果图；
[0029]图8是本公开实施例提供的一个用于场景三维重建的装置的示意图。
具体实施方式
[0030]为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
[0031]本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
[0032]除非另有说明，术语“多个”表示两个或两个以上。
[0033]本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
[0034]术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于场景三维重建的方法，其特征在于，包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。2.根据权利要求1所述的方法，其特征在于，通过图像初步处理，构建词袋树，包括：控制无人机进行图像采集；根据采集的图像，提取特征点；通过对特征点进行聚类，构建词袋树。3.根据权利要求2所述的方法，其特征在于，控制无人机进行图像采集，包括：将场景进行区域划分；控制无人机每次采集一个区域的图像，直至采集所有区域的图像；控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。4.根据权利要求3所述的方法，其特征在于，控制无人机每次采集一个区域的图像，包括：控制无人机上升至第一设定高度；将无人机的镜头与地面的夹角调整为第一设定角度；控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集；控制无人机上升至第二设定高度；将无人机的镜头与地面的夹角调整为第二设定角度；控制无人机环绕当前区域的四周进行拍摄。5.根据权利要求2所述的方法，其特征在于，根据词袋树，进行组内图像处理，获得组内匹配信息，包括：根据特征点和词袋树，获得组内图像特征向量；...

【专利技术属性】
技术研发人员：高翔，王格格，黄媛媛，李元戎，孙睿璟，孙英明，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：