地图重建方法及装置、计算机可读介质和电子设备制造方法及图纸

本公开提供一种地图重建方法、地图重建装置、计算机可读介质和电子设备，涉及计算机技术领域。该方法包括：获取视频帧序列中包括的视频帧匹配对，并根据所述视频帧序列对所述视频帧匹配对进行分类，得到序列对集合和回环对集合；基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合；基于所述序列对集合和所述正确回环对集合进行三维重建，得到目标点云。本公开避免由于错误匹配对造成的重建精度降低，重建失败等问题，提高重建精度和重建的成功率。提高重建精度和重建的成功率。提高重建精度和重建的成功率。

【技术实现步骤摘要】
地图重建方法及装置、计算机可读介质和电子设备


[0001]本公开涉及计算机
，具体涉及一种地图重建方法、地图重建装置、计算机可读介质和电子设备。

技术介绍

[0002]随着科学技术的不断发展，与计算机视觉相关的技术层出不穷。在计算机视觉领域中，常常使用运动恢复结构(Structure from motion，SFM)这种技术对三维环境的空间结构进行恢复。
[0003]SFM是一种通过分析图像序列得到相机参数并进行三维重建的技术。传统的SFM通常SFM算法通常由特征提取与匹配、计算初始匹配对及点云、光束平差、然后重复添加新的图像帧数据再结合一定策略进行光束平差等步骤一次进行。其中，特征匹配环节通常采用序列化匹配或全局暴力匹配的方式进行。然而，无论是序列化匹配还是全局暴力匹配，都依赖于图像特征、描述子的鲁棒性。因此在出现局部相似纹理时，就会出现匹配错误的情况(例如，相同的标志牌、logo等特征相似的图像出现在不同地方时，会出现将不属于同一地方的图片相互关联的情况)，进而导致三维重建精度降低，甚至重建失败的问题。

技术实现思路

[0004]本公开的目的在于提供一种地图重建方法、地图重建装置、计算机可读介质和电子设备，进而至少在一定程度上避免由于错误匹配对造成的重建精度降低，重建失败等问题，提高重建精度和重建的成功率。
[0005]根据本公开的第一方面，提供一种地图重建方法，包括：获取视频帧序列中包括的视频帧匹配对，并根据所述视频帧序列对所述视频帧匹配对进行分类，得到序列对集合和回环对集合；基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合；基于所述序列对集合和所述正确回环对集合进行三维重建，得到目标点云。
[0006]根据本公开的第二方面，提供一种地图重建装置，包括：数据分类模块，用于获取视频帧序列中包括的视频帧匹配对，并根据所述视频帧序列对所述视频帧匹配对进行分类，得到序列对集合和回环对集合；数据筛选模块，用于基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合；三维重建模块，用于基于所述序列对集合和所述正确回环对集合进行三维重建，得到目标点云。
[0007]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
[0008]根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
[0009]处理器；以及
[0010]存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
[0011]本公开的一种实施例所提供的地图重建方法，通过获取视频帧序列中包括的视频帧匹配对，并根据所述视频帧序列对所述视频帧匹配对进行分类，可以得到序列对集合和回环对集合；然后基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合；进而基于所述序列对集合和所述正确回环对集合进行三维重建，得到目标点云。本公开的技术方案，通过对视频帧匹配对进行分类，并对回环对集合中的错误匹配对剔除，一方面可以避免由于错误匹配对造成的重建精度降低，重建失败等问题；另一方面，即使在重复纹理多、存在弱纹理等图像特征不可靠的建图场景中，也可以提高重建精度和重建的成功率。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0014]图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
[0015]图2示出了可以应用本公开实施例的一种电子设备的示意图；
[0016]图3示意性示出本公开示例性实施例中一种地图重建方法的流程图；
[0017]图4示意性示出本公开示例性实施例中一种三维重建过程的示意图；
[0018]图5示意性示出本公开示例性实施例中地图重建装置的组成示意图。
具体实施方式
[0019]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0020]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0021]图1示出了可以应用本公开实施例的一种地图重建方法及装置的示例性应用环境的系统架构的示意图。
[0022]如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅
仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
[0023]本公开实施例所提供的地图重建方法一般由终端设备101、102、103中执行，相应地，地图重建装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的地图重建方法也可以由服务器105执行，相应的，地图重建装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103采集视频帧序列，并将视频帧序列发送至服务器105，服务器105通过本公开实施例所提供的地图重建方法得到目标点云后，再将目标点云传输给终端设备101、102、103等。
[0024]本公开的示例性实施方式提供一种用于实现地图重建方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行地图重建方法。
[0025]下面以图2中的移动终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地图重建方法，其特征在于，包括：获取视频帧序列中包括的视频帧匹配对，并根据所述视频帧序列对所述视频帧匹配对进行分类，得到序列对集合和回环对集合；基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合；基于所述序列对集合和所述正确回环对集合进行三维重建，得到目标点云。2.根据权利要求1所述的方法，其特征在于，所述基于所述视频帧序列的初始点云对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合，包括：针对所述回环对集合中的每组回环对，对所述回环对中第一视频帧对应的初始点云和第二视频帧对应的初始点云进行配准，以确定所述回环对的配准距离；根据所述配准距离对所述回环对集合中的错误回环对进行剔除，得到正确回环对集合。3.根据权利要求2所述的方法，其特征在于，所述根据所述配准距离对所述回环对集合中的错误回环对进行剔除，包括：在所述配准距离大于距离阈值时，确定所述配准距离对应的回环对为错误回环对；将所述回环对集合中的所述错误回环对剔除。4.根据权利要求1所述的方法，其特征在于，所述获取视频帧序列中包括的视频帧匹配对，包括：提取所述视频帧序列中各视频帧的图像特征；基于所述图像特征对所述视频帧序列进行全局匹配，以获取所述视频帧序列中包括视频帧匹配对。5.根据权利要求4所述的方法，其特征在于，所述基于所述图像特征对所述视频帧序列进行全局匹配，以获取所述视频帧序列中包括视频帧匹配对，包括：对所述视频帧序列中的视频帧进行两两组合，得到视频帧组合；针对每组视频帧组合中的两个视频帧进行特征匹配，以确定所述视频帧组合包含的特征匹配对，并统计所述特征匹配对的数量；在所述数量大于数量阈值时，确定所述视频帧组合构成视频帧匹配对；在所述数量小于等于所述数量阈值时，确定所述视频帧组合不构成视频帧匹配对。6.根据权利要求5所述的方法，其特征在于，在所述统计所述特征匹配对的数量之前，所述方法还包括：通过几何约束对所述特征匹配对进行筛选，以...

【专利技术属性】
技术研发人员：宁海宽，李姬俊男，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：