三维重建方法及装置、电子设备、计算机可读介质制造方法及图纸

本申请涉及三维重建技术领域，具体涉及一种三维重建方法及装置、电子设备、计算机可读介质，该方法包括：获取待重建场景的目标图像；分别提取目标图像中相邻两帧图像的二维特征描述子，对相邻两帧图像的二维特征描述子进行特征匹配，得到二维关键点匹配点对；生成每帧图像的三维特征描述子；对相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对；对二维关键点匹配点对和三维关键点匹配点对进行过滤，得到目标匹配点对；根据目标匹配点对进行相机位姿估计和三维场景重建，得到重建场景的目标图像。本申请的实施例可以在待重建场景中存在周期性纹理分布的情况下，提升关键点匹配的准确率和三维重建的准确性。关键点匹配的准确率和三维重建的准确性。关键点匹配的准确率和三维重建的准确性。

【技术实现步骤摘要】
三维重建方法及装置、电子设备、计算机可读介质


[0001]本申请涉及三维重建
，具体涉及一种三维重建方法、三维重建装置、电子设备以及计算机可读介质。

技术介绍

[0002]三维重建是对三维空间中的物体和场景的二维投影图像进行描述或重构的逆过程，由二维图像还原成含有三维信息的物体或场景模型，重建的模型可方便计算机表示、处理和显示。三维重建技术是移动机器人自主导航、位置环境模型重构、大规模数字化监控等的重要组成部分，也是增强现实(Augmented Reality，简称AR)技术的基础，经过重建后的三维模型可以直接应用到AR或VR的场景中。
[0003]三维重建主要分为两大类：基于激光的重建以及基于视觉图像的重建，基于激光的重建由于硬件设备成本较高，无法量产和商业化。基于视觉图像的重建通常采集待重建场景的目标图像及其对应的深度信息，通过二维特征描述子对待重建场景的目标图像进行关键点匹配，再进行位姿优化、表面模型重建等过程实现三维重建。
[0004]目前，相关技术只能对不存在周期性纹理分布的待重建场景实现较好的三维重建效果，但当待重建场景存在周期性的纹理分布时，容易因视觉变化等引起的透视失真，从而导致关键点对的误匹配，无法保证三维重建的精确度。

技术实现思路

[0005]为解决上述技术问题，本申请的实施例提供了一种三维重建方法、三维重建装置、电子设备以及计算机可读介质。
[0006]根据本申请实施例的一个方面，提供了一种三维重建方法，该方法包括：获取待重建场景的目标图像；分别提取所述目标图像中相邻两帧图像的二维特征描述子，对所述相邻两帧图像的二维特征描述子进行特征匹配，得到二维关键点匹配点对；对所述目标图像中的每帧图像的三维关键点进行特征描述，生成每帧图像的三维特征描述子；所述每帧图像的三维关键点是基于每帧图像的二维关键点确定的；对所述相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对；对所述二维关键点匹配点对和所述三维关键点匹配点对进行过滤，得到目标匹配点对；根据所述目标匹配点对进行相机位姿估计和三维场景重建，得到重建场景的目标图像。
[0007]根据本申请实施例的一个方面，提供了一种三维重建装置，该装置包括：获取模块，配置为获取待重建场景的目标图像；二维特征提取和匹配模块，配置为分别提取所述目标图像中相邻两帧图像的二维特征描述子，对所述相邻两帧图像的二维特征描述子进行特征匹配，得到二维关键点匹配点对；三维特征描述子生成模块，配置为对所述目标图像中的每帧图像的三维关键点进行特征描述，生成每帧图像的三维特征描述子；所述每帧图像的三维关键点是基于每帧图像的二维关键点确定的；三维特征匹配模块，配置为对所述相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对；过滤模块，配置为对
所述二维关键点匹配点对和所述三维关键点匹配点对进行过滤，得到目标匹配点对；相机位姿估计和三维场景重建模块，配置为根据所述目标匹配点对进行相机位姿估计和三维场景重建，得到重建场景的目标图像。
[0008]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的三维重建方法。
[0009]根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的三维重建方法。
[0010]在本申请的实施例所提供的技术方案中，针对存在周期性纹理分布的待重建场景，首先构造能够描述待重建场景中三维关键点局部曲面的形状信息的三维特征描述子，将构造的三维特征描述子联合二维特征描述子进行特征匹配得到初始匹配点对，由于三维特征描述子中包含了三维关键点附近局部表面的变化情况和几何特征，考虑了待重建场景的空间信息，能够在一定程度上提升关键点匹配点对的准确率；得到初始匹配点对后，结合目标图像的深度信息约束和局部近邻约束对初始匹配点对进行筛选，使得筛选后的候选匹配点对具有较高的匹配精度，能够减小关键点的误匹配，提高相邻两帧图像关键点匹配的正确率，有效提升了关键点匹配的准确率和三维重建的准确性。此外，在进行相机位姿估计之前利用随机抽样一致性算法对局部近邻约束和深度信息约束筛选后的候选匹配点对进行再一次筛选，既能去除掉所有的错误匹配点对，提高关键点匹配点对的匹配精度，又能缩短匹配点对的筛选时间。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0012]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0013]图1是本申请的一示例性实施例示出的三维重建系统框架示意图；
[0014]图2是本申请的一示例性实施例示出的三维重建方法的流程图；
[0015]图3是图2所示实施例中的步骤S230在一示例性实施例中的流程图；
[0016]图4是图3所示实施例中的步骤S340在一示例性实施例中的流程图；
[0017]图5是图2所示实施例中的步骤S240在一示例性实施例中的流程图；
[0018]图6是图2所示实施例中的步骤S250在一示例性实施例中的流程图；
[0019]图7是图6所示实施例中的步骤S610的局部近邻约束示意图；
[0020]图8是本申请的另一示例性实施例示出的三维重建方法的流程图；
[0021]图9是本申请的一示例性实施例示出的三维重建装置的框图；
[0022]图10是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0023]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0024]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0025]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0026]在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取待重建场景的目标图像；分别提取所述目标图像中相邻两帧图像的二维特征描述子，对所述相邻两帧图像的二维特征描述子进行特征匹配，得到二维关键点匹配点对；对所述目标图像中的每帧图像的三维关键点进行特征描述，生成每帧图像的三维特征描述子；所述每帧图像的三维关键点是基于每帧图像的二维关键点确定的；对所述相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对；对所述二维关键点匹配点对和所述三维关键点匹配点对进行过滤，得到目标匹配点对；根据所述目标匹配点对进行相机位姿估计和三维场景重建，得到重建场景的目标图像。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像中的每帧图像的三维关键点进行特征描述，生成每帧图像的三维特征描述子，包括：对所述目标图像中的每帧图像分别进行二维关键点提取，确定出每帧图像的二维关键点；获取所述目标图像中的每帧图像对应的深度图像，从所述深度图像中确定与每帧图像对应的深度信息；将每帧图像中的二维关键点和深度信息进行融合，以得到每帧图像的三维关键点；根据每帧图像的三维关键点局部表面的变化情况和几何特征生成每帧图像的三维特征描述子。3.根据权利要求2所述的方法，其特征在于，所述三维特征描述子包括三维直方图特征描述子，所述根据每帧图像的三维关键点局部表面的变化情况和几何特征生成每帧图像的三维特征描述子，包括：计算每帧图像中各个三维关键点的基础三维特征直方图；计算每帧图像中各个三维关键点分别对应的K个近邻点的三维特征直方图；对每帧图像中各个三维关键点的基础三维特征直方图和各个三维关键点分别对应的K个近邻点的三维特征直方图进行加权计算，得到每帧图像的三维直方图特征描述子。4.根据权利要求2所述的方法，其特征在于，所述对所述相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对，包括：根据所述三维特征描述子构造特征量，并对所述特征量进行比较和筛选，得到映射集合；根据所述映射集合对所述相邻两帧图像的三维特征描述子进行特征匹配，得到三维关键点匹配点对。5.根据权利要求1所述的方法，其特征在于，所述分别提取相邻两帧图像的二维特征描述子，包括：对所述目标图像中的相邻两帧图像分别进行二维关键...

【专利技术属性】
技术研发人员：苏明兰，张超颖，郭枝虾，梁宝林，王建秀，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：