【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种三维重建方法、装置以及计算机可读存储介质。
技术介绍
1、三维重建技术是指通过多帧二维图像构建出图像中的物体或者场景的三维结构的图像处理技术。三维重建技术通常应用于增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、视觉定位、自动驾驶等方面。
2、然而，目前的三维重建技术的图像匹配效果较差，从而导致最终构建的三维结构的数据准确度低下。
技术实现思路
1、本申请实施例提供一种三维重建方法、装置以及计算机可读存储介质，能够解决相关技术中三维重建的数据准确度低下的问题。
2、一方面，提供一种三维重建方法，包括：获取多帧环境图像；对多帧环境图像中相匹配的第一图像和第二图像分别进行特征提取，得到第一图像和第二图像的多个尺度的特征图，第一图像和第二图像构成一组图像对；根据多个尺度的特征图进行特征匹配，得到图像对的特征点匹配对；特征点匹配对包括第一图像中的第一特征点以及第二图像中与第一特征点相匹配的第二特征点；基于多帧环境图像中每组图像对的特征点匹配对，进行三维重建，得到三维点云。
3、在一些实施例中，该方法包括：基于多个尺度的特征图，以及第一图像的第一特征点，确定第一特征对应图；第一特征对应图中一个像素点的取值用于表征第二图像中同一位置的像素点与第一特征点的匹配程度；基于第一特征对应图，确定第二图像上与第一特征点构成特征点匹配对的第二特征点；将第一特征点与第二特征点作为图像对的
4、在一些实施例中，该方法包括：确定第一特征点在第一图像不同尺度下的特征图中对应的像素点的特征向量；将确定出的每个尺度下的第一特征点对应的特征向量，分别与第二图像在相同尺度下的特征图进行卷积处理，得到每个尺度对应的第二特征对应图；将得到的多个尺度的第二特征对应图进行融合，得到第一特征对应图。
5、在一些实施例中，该方法包括：分别对多个尺度的第二特征对应图进行上采样处理，得到每个尺度对应的第三特征对应图，第三特征对应图的维度与第二图像的维度相同；对多个尺度的第三特征对应图进行特征加权融合，得到第一特征对应图。
6、在一些实施例中，该方法包括：从第一特征对应图中识别出取值最大的像素点；将第二图像中与第一特征对应图中取值最大的像素点处于同一位置的像素点作为第二特征点。
7、在一些实施例中，多个尺度的特征图包括经过形变卷积处理的特征图。
8、在一些实施例中，该方法包括：基于多帧环境图像中每组图像对的特征点匹配对，确定多个特征点匹配对集合，特征点匹配对集合包括至少一个特征点匹配对，特征点匹配对集合对应三维点云中的一个三维空间点；重复调整特征点匹配对集合中各个特征点的位置，直至特征点匹配对集合对应的特征值误差最小时停止，以确定特征点匹配对集合中各个特征点的最终位置；其中，特征点匹配对集合对应的特征值误差根据特征点匹配对集合中每个特征点匹配对的关联置信度来确定；根据特征点匹配对集合中各个特征点的最终位置，进行三维重建，得到三维点云。
9、在一些实施例中，该方法包括：根据第一特征点对应的第一图像的多尺度的特征图，确定第一特征点的特征向量；根据第二特征点对应的第二图像的多尺度的特征图，确定第二特征点的特征向量；基于第一特征点的特征向量和第二特征点的特征向量，得到特征点匹配对的关联置信度。
10、在一些实施例中，三维重建过程包括ba优化流程，ba优化流程包括：重复调整多帧环境图像的图像位姿，直至ba优化残差最小时停止，以确定多帧环境图像最终的图像位姿；其中，ba优化残差根据已重建的三维点云中的各个三维空间点对应的特征距离来确定。
11、在一些实施例中，三维空间点对应的特征距离通过以下步骤确定：基于三维空间点对应的目标图像集合中各个目标图像的图像位姿，分别确定三维空间在各个目标图像上的投影点；其中，目标图像集合中的目标图像与三维空间点对应的特征点匹配对集合中的特征点一一对应；根据各个目标图像的多个尺度的特征图，分别确定各个目标图像中投影点的特征向量的观测值；根据三维空间点对应的特征点匹配对集合中的特征点的特征向量确定三维空间点的特征向量的参考值；根据各个目标图像中投影点的特征向量的观测值以及三维空间点的特征向量的参考值确定三维空间点对应的特征距离。
12、再一方面，提供一种三维重建装置，包括：获取单元和处理单元；获取单元，用于获取多帧环境图像；处理单元，用于对多帧环境图像中相匹配的第一图像和第二图像分别进行特征提取，得到第一图像和第二图像的多个尺度的特征图，第一图像和第二图像构成一组图像对；处理单元，还用于根据多个尺度的特征图进行特征匹配，得到图像对的特征点匹配对；特征点匹配对包括第一图像中的第一特征点以及第二图像中与第一特征点相匹配的第二特征点；处理单元，还用于基于多帧环境图像中每组图像对的特征点匹配对，进行三维重建，得到三维点云。
13、在一些实施例中，处理单元用于：基于多个尺度的特征图，以及第一图像的第一特征点，确定第一特征对应图；第一特征对应图中一个像素点的取值用于表征第二图像中同一位置的像素点与第一特征点的匹配程度；基于第一特征对应图，确定第二图像上与第一特征点构成特征点匹配对的第二特征点；将第一特征点与第二特征点作为图像对的特征点匹配对。
14、在一些实施例中，处理单元用于：确定第一特征点在第一图像不同尺度下的特征图中对应的像素点的特征向量；将确定出的每个尺度下的第一特征点对应的特征向量，分别与第二图像在相同尺度下的特征图进行卷积处理，得到每个尺度对应的第二特征对应图；将得到的多个尺度的第二特征对应图进行融合，得到第一特征对应图。
15、在一些实施例中，处理单元用于：分别对多个尺度的第二特征对应图进行上采样处理，得到每个尺度对应的第三特征对应图，第三特征对应图的维度与第二图像的维度相同；对多个尺度的第三特征对应图进行特征加权融合，得到第一特征对应图。
16、在一些实施例中，处理单元用于：从第一特征对应图中识别出取值最大的像素点；将第二图像中与第一特征对应图中取值最大的像素点处于同一位置的像素点作为第二特征点。
17、在一些实施例中，多个尺度的特征图包括经过形变卷积处理的特征图。
18、在一些实施例中，处理单元用于：基于多帧环境图像中每组图像对的特征点匹配对，确定多个特征点匹配对集合，特征点匹配对集合包括至少一个特征点匹配对，特征点匹配对集合对应三维点云中的一个三维空间点；重复调整特征点匹配对集合中各个特征点的位置，直至特征点匹配对集合对应的特征值误差最小时停止，以确定特征点匹配对集合中各个特征点的最终位置；其中，特征点匹配对集合对应的特征值误差根据特征点匹配对集合中每个特征点匹配对的关联置信度来确定；根据特征点匹配对集合中各个特征点的最终位置，进行三维重建，得到三维点云。
19、在一些实施例中，处理单元用于：根据第一特征点对应的第一图像的本文档来自技高网...
【技术保护点】
1.一种三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个尺度的特征图进行特征匹配，得到所述图像对的特征点匹配对，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个尺度的特征图，以及所述第一图像的第一特征点，确定第一特征对应图，包括：
4.根据权利要求3所述的方法，其特征在于，所述将得到的多个尺度的所述第二特征对应图进行融合，得到所述第一特征对应图，包括
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征对应图，确定所述第二图像上与所述第一特征点构成特征点匹配对的所述第二特征点，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述多个尺度的特征图包括经过形变卷积处理的特征图。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述多帧环境图像中每组图像对的特征点匹配对，进行三维重建，得到三维点云，包括：
8.根据权利要求7所述的方法，其特征在于，对于由所述第一特征点和所述第二特征点构成的特征点匹配对
9.根据权利要求1-5任一项所述的方法，其特征在于，三维重建过程包括BA优化流程，所述BA优化流程包括：
10.根据权利要求9所述的方法，其特征在于，所述三维空间点对应的特征距离通过以下步骤确定：
11.一种三维重建装置，其特征在于，包括：处理器和存储器；所述存储器用于存储计算机程序或指令，所述处理器用于运行计算机程序或指令，以实现如权利要求1-10任一项中所述的三维重建方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，所述计算机执行如权利要求1-10任一项中所述的三维重建方法。
...【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个尺度的特征图进行特征匹配，得到所述图像对的特征点匹配对，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个尺度的特征图，以及所述第一图像的第一特征点，确定第一特征对应图，包括：
4.根据权利要求3所述的方法，其特征在于，所述将得到的多个尺度的所述第二特征对应图进行融合，得到所述第一特征对应图，包括
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征对应图，确定所述第二图像上与所述第一特征点构成特征点匹配对的所述第二特征点，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述多个尺度的特征图包括经过形变卷积处理的特征图。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述多帧环境...
【专利技术属性】
技术研发人员：施文哲，陆平，盛斌，赵义成，孟子尧，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。