一种三维图像匹配优化方法、介质和系统技术方案

本发明专利技术公开了一种三维图像匹配优化方法、介质和系统，该方法包括：获取三维图像帧，并对所述三维图像帧进行位姿优化，得到运动轨迹图；基于所述运动轨迹图估计得到绝对位姿；通过深度传感器测量得到的相对位姿；基于所述相对位姿及所述绝对位姿构建目标优化函数；将预设惩罚因子融入到所述目标优化函数中，对所述图像进行帧间匹配优化，并进行融合构网。通过优化目标函数中加入惩罚因子对三维图像进行帧间优化，消除累计误差，在不增加额外计算成本的情况下，可以对不同约束对进行良好的校验与筛选，确保位姿优化的准确与稳定，实现快速准确优化。准确优化。准确优化。

【技术实现步骤摘要】
一种三维图像匹配优化方法、介质和系统
[0001]本申请是申请号为202110625611.5的分案申请，该母案的申请日为2021年06月04日，专利技术名称为一种结合几何和纹理的在线匹配优化方法和三维扫描系统。


[0002]本专利技术属于图像识别领域，更具体地说，涉及一种三维图像匹配优化方法、介质和系统。

技术介绍

[0003]近年来，三维扫描作为一种快速三维数字化技术被越来越多地应用在各个领域，包括逆向工程、工业检测、计算机视觉、CG制作等等，特别是在当前发展迅猛的3D打印和智能制造领域，三维扫描作为前端三维数字化和三维视觉传感技术，已经成为产业链上的重要一环；同时，各类应用在三维扫描的成本、实用性、精确性和可靠性等诸多方面提出了更高的要求。
[0004]由于传统的三维扫描优化方法中，在进行优化时，将所有的帧一起优化，数据处理量很大，存在优化效率低下的问题。另外，传统的方法缺少有效的惩罚机制，不能很好的筛选错误的匹配或者置信度不高的结果。

技术实现思路

[0005]本专利技术提供了一种能够提高扫描效率的三维图像匹配优化方法和三维扫描系统，。
[0006]本专利技术解决其技术问题所采用的技术方案是：提供一种结合几何和纹理的在线匹配优化方法，所述方法包括：
[0007]获取三维图像帧，并对所述三维图像帧进行位姿优化，得到运动轨迹图；
[0008]基于所述运动轨迹图估计得到绝对位姿；
[0009]通过深度传感器测量得到的相对位姿；
[0010]基于所述相对位姿及所述绝对位姿构建目标优化函数；
[0011]将预设惩罚因子融入到所述目标优化函数中，对所述图像进行帧间匹配优化，并进行融合构网。
[0012]进一步地，所述将预设惩罚因子融入到所述目标优化函数为：
[0013]E2＝∑
i,j
ρ(e2(p
i
,p
j
；∑
i,j
,T
i,j
))；
[0014]其中，将估计得到的绝对位姿作为一个节点，p
i
表示节点i，p
j
表示节点j；T
i,j
表示节点i与节点j之间的相对位姿，∑
i,j
表示对所有约束对进行加和；e2(p
i
,p
j
；∑
i,j
,T
i,j
)＝e(p
i
,p
j
；T
i,j
)
T
∑
i,j
‑1e(p
i
,p
j
；T
i,j
)，e(p
i
,p
j
；T
i,j
)＝T
i,j
‑
p
i
‑1p
j
；ρ为融入的惩罚因子。
[0015]本专利技术还提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述的方法的步骤。
[0016]本专利技术还一种应用于在线匹配优化方法的三维扫描系统，包括存储器和处理器，
所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0017]本实施本专利技术的三维图像匹配优化方法、介质和系统，通过优化目标函数中加入惩罚因子对三维图像进行帧间优化，消除累计误差，在不增加额外计算成本的情况下，可以对不同约束对进行良好的校验与筛选，确保位姿优化的准确与稳定，实现快速准确优化。
附图说明
[0018]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0019]图1是本专利技术的一个实施例中的一种三维图像匹配优化方法的流程图；
[0020]图2是三维扫描系统的典型光路示意图；
[0021]图3是本专利技术的一个实施例中的一种结合几何和纹理的在线匹配优化的流程细节示意图；
[0022]图4是融合构网后的效果示意图。
具体实施方式
[0023]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。
[0024]请参考图1，其为本专利技术的一个实施例中的一种三维图像匹配优化方法的流程图，该方法包括：
[0025]S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像。
[0026]具体的，请参考图2，其为三维扫描系统的典型光路示意图，当前存在两个光路，其中，光束A为结构光，且，光束A以白光穿透特定编码图案后，将进一步投射到被测物体。光束B为纹理照明光，且，光束B以白光直接投射到被测物体。另外，在光束B投射的同时，摄像装置将开启拍照功能，其曝光时间与光束投射的时间脉冲严格同步。需要说明的是，在完成对光束A的单次投射的同时，摄像装置也完了对光束A投射的物体的单次拍照。紧接着光束B开启投射，并由摄像装置对光束B投射的物体完成单次拍照。以上为测量过程的单个周期。当以一定重复频率反复的进行上述过程，同时三维扫描装置和被测物体的相对位置和相对角度连续变化，即可完成对物三维扫描装置结构的连续测量。
[0027]可选地，在其中一个实施例中，上述的三维扫描装置将应用于连续快速测量模式下，当前模式下，光束A、B将采用交替投射的方式，完成对被测物体的测量。其中，上述的三维扫描装置发出的光束将以高功率短脉冲的形式输出，这也为后续的高精度测量提供了良好的基础。需要说明的是，当前实施例中，光束A的瞬时功率可达千瓦量级，脉宽在百微秒量级；光束B的瞬时功率为百瓦量级，脉宽在百微秒量级；光束A、B之间的时间差和两者的相机曝光时间均为百微秒量级。
[0028]S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计。
[0029]具体地，步骤S2中，所述对所述深度传感器的初步位姿进行估计，包括：
[0030]S21、针对所述深度纹理图像中，当前所需匹配的各个图像帧，获取与所述图像帧
相适应的样本帧；
[0031]S22、针对各所述图像帧和样本帧，提取相应的图像特征数据，并在所述图像帧和对应的样本帧之间进行图像特征匹配，得到多个初始特征对；
[0032]S23、从所述多个初始特征对中筛选出初始变换矩阵，并根据所述初始变换矩阵对所述深度传感器的初步位姿进行估计。
[0033]具体的，本申请考虑从拍摄到的RGB图像中提取SIFT特征，并基于提取到的SIFT特征，在当前帧和样本帧之间进行特征匹配。需要说明的是，SIFT是一种广泛应用的特征检测器和描述符，在特征点描述的细致与稳定程度上明显高于其他特征。在SIFT匹配过程中，通过在图像帧F
i
中查找最近邻得到帧F
j
的每个关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维图像匹配优化方法，其特征在于，所述方法包括：获取三维图像帧，并对所述三维图像帧进行位姿优化，得到运动轨迹图；基于所述运动轨迹图估计得到绝对位姿；通过深度传感器测量得到的相对位姿；基于所述相对位姿及所述绝对位姿构建目标优化函数；将预设惩罚因子融入到所述目标优化函数中，对所述图像进行帧间匹配优化，并进行融合构网。2.如权利要求2所述的方法，其特征在于，所述将预设惩罚因子融入到所述目标优化函数为：E2＝∑
i,j
ρ(e2(p
i
,p
j
；∑
i,j
,T
i,j
))；其中，将估计得到的绝对位姿作为一个节点，p
i
表示节点i，p
j
表示节点j；T
i,j
表示节点i与节点j之间的相对位姿，∑
i,j
表示对所有约束对进行加和；e2(p
i
,p
j
；∑...

【专利技术属性】
技术研发人员：李云强，陈颖，丁勇，罗苇，
申请(专利权)人：深圳积木易搭科技技术有限公司，
类型：发明
国别省市：