一种基于三维图像分段多模式优化的方法、设备、介质和系统技术方案

本申请提供了一种基于分段优化策略的三维扫描图像优化方法，该方法包括：获取三维扫描图像，对所述图像进行帧间运动估计；将所述图像分为多段数据，并对所述每段数据进行位姿优化；从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对所述每段数据之间进行优化；固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，本方法采用分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化；采用局部

【技术实现步骤摘要】
一种基于三维图像分段多模式优化的方法、设备、介质和系统
[0001]本申请是申请号为202110625611.5的分案申请，该母案的申请日为2021年06月04日，专利技术名称为一种结合几何和纹理的在线匹配优化方法和三维扫描系统。


[0002]本专利技术属于图像识别领域，更具体地说，涉及一种基于三维图像分段多模式优化的方法、设备、介质和系统。

技术介绍

[0003]近年来，三维扫描作为一种快速三维数字化技术被越来越多地应用在各个领域，包括逆向工程、工业检测、计算机视觉、CG制作等等，特别是在当前发展迅猛的3D打印和智能制造领域，三维扫描作为前端三维数字化和三维视觉传感技术，已经成为产业链上的重要一环；同时，各类应用在三维扫描的成本、实用性、精确性和可靠性等诸多方面提出了更高的要求。
[0004]由于传统的三维扫描方式中，比如直接法，直接用像素灰度进行匹配，导致系统对光学变化的适应性较差，受环境干扰比较大，配准结果不稳定，并且位姿估计偏差较大，同时传统方法中，在进行优化时，将所有的帧一起优化，数据处理量很大，存在优化效率低下的问题。

技术实现思路

[0005]本申请提供了一种基于分段优化策略的三维扫描图像优化方法和三维扫描系统，本专利技术解决其技术问题所采用的技术方案是：一种基于分段优化策略的三维扫描图像优化方法，所述方法包括：
[0006]获取三维扫描图像，对所述图像进行帧间运动估计；
[0007]将所述图像分为多段数据，并对所述每段数据进行位姿优化；
[0008]从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
[0009]固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
[0010]进一步地，所述关键帧的提取，包括：若当前图像帧能表达全局信息，则当前图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，则将将当前图像帧的前一图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧及预设的参考关键帧均匹配，且该当前图像帧与预设的参考关键帧的重叠率满足预设条件，则将当前图像帧作为预设关键帧。
[0011]所述回环信息，包括：将各相邻的关键帧进行匹配，在匹配成功并且重叠率达到设定的阈值时，则确定形成相应的回环，获取所述相应回环信息。
[0012]进一步的，本申请还提供一种基于分段优化策略的三维扫描图像优化设备，所述
设备包括：获取模块，用于获取三维扫描图像；帧间运动估计模块，用于对所述图像进行帧间运动估计；分段多模式优化模块，用于从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；及用于固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
[0013]进一步的，本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述方法的步骤。
[0014]进一步的，本申请还提供一种应用于在线匹配优化方法的三维扫描系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
[0015]实施本专利技术的基于分段优化策略的三维扫描图像优化方法和系统，通过采用分段多模式优化策略，对所述图像数据进行分段处理，并从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对所述每段数据之间进行优化，并且固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
附图说明
[0016]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0017]图1是本专利技术的一个实施例中的一种基于三维图像分段多模式优化的方法的流程图；
[0018]图2是三维扫描系统的典型光路示意图；
[0019]图3是本专利技术的一个实施例中的一种结合几何和纹理的在线匹配优化的流程细节示意图；
[0020]图4是融合构网后的效果示意图。
具体实施方式
[0021]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。
[0022]请参考图1，该方法包括：
[0023]获取三维扫描图像，对所述图像进行帧间运动估计；
[0024]将所述图像分为多段数据，并对所述每段数据进行位姿优化；
[0025]从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
[0026]固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
[0027]本专利技术方案还包括：
[0028]S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像。
[0029]具体的，请参考图2，其为三维扫描系统的典型光路示意图，当前存在两个光路，其中，光束A为结构光，且，光束A以白光穿透特定编码图案后，将进一步投射到被测物体。光束
B为纹理照明光，且，光束B以白光直接投射到被测物体。另外，在光束B投射的同时，摄像装置将开启拍照功能，其曝光时间与光束投射的时间脉冲严格同步。需要说明的是，在完成对光束A的单次投射的同时，摄像装置也完了对光束A投射的物体的单次拍照。紧接着光束B开启投射，并由摄像装置对光束B投射的物体完成单次拍照。以上为测量过程的单个周期。当以一定重复频率反复的进行上述过程，同时三维扫描装置和被测物体的相对位置和相对角度连续变化，即可完成对物三维扫描装置结构的连续测量。
[0030]可选地，在其中一个实施例中，上述的三维扫描装置将应用于连续快速测量模式下，当前模式下，光束A、B将采用交替投射的方式，完成对被测物体的测量。其中，上述的三维扫描装置发出的光束将以高功率短脉冲的形式输出，这也为后续的高精度测量提供了良好的基础。需要说明的是，当前实施例中，光束A的瞬时功率可达千瓦量级，脉宽在百微秒量级；光束B的瞬时功率为百瓦量级，脉宽在百微秒量级；光束A、B之间的时间差和两者的相机曝光时间均为百微秒量级。
[0031]S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计。
[0032]具体地，步骤S2中，所述对所述深度传感器的初步位姿进行估计，包括：
[0033]S21、针对所述深度纹理图像中，当前所需匹配的各个图像帧，获取与所述图像帧相适应的样本帧；
[0034]S22、针对各所述图像帧和样本帧，提取相应的图像特征数据，并在所述图像帧和对应的样本帧之间进行图像特征匹配，得到多个初始特征对；
[0035]S23、从所述多个初始特征对中筛选出初始变换矩阵，并根据所述初始变换矩阵对所述深度传感器的初步位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维图像分段多模式优化的方法，其特征在于，所述方法包括：获取三维扫描图像，对所述图像进行帧间运动估计；将所述图像分为多段数据，并对所述每段数据进行位姿优化；从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。2.根据权利要求1所述的方法，其特征在于，从所述每段数据中选取一个关键帧，包括：若当前图像帧能表达全局信息，则当前图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，则将将当前图像帧的前一图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧及预设的参考关键帧均匹配，且该当前图像帧与预设的参考关键帧的重叠率满足预设条件，则将当前图像帧作为预设关键帧。3.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：李云强，陈颖，丁勇，罗苇，
申请(专利权)人：深圳积木易搭科技技术有限公司，
类型：发明
国别省市：