【技术实现步骤摘要】
本专利技术涉及结构光三维成像领域，具体为一种基于深度学习相位修复的高动态范围三维成像方法和系统。
技术介绍
1、结构光三维成像技术是一种辅以光源投射结构化图案的光学测量方法。数字条纹投影轮廓术作为最常见的结构光三维成像方法，具有成像速度快、精度高、点云稠密等优点，广泛应用于尺寸测量、缺陷检测、定位引导、逆向工程等方向。但在工业应用场景中，由于复杂的光照条件以及金属、塑料等材质表面易反光，相机采集到的条纹图案容易出现局部过曝光，导致条纹强度饱和而丢失有效信息，最后重构出的三维数据存在缺失。
2、高动态范围三维成像旨在更准确地捕捉和呈现具有广泛亮度范围的三维场景，现有的高动态范围三维成像方法主要有：(1)多重曝光。通过调整相机或投影光机曝光时间获取一系列不同曝光时间下的条纹图，通过图像融合获得一幅更高动态范围的图像，这种方法会增加拍照次数及处理的数据量，影响速度；(2)偏振滤光。通过使用偏振滤光片或偏振片来调整光束的偏振状态，抑制镜面反射，消除图像饱和度，这种方法会提高结构复杂性，增加硬件成本；(3)图像修复。利用图像处理的方法，在像素层面上对过曝区域进行信息恢复，这种方法要求修复算法具有较好鲁棒性，能够准确恢复缺失信息。
3、随着计算机硬件性能日益提升及人工智能技术广泛应用，在图像处理、计算成像等领域深度学习在各个实验测试中都取得了瞩目的成绩。因此，可以利用深度学习强大的特征表达能力构建修复网络恢复缺失信息，在不增加拍照次数及改变硬件结构的情况下实现高动态范围成像。
技术实现思路
1、本专利技术要克服在基于相移投影的结构光三维成像过程中，因过曝而引起相位缺失导致成像不全的问题，提供一种基于深度学习相位修复的高动态范围三维成像方法和系统。本专利技术构建一种相位修复网络，修复过曝区域的相位信息，使得最终成像更完整，以实现高动态范围成像。
2、为实现上述目的，本专利技术提供如下技术方案，一种基于深度学习相位修复的高动态范围三维成像方法，应用于高反光材质表面的结构光三维成像系统，系统包括通信连接的投影仪、图像采集装置及计算机，其特征在于，方法包括以下步骤：
3、步骤一：计算机控制投影仪向待测物体投射多个频率的相移条纹图案，投影仪在投图同时触发左、右图像采集装置拍照；
4、步骤二：图像采集装置采集到被物体表面所调制的相移条纹图像并发送给计算机，对所有相移条纹图做均值滤波处理，计算每张相移条纹图的过曝点；
5、步骤三：计算每个频率对应的相位主值图，根据相移条纹图的过曝点计算相位主值图中过曝区域，从相位主值图中截取待修复的局部相位图；
6、步骤四：将该待修复的局部相位图送入相位修复网络进行修复，将该修复好后的局部相位图替换到相位主值图中原来的位置，获得一张完整的相位主值图；
7、步骤五：利用多频外差方法进行相位展开，得到在一个周期内的绝对相位图，再根据双目结构光三维成像原理，最终获得待测物体表面的三维轮廓数据。
8、步骤一中投影仪所投射相移条纹的光强函数如下：
9、ii(x,y)＝i'(x,y)+i”(x,y)cos[φ(x,y)+δi] (1)
10、其中i'(x,y)为图像的平均灰度，i”(x,y)为图像的灰度调制，δi分别为图像的相位移，φ(x,y)为待计算的相位主值。
11、步骤二中过曝点是通过判断相移条纹图中各像素点的灰度值是否大于预设的灰度值来确定的，对相移条纹图进行二值化处理，得到对应的过曝标签二值图。
12、步骤三中相位主值图计算公式如下：
13、
14、其中n为相移的步数，n的值要大于等于3。
15、步骤三中相位过曝区域由同一频率的相移条纹图对应的n张过曝标签二值图进行求并集得到完整的相位过曝mask：
16、mask＝mask_1∪mask_2∪...∪mask_n (3)
17、再计算过曝相位区域中心坐标(x,y)，以及区域长h，宽w，以该中心坐标从相位主值图中进行截取操作，使用roi(x-w/2,y-h/2,w,h)截取出大小为w*h的待修复的局部相位图，中间设置大小与过曝区域w*h一致的掩膜。
18、步骤四中所述的相位修复网络包括以下步骤：
19、s41：构建相位修复网络的训练数据集。在实际成像过程中很难获取同一时刻下的过曝相位图和完整相位图，而有监督的相位修复网络训练需要大量的数据。通过采集完整的相位图作为真实样本，并在完整的相位图上设置随机大小的掩膜作为待修复样本。为了进一步提高相位修复网络的鲁棒性，采集经不同表面调制的相位图，丰富训练数据的多样性，包括平面，斜面，曲面，断面。为保证处理流程的一致性，将得到的相位图像数据裁剪成统一的尺寸。
20、s42：定义相位修复网络结构。相位修复分成两个阶段对应两个子网络，两个子网络具有相同的结构，第一阶段网络实现相位周期边界修复，第二阶段网络实现在相位周期边界引导下的相位修复。为了提高提取特征和表达特征的能力，网络定义成一种编码器—解码器结构，其编码器包括4层，相邻层间下采样通过最大池化实现，为进一步提高特征提取能力，在编码器最后叠加5个空洞卷积残差块扩大感受野。其解码器包括3层，每次上采样通过反卷积实现，为进一步提高特征表达能力，每一层解码器的输入与对应的编码器输出进行拼接组合，并且编码器的输出经过cbma注意力模块增强细节保留能力。
21、s43：制定训练策略。相位修复网络包含两个阶段网络，两个阶段网络通过串联进行同步训练，将带有掩膜的相位图作为待修复相位图输入第一阶段网络，输出结果为相位周期边界图，并与真实相位周期边界图进行比对计算损失。将第一阶段网络的结果相位周期边界图作为第二阶段网络的输入，输出结果为完整相位图，并与真实相位图进行比对计算损失，计算网络总损失，反向传播不断迭代直至收敛，最后保存训练完的模型参数。
22、步骤s42所述的定义相位修复网络结构还包括：每次卷积后面加入批归一化操作bathnorm2d，以加速网络的训练收敛并提高模型的性能，网络前面的激化函数使用relu，最后输出的激活函数使用tanh。
23、步骤s43所述的第一阶段网络与第二阶段网络的损失函数为：
24、
25、步骤s43所述的计算网络总损失，是将第一阶段网络使用mse计算像素误差记为loss_1，第二阶段网络使用mse计算像素误差记为loss_2，网络总损失loss：
26、loss＝a×loss_1+b×loss_2(5)
27、本专利技术提供一种基于相位修复的高动态范围结构光三维成像系统，系统包括通讯连接的投影仪、图像采集装置及计算机，计算机用于控制投影仪向待测物体表面投射相移条纹图案，计算机还用于计算采集到的相移条纹图过曝点，确定相位主值过曝区域，计算相位主值图，图像采集装置共有2个分别位于投影仪左右两侧，用于采集被物体表面所调制的相移条纹图像，投本文档来自技高网...
【技术保护点】
1.一种基于相位修复的高动态范围结构光三维成像方法，应用于高反光材质表面的结构光三维成像方法，所用的系统包括通信连接的投影仪、图像采集装置及计算机，其特征在于，方法包括以下步骤：
2.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤一中投影仪所投射相移条纹的光强函数如下：
3.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤二中过曝点是通过判断相移条纹图中各像素点的灰度值是否大于预设的灰度值来确定的，对相移条纹图进行二值化处理，得到对应的过曝标签二值图。
4.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤三中相位主值图计算公式如下：
5.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤三中相位过曝区域由同一频率的相移条纹图对应的N张过曝标签二值图进行求并集得到完整的相位过曝Mask：
6.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤四中所述的相位修复网络包括以下步骤：
7.如权利要求6的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤S42所述的定义相位修复网络结构还包括：每次卷积后面加入批归一化操作BathNorm2d，加速网络的训练收敛并提高模型的性能，网络前面的激化函数使用Relu，最后输出的激活函数使用Tanh。
8.如权利要求6的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤S43所述的第一阶段网络与第二阶段网络的损失函数为：
9.如权利要求6的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤S43所述的计算网络总损失，是将第一阶段网络使用MSE计算像素误差记为loss_1，第二阶段网络使用MSE计算像素误差记为loss_2，网络总损失loss：
10.实现权利要求1所述的一种基于相位修复的高动态范围结构光三维成像方法的系统，包括通讯连接的投影仪、图像采集装置及计算机，计算机用于控制投影仪向待测物体表面投射相移条纹图案，以及计算采集到的相移条纹图过曝点，确定相位主值过曝区域，计算相位主值图；图像采集装置共有2个分别位于投影仪左右两侧，用于采集被物体表面所调制的相移条纹图像，投影仪还用于触发图像采集装置拍照；
...【技术特征摘要】
1.一种基于相位修复的高动态范围结构光三维成像方法，应用于高反光材质表面的结构光三维成像方法，所用的系统包括通信连接的投影仪、图像采集装置及计算机，其特征在于，方法包括以下步骤：
2.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤一中投影仪所投射相移条纹的光强函数如下：
3.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤二中过曝点是通过判断相移条纹图中各像素点的灰度值是否大于预设的灰度值来确定的，对相移条纹图进行二值化处理，得到对应的过曝标签二值图。
4.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤三中相位主值图计算公式如下：
5.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤三中相位过曝区域由同一频率的相移条纹图对应的n张过曝标签二值图进行求并集得到完整的相位过曝mask：
6.如权利要求1的一种基于相位修复的高动态范围结构光三维成像方法，其特征在于，步骤四中所述的相位修复网络包括以下步骤：
7.如权利要求6的一种...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。