一种结构光三维成像的自监督相位展开方法及装置制造方法及图纸

本发明专利技术公开了一种结构光三维成像的自监督相位展开方法及装置，主要解决现有技术中存在的现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战的问题。该发明专利技术包括计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为两个通道和第三通道合成三通道图像；用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。通过上述方案，本发明专利技术达到了得到和真值几乎无差别的预测值使动态场景的高精度得到更真实的还原的目的。还原的目的。还原的目的。

【技术实现步骤摘要】
一种结构光三维成像的自监督相位展开方法及装置


[0001]本专利技术涉及相位展开
，具体地说，是涉及一种结构光三维成像的自监督相位展开方法及装置。

技术介绍

[0002]相移轮廓术是一种广泛应用于结构光三维成像的技术，把在一个条纹周期内多帧相移条纹投影到被成像物体表面，捕获受物体表面高度调制的变形条纹图像，对其进行解调，重建出物体的三维信息，具有精度高、无接触式、不易受物体表面复杂变化影响的优点。
[0003]传统的相位展开分为空间相位展开和时间相位展开，前者直接对单频截断相位图进行处理，不需要再投影其他频率条纹。在时间相位展开中，投影的条纹图的套数越多，恢复出的连续相位越精确，如依次投影1根条纹（简称：1频）+4根条纹（简称：4频）+16根条纹（简称：16频）+64根条纹（简称：64频）共4套条纹恢复的连续相位，比投影1频+4频+16频共3套条纹恢复的连续相位精度高。
[0004]但投影条纹图套数越多，一次三维成像所需的时间越长，不适用于动态场景的三维成像。相同套数的条纹图中，最高频条纹图的频率数越高，恢复出的连续相位越精确。采用时间相位展开方法实现动态场景的三维成像，投影的条纹图套数最少为2套（也称双频法），理想的最高频条纹图的频率为64频纹或更多。但现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战。

技术实现思路

[0005]本专利技术的目的在于提供一种结构光三维成像的自监督相位展开方法及装置，以解决现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战的问题。
[0006]为了解决上述问题，本专利技术提供如下技术方案：一方面，一种结构光三维成像的自监督相位展开方法包括计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为第一通道和第二通道与第三通道合成三通道图像；用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。
[0007]在较佳的实施例中，计算高频条纹和1频条纹的截断相位图包括：用相机获取高频条纹的变形条纹图和1频条纹的变形条纹图,然后分别对两个变形条纹图进行经相移算法处理，得出高频截断相位图和1频截断相位图。
[0008]在较佳的实施例中，计算高频条纹和1频条纹的截断相位图包括：在投影仪上,高频条纹的条纹数和1频条纹的条纹数分别结合投影仪的像素得到对应的高频投影连续相位
图和1频投影连续相位图。
[0009]在较佳的实施例中，合成三通道图像包括：将高频截断相位图作为第一个通道，1频截断相位图作为第二个通道，第三个通道为像素值为0的通道，合成一幅三通道图像。
[0010]在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：搭建神经网络模型,向其中输入高频截断相位图得到高频截断相位图的每个像素的级次k，每个像素的级次k经过神经网络模型输出层的softargmax处理，获得浮点数格式级次图。
[0011]在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：将级次图乘以，再加上高频截断相位图，得到相机高频连续相位图。
[0012]在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：相机高频连续相位图中的每个点，根据其相位值以及相机和投影仪之间存在的极线约束,找出其在高频投影连续相位图上的对应点,得到对应点的像素坐标集合。
[0013]在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：在1频投影连续相位图中对所述对应点使用双线性插值得到其连续相位值，连续相位值合成的三通道图像中的1频连续相位值相比较计算回归损失为相位损失。
[0014]在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：计算空间结构损失，将相位损失和空间结构损失结合得到神经网络模型的损失函数，以自监督方式学习到截断相位图的相位展开得到最终神经网络模型。
[0015]另一方面，一种结构光三维成像的自监督相位展开装置包括存储器：用于存储可执行指令；处理器：用于执行所述存储器中存储的可执行指令，实现一种结构光三维成像的自监督相位展开方法。
[0016]与现有技术相比，本专利技术具有以下有益效果：本专利技术将高频条纹和1频条纹的截断相位图分别作为第一通道和第二通道一起与第三通道合成三通道图像，然后用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；最后通过神经网络模型得到对应的条纹级次图，通过自监督训练，从输入的一幅双频截断相位图恢复高频条纹的连续相位图，得到和真值几乎无差别的预测值使动态场景的高精度得到更真实的还原。
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
[0018]图1为结构光系统原理图。
[0019]图2为1频连续相位图P1。
[0020]图3为变形条纹截断相位图U。
[0021]图4为双频截断相位复合图。
[0022]图5为相机和投影仪之间的极线约束。
[0023]图6为级次图真值。
[0024]图7为级次图预测值。
[0025]图8为级次图真值剖面线数值。
[0026]图9为级次图预测值剖面线数值。
[0027]图10为深度图真值。
[0028]图11为深度图预测值。
实施方式
[0029]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合图1至图11对本专利技术作进一步地详细描述，所描述的实施例不应视为对本专利技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0030]相移轮廓术中，从捕获到的多帧变形条纹图像中只能直接计算出截断相位图，其相位值在0，2。截断相位图还需要经相位展开(phase unwrapping)处理后得到连续相位图，连续相位图与物体表面高度具有非线性映射关系。此连续相位和物体表面高度之间的映射关系在成像前通过系统标定获得。
[0031]相位展开任务可以看作给截断相位图的每个像素点找到一个整数值，这个值常被称为条纹级次（fringe order）。截断相位加上级次倍数的2，就得到连续相位，也叫相位展开。值得注意的是，如果这个条纹级次是对应于投影条纹图案的条纹级次，那么这个级次就是绝对条纹级次，相位展开也就是绝对相位展开，得到的连续相位也就是绝对相位。截断相位、条纹级次和连续相位之间的关系如下所示（1）其中，是连续相位，是截断相位，是条纹级次，是像素坐标。
[0032]现有的双频法中，由于噪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构光三维成像的自监督相位展开方法，其特征在于，包括计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为第一通道和第二通道与第三通道合成三通道图像；用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。2.根据权利要求1所述的一种结构光三维成像的自监督相位展开方法，其特征在于，计算高频条纹和1频条纹的截断相位图包括：用相机获取高频条纹的变形条纹图和1频条纹的变形条纹图,然后分别对两个变形条纹图进行经相移算法处理，得出高频截断相位图和1频截断相位图。3.根据权利要求1所述的一种结构光三维成像的自监督相位展开方法，其特征在于，计算高频条纹和1频条纹的截断相位图包括：在投影仪上,高频条纹的条纹数和1频条纹的条纹数分别结合投影仪的像素得到对应的高频投影连续相位图和1频投影连续相位图。4.根据权利要求2所述的一种结构光三维成像的自监督相位展开方法，其特征在于，合成三通道图像包括：将高频截断相位图作为第一个通道，1频截断相位图作为第二个通道，第三个通道为像素值为0的通道，合成一幅三通道图像。5.根据权利要求2所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：搭建神经网络模型,向其中输入高频截断相位图得到高频截断相位图的每个像素的级次k，每个像素的级次k经过神经网络模型输出层的softargmax处...

【专利技术属性】
技术研发人员：高小茗，宋万忠，雷浚哲，谈春乾，
申请(专利权)人：四川大学，
类型：发明
国别省市：