基于学习的条纹相位恢复和散斑相关的三维测量方法技术

本发明专利技术公开了一种基于学习的条纹相位恢复和散斑相关的三维测量方法。首先使用一个立体匹配网络从一张散斑图案中产生初始视差图。使用U‑net网络从额外的一张条纹图案中高精度地提取包裹相位图。通过将包裹相位图用作附加约束来优化初始视差图，从而最终实现高速高精度的绝对三维形貌测量。本发明专利技术仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量。

【技术实现步骤摘要】
基于学习的条纹相位恢复和散斑相关的三维测量方法
本专利技术属于光学测量
，具体为一种基于学习的条纹相位恢复和散斑相关的三维测量方法。
技术介绍
目前，快速三维形貌测量技术被广泛的应用于各个领域，如智能监控，工业质量控制和三维人脸识别等。在众多三维形貌测量方法中，基于结构光和三角测量原理的条纹投影轮廓术是最实用的技术之一，由于它具有无接触，全场，高精度和高效等优点。主流的条纹投影轮廓术一般需经过三个流程实现三维测量，分别是相位恢复，相位展开和相位到高度的映射。在相位恢复技术中，最常用的两种方法是傅里叶轮廓术和相移轮廓术。傅里叶轮廓术只需一张条纹图即可提取相位，但这种方法受到频谱混叠的影响，导致测量结果的质量很差，不能测量形貌复杂的物体。相比于傅里叶轮廓术，相移轮廓术具有对环境光不敏感、能够获得像素级相位测量的优点，它适合于测量具有复杂表面的物体。但是这个方法一般需要投影多幅相移条纹图(至少三幅)实现相位提取。随着高速相机和DLP投影技术的快速发展，使得相移轮廓术也可以用于实现快速三维测量。但是，傅里叶轮廓术和相移轮廓术都使用反正切函数提取相位，反正切函数的值域[0，2π]，因此这两种方法都只能得到包裹相位图，其中存在2π的相位跳变。因此，需要实施相位展开技术使包裹相位图变为绝对相位图。目前主流的相位展开方法是时域相位展开与空域相位展开。一方面，空域相位展开只需一幅包裹相位图即可实现相位展开，但是不能有效测量复杂物体或者多个孤立物体，容易出现相位展开错误。另一方面，时域相位展开能够稳定地展开包裹相位，但是需要使用多幅不同频率的-包裹相位图，这极大地影响相位展开的效率从而降低三维测量的速度。常用的空域相位展开技术有三个：多频法，多波长法和数论法。其中，多频法能够实现最好的相位展开结果，而多波长法则对噪声最敏感(文献“Temporalphaseunwrappingalgorithmsforfringeprojectionprofilometry：Acomparativereview”，作者ChaoZuo等)。多频法的原理是使用单周期的低频包裹相位展开高频包裹相位图，由于测量过程中的噪声影响，通常多频法只能展开频率为20的高频包裹相位图。而更高频率的相位图拥有更高的精度，因此为了实现高精度的三维测量往往需要投影多组不同频率的条纹图。这进一步降低了条纹投影轮廓术的测量效率从而抑制了其测量运动物体的能力。因此，针对基于条纹投影轮廓术的三维成像技术而言，目前尚缺乏一种测量精度与测量效率兼得的方法。
技术实现思路
本专利技术的目的在于提出了一种基于学习的条纹相位恢复和散斑相关的三维测量方法。实现本专利技术目的的技术解决方案为：一种基于学习的条纹相位恢复和散斑相关的三维测量方法，具体步骤为：步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图；步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；步骤3：将高频条纹图输入训练好的U-net网络，获得包裹相位；步骤4：利用包裹相位约束优化初始视差图，获得高精度视差图；步骤5：根据相机的标定参数，将高精度视差图转换为三维信息，完成三维测量。优选地，基于立体匹配网络得到初始视差图的具体方法为：对来自两个不同视角的两张散斑图分别进行立体校正，将散斑图案裁剪为大小不同的块数据；将块数据输入训练好的立体匹配网络，获得初始匹配成本；采用基于半全局匹配的成本聚合方法对初始匹配成本进行优化；通过胜者为王算法将具有最低成本值的候选视差作为整像素视差值，并通过五点二次曲线拟合模型获得具有亚像素精度的视差图。优选地，所述立体匹配网络包括一个共享子网络和若干具有共享权重的全连接层，所述共享子网络包括依次堆叠在前端的一个卷积层和若干残差块，堆叠在后端的九个卷积层。优选地，U-net网络训练时的标签为使用三步相移算法获得且去除背景信息后的反正切函数的分子项和分母项M(x，y)和D(x，y)。优选地，去除背景信息的具体方法为：将像素点对应的实际的条纹调制度与设定阈值作比较，若低于阈值，则将该像素点对应的反正切函数的分子项和分母项设为0。优选地，像素点对应的实际的条纹调制度具体为：其中，I1(x，y)，I2(x，y)，I3(x，y)为对应的三步相移条纹图光强。Modulation(x，y)是实际的条纹调制度。优选地，将高频条纹图输入训练好的U-net网络，获得包裹相位具体为：将高频条纹图输入训练好的U-net网络，得到反正切函数的分子项和分母项M(x，y)和D(x，y)；根据M(x，y)和D(x，y)得到包裹相位图具体为：优选地，利用包裹相位约束优化初始视差图，获得高精度视差图的具体方法为：根据初始视差图和包裹相位信息，通过最小化两个视角的包裹相位之间的差异实现基于相位信息的立体匹配，获得整像素的匹配点；利用整像素的匹配点及其邻点的相位信息，通过线性插值算法完成亚像素匹配，获得高精度视差图。本专利技术与现有技术相比，其显著优点为：本专利技术仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量。下面结合附图对本专利技术做进一步详细的描述。附图说明图1是本专利技术的流程图。图2为本专利技术基于深度学习的鲁棒立体匹配算法的基本原理图。图3为本专利技术基于改进的U-net型网络的高精度相位提取算法的基本原理图。图4为本专利技术的基于学习的条纹相位恢复和散斑相关的三维测量方法的结果图。具体实施方式一种基于学习的条纹相位恢复和散斑相关的三维测量方法，仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量，包括以下步骤：步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图。进一步的实施例中，采集的高频条纹图为：I(x，y)＝A(x，y)+B(x，y)cosΦ(x，y)其中，I(x，y)为高频条纹图光强，(x，y)为相机平面的像素坐标，A(x，y)为背景光强，B(x，y)为条纹的调制度，Φ(x，y)为待求相位。采集的散斑图像光强为Ispk(x，y)。步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；进一步地，基于立体匹配网络得到初始视差图的具体方法为：对来自两个不同视角的两张散斑图分别进行立体校正，将散斑图案裁剪为大小不同的块数据，以便在网络的训练期间输入网络。具体地，对于左相机，以从左相机采集的散斑图中某一待匹配像素(x，y)为中心进行裁剪，块数据BlockL的大小为L×L。对应地，对于右相机，以从右相机采集的散斑图中像素(x，y)为中心进行裁剪，块数据BlockR的大小为L×(L+D-1)。其中，该块数据BlockR是以从右相机采集的散斑图中像素(x，y)为中心的长方形块，块数据BlockR的上半径和下半径均为左半径为右半径为Dmin和Dmax分别表示立体匹配系统中的最小视差值和本文档来自技高网...

【技术保护点】
1.一种基于学习的条纹相位恢复和散斑相关的三维测量方法，其特征在于，具体步骤为：/n步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图；/n步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；/n步骤3：将高频条纹图输入训练好的U-net网络，获得包裹相位；/n步骤4：利用包裹相位约束优化初始视差图，获得高精度视差图；/n步骤5：根据相机的标定参数，将高精度视差图转换为三维信息，完成三维测量。/n

【技术特征摘要】
1.一种基于学习的条纹相位恢复和散斑相关的三维测量方法，其特征在于，具体步骤为：
步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图；
步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；
步骤3：将高频条纹图输入训练好的U-net网络，获得包裹相位；
步骤4：利用包裹相位约束优化初始视差图，获得高精度视差图；
步骤5：根据相机的标定参数，将高精度视差图转换为三维信息，完成三维测量。


2.根据权利要求1所述的基于学习的条纹相位恢复和散斑相关的三维测量方法，其特征在于，基于立体匹配网络得到初始视差图的具体方法为：
对来自两个不同视角的两张散斑图分别进行立体校正，将散斑图案裁剪为大小不同的块数据；
将块数据输入训练好的立体匹配网络，获得初始匹配成本；
采用基于半全局匹配的成本聚合方法对初始匹配成本进行优化；
通过胜者为王算法将具有最低成本值的候选视差作为整像素视差值，并通过五点二次曲线拟合模型获得具有亚像素精度的视差图。


3.根据权利要求2所述的基于学习的条纹相位恢复和散斑相关的三维测量方法，其特征在于，所述立体匹配网络包括一个共享子网络和若干具有共享权重的全连接层，所述共享子网络包括依次堆叠在前端的一个卷积层和若干残差块，堆叠在后端的九个卷积层。


4.根据权利要求1所述的基于学习的条纹相位恢复和散斑相关的三维测量方法，其特征在于，U-net网络训练时的标签为使用三步相移算法获得且去除背景信息后的反正切...

【专利技术属性】
技术研发人员：尹维，左超，陈钱，冯世杰，孙佳嵩，胡岩，尚昱昊，陶天阳，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32