基于深度学习的单帧彩色条纹投影的三维面型测量方法技术

本发明专利技术公开了一种基于深度学习的单帧彩色条纹投影的三维面型测量方法，包括基于卷积神经网络的模型CNN，输入包含三个通道，分别为彩色条纹图像的红色、绿色和蓝色通道内的灰度条纹图像。采用投影仪投影三个不同频率的12步相移条纹，利用相移(PS)法和投影最小距离法(PDM)生成CNN所需的训练数据对其进行训练。使用时，将彩色条纹图像的三个通道灰度条纹图像输入至CNN，得到分子项、分母项以及一个包含条纹级次信息的低精度绝对相位。将分子项与分母项代入反正切函数，结合低精度绝对相位计算得到高精度的绝对相位信息。本发明专利技术可在无任何复杂预/后处理的情况下，提供更精确的相位信息和更可靠的相位展开。

【技术实现步骤摘要】
基于深度学习的单帧彩色条纹投影的三维面型测量方法
本专利技术属于光学测量
，具体为一种基于深度学习的单帧彩色条纹投影的三维面型测量方法。
技术介绍
条纹投影轮廓术(FPP)由于其简单的硬件设施，灵活的实现方式和较高的测量精度而成为最广泛使用的三维(3D)测量技术之一。近年来，随着在线质量检测、快速逆向工程等应用中对高速场景下3D信息获取的要求不断增加，基于FPP的高速3D形状测量技术变得至关重要(Robustdynamic3-dmeasurementswithmotion-compensatedphase-shiftingprofilometry，作者SFeng等)。为了实现高速场景下的3D成像，有必要提高测量效率，减少单次三维重构所需的条纹图案数量。理想方法是从单个图像中恢复物体的高质量3D绝对表面。彩色编码投影技术(Reviewofsingle-shot3dshapemeasurementbyphasecalculation-basedfringeprojectiontechniques，作者ZZhang)在动态场景测量中具有很大的优势，因为该技术可在红色，蓝色和绿色通道中对三个独立的条纹图像进行编码，进而成像效率较传统单色投影方式提高2倍。为充分利用彩色图像通道，学者们已提出了许多单帧彩色编码投影技术(Compositephase-shiftingalgorithmforthree-dimensionalshapecompression，作者NKarpinsky等)。但是，这些技术很少可用于复杂对象的高精度测量。一方面，为获取高精度相位信息，应优先选择具有高测量分辨率的相移(PS)法(Phaseshiftingalgorithmsforfringeprojectionprofilometry:Areview，作者CZuo等)。但是PS法至少需要三个条纹图像，这些条纹图像占据RGB图像的所有通道，因此只能通过空间相位展开方法(在遇到孤立的相位时会解包裹失败)消除相位模糊性(Color-encodeddigitalfringeprojectiontechniqueforhigh-speed3-dsurfacecontouring，作者PSHuang等)。另一方面，为了实现稳定的相位展开，通常采用将条纹图案与格雷码相组合或多频条纹图像相组合的策略。前者由于难以识别格雷码图案的边缘，仍然无法稳定地展开相位(Projectedfringeprofilometryusingthearea-encodedalgorithmforspatiallyisolatedanddynamicobjects，作者WHSu)。后者可以通过3条纹数选择法(Opticalimagingofphysicalobjects，作者DTowers等)恢复绝对相位，但由于使用了傅立叶变换(FT)法(一种单帧成像方法，但该方法在相图图不连续或孤立区域的质量较差)而使得相位精度较差。此外，颜色编码投影方法还存在一些固有的缺陷，例如通道之间的色差及颜色串扰，这些因素会影响相位计算的质量。尽管研究人员提出了一些预处理方法来补偿这缺陷，但只能在一定程度上减少这些缺陷对测量的影响。由上述分析可见，尽管彩色编码投影技术非常有潜力实现单帧三维测量，但仅有的三个颜色通道不足以编码既满足高质量的相位信息获取又满足稳定的相位展开的条纹图像，此外，该技术固有的色差及颜色串扰问题也很难通过传统的方法来解决。
技术实现思路
本专利技术的目的在于提供了一种基于深度学习的单帧彩色条纹投影的三维面型测量方法。实现本专利技术目的的技术解决方案为：一种基于深度学习的单帧彩色条纹投影相位展开方法，具体步骤为：步骤1：构建基于卷积神经网络的模型CNN；步骤2：生成CNN模型训练数据，对模型CNN进行训练；步骤3、将被测物的彩色复合条纹图像三个通道内的灰度图像输入训练好的模型CNN，获得分子项、分母项以及低精度绝对相位，将分子项与分母项代入反正切函数，结合低精度绝对相位计算得到最终的绝对相位信息。优选地，所述模型CNN包括五路数据处理路径、连接层1和卷积层11，其中：所述数据处理路径1被设置为：输入数据依次经过卷积层1、残差模块1，经残差模块1输出的数据与卷积层1输出的数据一起输入卷积层2，卷积层2的输出数据输入连接层1；所述数据处理路径2被设置为：输入数据依次经过卷积层3、池化层1、残差模块2、上采样层1，经上采样层1输出的数据与池化层1输出的数据一起输入卷积层4，卷积层4输出的数据输入连接层1；所述数据处理路径3被设置为：输入数据依次经过卷积层5、池化层2、残差模块3、上采样层2、上采样层3，上采样层3输出的数据与池化层2输出的数据一起输入卷积层6，卷积层6输出的数据输入连接层1；所述数据处理路径4被设置为：输入数据依次经过卷积层7、池化层3、残差模块4、上采样层4、上采样层5、上采样层6，上采样层6输出的数据与池化层3输出的数据一起输入卷积层8，卷积层8输出的数据输入连接层1；所述数据处理路径5被设置为：输入数据依次经过卷积层9、池化层4、残差模块5、上采样层7、上采样层8、上采样层9、上采样层10，上采样层10输出的数据与池化层4输出的数据一起输入卷积层10，卷积层10输出的数据输入连接层1；所述连接层1用于将5路数据进行后输入至卷积层11，得到输出通道数为3的3D张量。优选地，所述池化层1、池化层2、池化层3、池化层4、池化层5分别对数据进行1/2、1/4、1/8、1/16的降采样。优选地，生成CNN模型训练数据的具体方法为：步骤2.1：使用投影仪向物体投影37幅条纹图像，37幅条纹图像包括12幅频率fR的绿色相移条纹图像12幅频率fG的绿色相移条纹图像和12幅频率fB的绿色相移条纹图像以及1幅复合彩色条纹图像IRGB，其红色通道为频率fR的灰度条纹图像IR、绿色通道为频率fG的灰度条纹图像IG、蓝色通道为频率fB的灰度条纹图像IB；步骤2.2：使用彩色相机采集被物体调制的37幅条纹图像，并生成训练CNN所需的一组输入与输出数据，具体为：步骤2.2.1：对于采集到的前36幅绿色条纹图像分别使用相移(PS)法获取频率为fR、fG、fB的包裹相位通过PDM法获取频率fG的绝对相位ΦG，将频率fG的分子项MG、分母项DG，以及绝对相位ΦG作为模型CNN的一组标准数据。步骤2.2.2、将采集到的第37幅复合彩色条纹图像IRGB三个通道中的灰度图像IR、IG、IB作为网络CNN的一组输入数据；步骤2.3：重复步骤2.1、2.2，生成设定组数训练数据。优选地，对模型CNN进行训练的具体方法为：将第37幅复合彩色条纹图像三个通道中的灰度图像IR、IG、IB作为模型CNN输入数据，频率fG的分子项MG、分母项DG以及绝对相位ΦG作为模型CNN标准数据，计算标准数据与模型CNN输出值之间的差异，利用反向传播法，反复迭代优化CNN的内部参数，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单帧彩色条纹投影相位展开方法，其特征在于，具体步骤为：/n步骤1：构建基于卷积神经网络的模型CNN；/n步骤2：生成CNN模型训练数据，对模型CNN进行训练；/n步骤3、将被测物的彩色复合条纹图像三个通道内的灰度图像输入训练好的模型CNN，获得分子项、分母项以及低精度绝对相位，将分子项与分母项代入反正切函数，结合低精度绝对相位计算得到最终的绝对相位信息。/n

【技术特征摘要】
1.一种基于深度学习的单帧彩色条纹投影相位展开方法，其特征在于，具体步骤为：
步骤1：构建基于卷积神经网络的模型CNN；
步骤2：生成CNN模型训练数据，对模型CNN进行训练；
步骤3、将被测物的彩色复合条纹图像三个通道内的灰度图像输入训练好的模型CNN，获得分子项、分母项以及低精度绝对相位，将分子项与分母项代入反正切函数，结合低精度绝对相位计算得到最终的绝对相位信息。


2.根据权利要求1所述的基于深度学习的单帧彩色条纹投影的三维面型测量方法，其特征在于，所述模型CNN包括五路数据处理路径、连接层1和卷积层11，其中：
所述数据处理路径1被设置为：输入数据依次经过卷积层1、残差模块1，经残差模块1输出的数据与卷积层1输出的数据一起输入卷积层2，卷积层2的输出数据输入连接层1；
所述数据处理路径2被设置为：输入数据依次经过卷积层3、池化层1、残差模块2、上采样层1，经上采样层1输出的数据与池化层1输出的数据一起输入卷积层4，卷积层4输出的数据输入连接层1；
所述数据处理路径3被设置为：输入数据依次经过卷积层5、池化层2、残差模块3、上采样层2、上采样层3，上采样层3输出的数据与池化层2输出的数据一起输入卷积层6，卷积层6输出的数据输入连接层1；
所述数据处理路径4被设置为：输入数据依次经过卷积层7、池化层3、残差模块4、上采样层4、上采样层5、上采样层6，上采样层6输出的数据与池化层3输出的数据一起输入卷积层8，卷积层8输出的数据输入连接层1；
所述数据处理路径5被设置为：输入数据依次经过卷积层9、池化层4、残差模块5、上采样层7、上采样层8、上采样层9、上采样层10，上采样层10输出的数据与池化层4输出的数据一起输入卷积层10，卷积层10输出的数据输入连接层1；
所述连接层1用于将5路数据进行后输入至卷积层11，得到输出通道数为3的3D张量。


3.根据权利要求2所述的基于深度学习的单帧彩色条纹投影的三维面型测量方法，其特征在于，所述池化层1、池化层2、池化层3、池化层4、池化层5分别对数据进行1/2、1/4、1/8、1/16的降采样。
<...

【专利技术属性】
技术研发人员：左超，钱佳铭，陈钱，冯世杰，李艺璇，陶天阳，胡岩，尚昱昊，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32