基于条纹图像转换网络FPTNet的动态高精度三维测量方法技术

本发明专利技术涉及基于条纹图像转换网络FPTNet的动态高精度三维测量方法，包括以下步骤：1.搭建条纹图像转换网络，2.条纹图像采集与参数标定，3.条纹图像转换，4.进行包裹相位和绝对相位计算，5.重建三维信息。本发明专利技术仅需投影单帧或两帧正弦条纹图像即可计算获得精确的绝对相位，从而得到准确的三维信息，精确测量动态物体的三维信息，有效避免了运动误差，提高了三维测量的速度与精度。

【技术实现步骤摘要】
基于条纹图像转换网络FPTNet的动态高精度三维测量方法
本专利技术涉及基于条纹图像转换网络FPTNet的动态高精度三维测量方法，属于计算机视觉

技术介绍
动态三维测量在生物医药、逆向工程，人脸识别等应用中得到了广泛的应用。条纹投影轮廓术是一种典型的结构光技术，由于其高分辨率、高速、高分辨率等特性，经常被使用。条纹投影轮廓术首先使用相移算法或基于变换的算法计算所需相位，相移算法需要至少三条相移正弦条纹，这可能会对动态对象产生运动诱导误差；基于变换的算法可以利用单个正弦条纹来计算所需的相位，但很难保持目标的边缘。计算得到相位被包裹在的范围内，需要相位展开才能获得绝对相位。相位展开方法可分为空间和时间相位展开两类。由于局部误差传播，前者在复杂曲面上经常失效。后者在实际测量中常用，但需要大量的条纹形式，如二进制或三进制编码、相位编码或多频正弦方法等。多频法源于激光干涉法，利用两组或多组相移正弦条纹图像可直接应用于条纹投影轮廓术。在无噪声系统中，采用两组相移正弦条纹图像效果良好，但在实际的噪声系统中，需要多组图像。近年来，伴随着计算机性能的不断提高，深度学习取得了迅速发展，在图像变换任务中广泛应用，如分割、超分辨率、风格迁移等。最近，研究者们尝试在三维测量领域引入深度学习来提高测量效率或解决传统方法中的固有问题，有研究者使用深度学习来减少所需的条纹，但仍需至少三帧条纹图像才能成功展开相位，此外，还有研究者引入深度学习直接将单帧条纹图像转换为三维形状，但会产生高达2mm的测量误差。综上，设计合理的方法，在保证测量精度的同时减少条纹图像数量，对于动态三维测量尤为重要。
技术实现思路
为了解决上述技术问题，本专利技术提供基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其具体技术方案如下：基于条纹图像转换网络FPTNet的动态高精度三维测量方法，包括以下步骤：步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：，（1）(x，y)为像素坐标，N为一组相移条纹的步数，为相移量，再基于格雷码图的方式将包裹相位解包裹得到绝对相位，如式（2）：，（2）式中表示从中计算得到的第个包裹相位，表示对应的条纹级次，INT[x]表示取整；步骤五：重建三维信息：结合绝对相位与系统中投影仪与相机的标定参数，重建待测物体的准确三维信息。进一步的，所述条纹图像转换网络包括FPTNet-C与FPTNet-U两个子网络，所述FPTNet-U分为FPTNet-UI和FPTNet-UII两种类型。进一步的，所述原始条纹图像分为单帧正弦条纹图像与两帧正弦条纹图像，所述单帧正弦条纹图像输入FPTNet-C转换为具有相同频率的相移正弦条纹图像。进一步的，所述待测物体表面的相移不超过一个条纹周期时，所述单帧正弦条纹图像输入FPTNet-UI转换为不同频率的正弦条纹图像，所述两帧正弦条纹图像输入FPTNet-UII转换为不同频率的正弦条纹图像。进一步的，所述条纹图像转换网络包括训练阶段和推理阶段，所述训练阶段通过使输出条纹图像与条纹投影轮廓系统实际采集的条纹图像之间的差别最小化，训练条纹图像转换网络学习条纹图像的转换，所述推理阶段使经过训练的条纹图像转换网络将单帧或两帧正弦条纹图像转换出不同频率的正弦条纹图像。进一步的，所述条纹图像转换网络利用（3）式实现参数最优化，，（3）式中Loss为条纹图像转换网络的损失函数，为条纹图像转换网络训练过程的参数集，m代表图片的像素个数，n表示输入的图片数量，为第n张条纹图像转换网络输出相移条纹图片，为第n张标准相移条纹图片，N表示相移步数。进一步的，所述条纹图像转换网络由卷积层、Batch-norm层、ReLu层以及drop-out层连接构建。本专利技术的有益效果：本专利技术仅需投影单帧或两帧正弦条纹图像即可计算获得精确的绝对相位，从而得到准确的三维信息，精确测量动态物体的三维信息，有效避免了运动误差，提高了三维测量的速度与精度。附图说明图1是本专利技术的流程示意图，图2是本专利技术的动态三维测量步骤示意图，图3是本专利技术的动态物体旋转的风扇测量示意图，图4是本专利技术动态物体掉落的玩偶的测量示意图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。如图1所示，本专利技术的基于条纹图像转换网络FPTNet的动态高精度三维测量方法，包括以下步骤：步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：，（1）(x，y)为像素坐标，N为一组相移条纹的步数，为相移量，再基于格雷码图的方式将包裹相位解包裹得到绝对相位，如式（2）：，（2）式中表示从中计算得到的第个包裹相位，表示对应的条纹级次，INT[x]表示取整；步骤五：重建三维信息：结合绝对相位与系统中投影仪与相机的标定参数，重建待测物体的准确三维信息。其中，条纹图像转换网络由卷积层、Batch-norm层、ReLu层以及drop-out层连接构建。条纹图像转换网络包括FPTNet-C与FPTNet-U两个子网络，FPTNet-U分为FPTNet-UI和FPTNet-UII两种类型；原始条纹图像分为单帧正弦条纹图像与两帧正弦条纹图像，单帧正弦条纹图像输入FPTNet-C转换为具有相同频率的相移正弦条纹图像，待测物体表面的相移不超过一个条纹周期时，单帧正弦条纹图像输入FPTNet-UI转换为不同频率的正弦条纹图像，两帧正弦条纹图像输入FPTNet-UII转换为不同频率的正弦条纹图像。条纹图像转换网络包括训练阶段和推理阶段，训练阶段通过使输出条纹图像与条纹投影轮廓系统实际采集的条纹图像之间的差别最小化，训练条纹图像转换网络学习条纹图像的转换，推理阶段使经过训练的条纹图像转换网络将单帧或两帧正弦条纹图像转换出不同频率的正弦条纹图像。条纹图像转换网络利用本文档来自技高网...

【技术保护点】
1.基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其特征在于：包括以下步骤：/n步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；/n步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；/n步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；/n步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：/n

【技术特征摘要】
1.基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其特征在于：包括以下步骤：
步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；
步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；
步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；
步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：

，（1）
(x，y)为像素坐标，N为一组相移条纹的步数，为相移量，再基于格雷码图的方式将包裹相位解包裹得到绝对相位，如式（2）：

，（2）
式中表示从中计算得到的第个包裹相位，表示对应的条纹级次，INT[x]表示取整；
步骤五：重建三维信息：结合绝对相位与系统中投影仪与相机的标定参数，重建待测物体的准确三维信息。


2.根据权利要求1所述的基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其特征在于：所述条纹图像转换网络包括FPTNet-C与FPTNet-U两个子网络，所述FPTNet-U分为FPTNet-UI和FPTNet-UII两种类型。


3.根据权利要求1所述的基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其特征在于：所述原始条纹图像分为单帧正弦条纹图像与两帧正弦条纹图像，所述单帧正弦...

【专利技术属性】
技术研发人员：郑东亮，韩静，柏连发，赵壮，于浩天，张钊，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32