一种单帧条纹投影三维面型测量方法技术

本发明专利技术提供一种单帧条纹投影三维面型测量方法，包括如下步骤：S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net。本发明专利技术目首先利用深度学习方法，在大量数据的驱动下实现三个相机视角下单帧条纹图像的高质量相位信息提取，然后利用多视角间的标定空间极线关系，以包裹相位信息的相似度为度量实现鲁棒性的相位展开，进而恢复出被测物的高精度绝对深度信息，本发明专利技术结合了深度学习的强大特征提取优势与几何约束的高效相位展开优势，在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。

【技术实现步骤摘要】
一种单帧条纹投影三维面型测量方法
本专利技术涉及光学测量
，具体为一种单帧条纹投影三维面型测量方法。
技术介绍
条纹投影轮廓术(FPP)由于其高的测量精度、简单的硬件设施成为目前最广泛使用的三维光学测量技术之一。近年来，随着快速逆向工程、流水线质量控制、三维应力分析等应用中对快速场景下高质量3D信息获取的需求的增长，基于FPP的高速三维形貌测量技术变得尤为重要[J.Qian，S.Feng，T.Tao，Y.Hu，K.Liu，S.Wu，Q.Chen，andC.Zuo，“Highresolutionreal-time360°3Dmodelreconstructionofahandheldobjectwithfringeprojectionprofilometry,”Opt.Lett.44，5751–5754(2019).]。为了实现对高速场景下的三维信息的测量，有必要提高三维测量效率，降低单次三维重构所需的条纹图像的数量。理想情况下，是从单帧条纹图像中恢复出物体的绝对深度，这也是FPP领域的物理极限。在FPP中，最为耗时、关键的一个步骤是相位展开。传统的相位展开法为时间相位展开法[C.Zuo，L.Huang，M.Zhang，Q.Chen，andA.Asundi，“Temporalphaseunwrappingalgorithmsforfringeprojectionprofilometry:Acomparativereview,”Opt.LasersEng.85，84–103(2016).]，该方法通过不同时间轴上的光强分布来唯一确定逐像素的条纹级次。但是，由于该方法需投影额外的不同频率辅助条纹，这降低了相位展开效率，增加了相移法对物体运动的敏感程度，因此不适合对快速运动场景的测量。基于几何约束的立体相位展开法[T.Weise，B.Leibe，andL.VanGool，“Fast3Dscanningwithautomaticmotioncompensation,”in2007IEEEConferenceonComputerVisionandPatternRecognition(IEEE，2007)，pp.1–8.]可以通过多台相机和一台投影机之间的空间位置关系解决相位模糊问题，而无需投影任何辅助图案。尽管需要比传统方法更多的相机(至少两个)，立体相位展开法的确使FPP的效率最大化。但是，由于立体相位展开法的稳定性取决于不同视角匹配点的相位信息相似性[T.Tao，Q.Chen，S.Feng，Y.Hu，M.Zhang，andC.Zuo，“High-precisionrealtime3Dshapemeasurementbasedonaquad-camerasystem,”J.Opt.20，014009(2017).]，所以其对包裹相位的质量有很高的要求，因此立体相位展开法中的包裹相位通常是通过相移法[C.Zuo，S.Feng，L.Huang，T.Tao，W.Yin，andQ.Chen，“Phaseshiftingalgorithmsforfringeprojectionprofilometry:Areview,”Opt.LasersEng.109，23–59(2018).]获得的(相移法是一种多帧相位获取方法，具有高空间分辨率和高测量精度)。但是，使用多个条纹图像会降低立体相位展开法的测量效率。另一种常用的相位获取技术是具有单帧性质的傅立叶法[L.Huang，Q.Kemao，B.Pan，andA.K.Asundi，“Comparisonoffouriertransform，windowedfouriertransform，andwavelettransformmethodsforphaseextractionfromasinglefringepatterninfringeprojectionprofilometry,”Opt.LasersEng.48，141–148(2010).]，但是该方法的成像质量较差，不适合立体相位展开法的应用。由上述分析可见，尽管基于几何约束的立体相位展开法能够最大化相位展开效率，但由于其对相位质量的高要求，依旧无法实现单帧的三维成像。
技术实现思路
本专利技术目的在于提供一种单帧条纹投影三维面型测量方法，将深度学习与几何约束相结合，这种物理模型驱动+数据驱动的混合体结合了深度学习的强大特征提取优势与几何约束的高效相位展开优势，在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。相比于纯深度学习方法，本专利技术利用传统基于物理模型的方法代替部分条纹投影轮廓术的关键步骤，以保证所提出方法的稳定性与普适性；相比于传统的几何约束方法，本专利技术利用基于数据驱动的方法赋予几何约束单帧投影的特性，以保证所提出方法对动态场景测量的免疫性。为达成上述目的，本专利技术提出如下技术方案：一种单帧条纹投影三维面型测量方法，基于深度学习与三目几何约束相结合，包括如下步骤：S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net；S2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model；S3：利用训练完成的DL_model预测三个视角下的包裹相位；S4：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。进一步的，在本专利技术中，步骤S1中，深度卷积神经网络的6条路径分别为处理路径1、处理路径2、处理路径3、处理路径4、处理路径5和处理路径6：处理路径1，输入的数据经过第一卷积层、第一残差模块、第二卷积层，最后进入连接层；处理路径2，输入数据经过第三卷积层、第一池化层、第二残差模块、第一上采样层、第四卷积层，最后进入连接层；处理路径3，输入数据经过第五卷积层、第二池化层、第三残差模块、第二上采样层、第三上采样层、第六卷积层，最后进入连接层；处理路径4，输入的数据依次经过第七卷积层、第三池化层、第四残差模块、第四上采样层、第五上采样层、第六上采样层、第八卷积层，最后进入连接层；处理路径5，输入的数据依次经过第九卷积层、第四池化层、第五残差模块、第七上采样层、第八上采样层、第九上采样层、第十上采样层、第十卷积层，最后进入连接层；处理路径6，输入的数据依次经过第十一卷积层、第五池化层、第六残差模块、第十一上采样层、第十二上采样层、第十三上采样层、第十四上采样层、第十五上采样层、第十二卷积层，最后进入连接层；所述连接层将6路数据进行叠加，叠加后的数据经过第十三卷积层输出通道数为6的3D张量。3.根据权利要求2所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21：其中步骤S21具体过程如下，搭建三目条纹投影轮廓系统，并对系统进行标定，搭建的三目条纹投影轮廓系统由一个投影仪和三个相机组成，三个相机分别为本文档来自技高网...

【技术保护点】
1.一种单帧条纹投影三维面型测量方法，其特征在于，包括如下步骤：/nS1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net；/nS2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model；/nS3：利用训练完成的DL_model预测三个视角下的包裹相位；/nS4：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。/n

【技术特征摘要】
1.一种单帧条纹投影三维面型测量方法，其特征在于，包括如下步骤：
S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net；
S2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model；
S3：利用训练完成的DL_model预测三个视角下的包裹相位；
S4：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。


2.根据权利要求1所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S1中，深度卷积神经网络的6条路径分别为处理路径1、处理路径2、处理路径3、处理路径4、处理路径5和处理路径6：
处理路径1，输入的数据经过第一卷积层(1)、第一残差模块(2)、第二卷积层(3)，最后进入连接层(4)；
处理路径2，输入数据经过第三卷积层(5)、第一池化层(6)、第二残差模块(7)、第一上采样层(8)、第四卷积层(9)，最后进入连接层(4)；
处理路径3，输入数据经过第五卷积层(10)、第二池化层(11)、第三残差模块(12)、第二上采样层(13)、第三上采样层(14)、第六卷积层(15)，最后进入连接层(4)；
处理路径4，输入的数据依次经过第七卷积层(16)、第三池化层(17)、第四残差模块(18)、第四上采样层(19)、第五上采样层(20)、第六上采样层(21)、第八卷积层(22)，最后进入连接层(4)；
处理路径5，输入的数据依次经过第九卷积层(23)、第四池化层(24)、第五残差模块(25)、第七上采样层(26)、第八上采样层(27)、第九上采样层(28)、第十上采样层(29)、第十卷积层(30)，最后进入连接层(4)；
处理路径6，输入的数据依次经过第十一卷积层(31)、第五池化层(32)、第六残差模块(33)、第十一上采样层(34)、第十二上采样层(35)、第十三上采样层(36)、第十四上采样层(37)、第十五上采样层(38)、第十二卷积层(39)，最后进入连接层(4)；
所述连接层(4)将6路数据进行叠加，叠加后的数据经过第十三卷积层(40)输出通道数为6的3D张量。


3.根据权利要求2所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21：
其中步骤S21具体过程如下，搭建三目条纹投影轮廓系统，并对系统进行标定，搭建的三目条纹投影轮廓系统由一个投影仪和三个相机组成，三个相机分别为相机a、相机b和相机c，投影仪和3个相机之间用3根触发线相连接；
三个相机与投影仪间的摆放位置为：相机a与投影仪之间设置摆放一个相机的空隙，相机b置于相机a与投影仪之间并靠近相机a摆放，相机c与相机a关于投影仪对称摆放，然后将整个系统标定到统一世界坐标系下，得到3个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数；
其中步骤S22具体过程如下，投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，并利用多步相移法生成训练DL_net所需的一组输入与输出数据；
步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226；
其中步骤S221具体过程如下，使用投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为其中下标表示相机编号，1对应相机a，2对应相机b，3对应相机c，上标表示12幅相移条纹图像中的哪一幅；
其中步骤S222具体过程如下，使用多步相移法获取三个相机视角下的包裹相位下标表示相机编号：









式中n＝1,2,...,12，M和D分别表示反正切函数的分子项与分母项；...

【专利技术属性】
技术研发人员：张晓磊，左超，胡岩，沈德同，钱佳铭，
申请(专利权)人：南京理工大学智能计算成像研究院有限公司，
类型：发明
国别省市：江苏;32