一种基于散斑条纹混合调制的三维重建方法及设备技术

本发明专利技术基于双目立体视觉原理，研究一种基于散斑条纹混合调制的三维重建方法及设备，所述设备采集N帧散斑和M帧相移条纹图像(N≥1，M≥3)，即可实现高精度三维人脸重建。本方法首先使用散斑图像进行立体匹配得到粗视差图，再通过相移条纹图像得到两组截断相位，采用交错调制的方法，对粗视差进行单线性插值得到精视差图，进而完成三维重建。对比传统方法本发明专利技术利用交错调制法解决了当匹配点出现在截断相位周期分界处附近而导致错误匹配的问题，同时动态场景的敏感度较低，为实时高精度三维人脸测量提供了行之有效的解决方案。测量提供了行之有效的解决方案。测量提供了行之有效的解决方案。

【技术实现步骤摘要】
一种基于散斑条纹混合调制的三维重建方法及设备


[0001]本专利技术涉及光学三维成像领域，特别涉及一种基于散斑条纹混合调制的三维重建方法及设备。

技术介绍

[0002]在三维重建领域，已经提出了许多方法，根据测量过程中是否采用结构光，这些方法可以分为主动式和被动式测量方法。其中，被动式方法不需要投影额外的结构光信息，而是通过三角测量和复杂而耗时的立体匹配算法，从被测物体的纹理中重建三维数据，测量精度角度；主动式测量方法即主动投影附加的信息到被测对象表面进行编码，它可以提高三维重建的空间分辨率。与被动式方法相比，基于主动式测量方法使用结构光来照亮物体表面，具有高精度及高鲁棒性，已经广泛应用于各个行业中。目前，结构光已发展出多种模式，其中散斑模式、条纹模式以及两种模式的组合被广泛应用。
[0003]散斑结构光技术通常将高对比度、独特强度的散斑纹理投射到被测物体表面。人工散斑纹理带有丰富的高频信息，双目立体视觉中，数字图像相关算法将立体图像对中的图像块进行匹配，以评估其相似程度，更高的相似度意味着更准确的匹配。然而，由于投影仪分辨率的限制，用这种技术很难获得高空间分辨率。
[0004]条纹结构光技术通过投影多个相移正弦条纹图，利用连续分布的相位信息对目标表面进行编码，以实现全空间分辨率的精确三维重建。以相位测量轮廓术(PMP)和傅里叶变换轮廓术(FTP)为代表的技术已经被提出并广泛使用。与FTP相比，PMP更准确，面对表面反射率、环境光和噪声的影响表现的更加稳定。然而，在任何一种情况下，PMP获得的相位信息都被包裹在
‑
π到π中，有2π个不连续点，必须进行相位解包算法才能得到真实相位信息。为此，学者们提出了很多稳健相位解包裹算法：空间相位解包算法(SPU)和时间相位解包算法(TPU)。SPU只需投影N≥3帧即可完成相位解包，它通过分析被包裹的相位本身并遵循相位解包的路径来消除相位不连续的现象，但它存在以下缺点：1)只能得到相对相位；3)只能计算连续相位分布的区域(只能计算孤立物体)；2)相位解包误差会沿着解包路径传播。TPU是将每个像素彼此独立，并沿时间轴进行相位解包，常用方法有格雷码、多频法等，它虽然克服了SPU的缺点，但其投影帧数较多，例如，多频法中双频法至少也要投影6帧(双频三步相移)条纹图案才能完成相位的解析。因此，TPU与SPU相比，具有高精度、高效率及高可靠性的特点，但牺牲了采集速度。
[0005]因此，对于实现高速高精度的三维测量系统，我们还面临以下挑战：
[0006](1)散斑结构光的立体匹配算法虽然目前已经发展的比较成熟，且投影帧数可以很少(最低投影一帧)，算法速度较快，但较条纹结构光而言，其测量精度较低，不适用于精度要求较高的场合。
[0007](2)SPU虽然投影帧率少，但是只能测量孤立物体，且存在误差传播的问题而导致误差较大，尤其在运动过程中，误差更容易被放大，甚至出现错误展开；
[0008](3)TPU虽然具有高效、可靠及精度高的特点，但投影帧数较多，拍照时间较长，不
适合动态测量；
[0009](4)不管SPU还是TPU，相位解包裹都比较耗时，均存在计算量大，计算效率低，且重建速度较慢的问题。
[0010](5)目前虽然已经提出基于散斑和条纹结构光混合调制的无相位展开算法，即从截断相位信息到精视差图的计算，但在工程化实际应用中，其尤其是在某些复杂环境下，例如在动态环境中要求抓拍高精度实时三维点云数据的场合，算法的鲁棒性、工程适用性方面还有所欠缺。
[0011]综上所述，为了解决上述问题，本专利专利技术一种基于散斑条纹混合调制的三维重建方法及设备。公开号为CN109903377A，名为“一种无需相位展开的三维人脸建模方法及系统”的中国专利公开了一种利用人脸几何信息约束条件去对齐截断相位级次标记线，从而直接使用截断相位进行立体匹配来重建三维人脸模型的方法；但本专利技术是通过采用投影N帧散斑和M帧相移条纹图案的混合调制方法(N≥1，M≥3)，结合交错调制算法实现了高精度实时三维点云重建，算法简单，适用性好，鲁棒性高。

技术实现思路

[0012]针对
技术介绍
中存在的动态环境中抓拍高精度实时三维点云数据时，算法的鲁棒性、工程适用性方面不佳的具体问题，提供一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统，通过交错调制算法实现了高精度实时三维点云重建，无需进行相位展开，即可完成高精度三维重建。
[0013]为了实现上述目的，本专利技术采用的技术方案包括以下各方面。
[0014]一种基于散斑条纹混合调制的三维重建方法，包括：
[0015]步骤501，以不相同的Y个拍摄角度，采集N帧被测物在散斑结构光场中和M帧被测物在条纹结构光场中的人脸图像，分别对所采集到人脸图像进行极线校正，得到N帧散斑图像和M帧条纹图像；其中，Y是大于或等于2的整数，N是大于或等于1的整数，M是大于或等于3的整数；
[0016]步骤502，对所述M帧条纹图像，采用调整顺序的方法，计算得到两组截断相位信息，对所述N帧散斑图像进行立体匹配计算得到粗视差图；
[0017]步骤503，基于所述两组截断相位信息，采用交错调制算法，对所述粗视差图进行精确匹配得到精视差图；
[0018]步骤504，结合所述精视差图和系统标定信息，得到面部的三维点云数据。
[0019]优选的，一种基于散斑条纹混合调制的三维重建方法中，所述调整顺序的方法为，采集M帧条纹图像I1,I2,I3,...I
m
，以I1,I2,I3,...I
m
的顺序计算得到第一组截断相位信息；以与I1,I2,I3,...I
m
不同的顺序计算得到第二组截断相位信息。
[0020]优选的，一种基于散斑条纹混合调制的三维重建方法中，所述第一组截断相位信息与第二组截断相位信息的相位差异为2kπ+2π/M，其中k为非负整数
[0021]优选的，一种基于散斑条纹混合调制的三维重建方法中，采用最小二乘法计算所述两组截断相位信息。
[0022]优选的，一种基于散斑条纹混合调制的三维重建方法中，所述立体匹配算法，采用零均值归一化交叉相关的算法。
[0023]优选的，一种基于散斑条纹混合调制的三维重建方法中，所述交错调制算法为，当待匹配像素点在第一组截断相位中位于周期波峰或波谷的位置时，使用第二组截断相位进行精确匹配；当待匹配像素点在第二组截断相位中位于周期波峰或波谷的位置时，使用第一组截断相位进行精确匹配。
[0024]优选的，一种基于散斑条纹混合调制的三维重建方法中，采用单线性插值算法对所述粗视差图进行精确匹配得到精视差图。
[0025]基于相同的构思，本专利技术还提出了一种基于散斑条纹混合调制的三维重建设备，包括一个控制单元，以及与所述控制单元通讯连接的光场投影装置、成像系统，所述控制单元用于控制协调所述光场投影装置、成像系统的工作流程，以使所述系统能够执行上述基于散斑条纹混合调制的三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于散斑条纹混合调制的三维重建方法，其特征在于，所述方法包括：步骤501，以不相同的Y个拍摄角度，采集N帧被测物在散斑结构光场中的人脸图像和M帧被测物在条纹结构光场中的人脸图像，分别对所采集到人脸图像进行极线校正，得到N帧散斑图像和M帧条纹图像；其中，Y是大于或等于2的整数，N是大于或等于1的整数，M是大于或等于3的整数；步骤502，对所述M帧条纹图像，采用调整顺序的方法，计算得到两组截断相位信息，对所述N帧散斑图像进行立体匹配计算得到粗视差图；步骤503，基于所述两组截断相位信息，采用交错调制算法，对所述粗视差图进行精确匹配得到精视差图；步骤504，结合所述精视差图和系统标定信息，得到面部的三维点云数据。2.权利要求1所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤502中，所述调整顺序的方法为，采集M帧条纹图像I1,I2,I3,...I
m
，以I1,I2,I3,...I
m
的顺序计算得到第一组截断相位信息；以与I1,I2,I3,...I
m
不同的顺序计算得到第二组截断相位信息。3.权利要求2所述的一种基于散斑条纹混合调制的三维重建方法，其特征...

【专利技术属性】
技术研发人员：郭燕琼，吕坤，郭丽君，张建伟，段志娟，
申请(专利权)人：四川川大智胜软件股份有限公司，
类型：发明
国别省市：