一种基于散斑结构光的三维人脸重建方法及装置制造方法及图纸

本发明专利技术涉及三维人脸重建领域，特别是一种基于散斑结构光的三维人脸重建方法及装置。本发明专利技术利用条纹图得到的视差作为真值，以同时拍摄的散斑图作为输入训练网络，得到了人脸预测模型。该模型仅用一帧图像就能得到视差图，优于传统条纹投影方法根据N步相移法进行视差恢复所需的至少三帧图像；即所需要的重建信息更少，使得人脸拍摄图片数量更少、重建效率更高，同时也具备更强的准确性。同时也具备更强的准确性。同时也具备更强的准确性。

【技术实现步骤摘要】
一种基于散斑结构光的三维人脸重建方法及装置


[0001]本专利技术涉及三维人脸重建领域，特别是一种基于散斑结构光的三维人脸重建方法及装置。

技术介绍

[0002]目前的传统光学三维人脸重建方法主要分为主动重建和被动重建。被动式重建方法仅依靠人脸表面的反射环境光，通过单一视角或不同视角所采集的被测物体图像，结合立体视觉相关理论获取物体的三维形貌。其中，单目视觉法仅需要配置一台摄像机，配置简单、重建速度快，成本较低，但精度不足且计算繁琐。相较而言，多目视觉法重建效果更佳，但大多受限于测量环境、摄像机的标定精度，无法进行实时测量，因此准确性难以保证。
[0003]主动重建技术需要对被测人脸主动投射可控光信号，并在其经被测物面反射后接收，经计算恢复出被测物面的各点三维信息，重建出被测人脸的三维信息。其中飞行时间法是基于光信号往返时间运算的测量方法。基本原理是利用信号在所在介质中的传播速度和传播耗时来运算推理出距离。在测量过程中，配置好的发射器会向被测物体投射信号，一般使用半导体传感器得到参数。这类方法目前有成像速率快、功耗能耗低、轻质等优势。但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于散斑结构光的三维人脸重建方法，其特征在于，包括以下步骤：S1：获取待重建人脸的重建素材组；所述重建素材组包括两张分别从所述待重建人脸左前方和右前方采集的散斑图像；S2：将所述重建素材组导入预构筑的人脸预测模型中；S3：输出所述待重建人脸的预测视差图；S4：根据所述预测视差图进行三维重建，并输出为重建人脸；其中，所述人脸预测模型采用含注意力机制的深度学习网络，包括以下训练步骤：A1：搭建人脸预测初步模型；A2：获取训练人脸的重建素材组以及一组分别从所述训练人脸左前方和右前方采集的条纹图；A3：通过N步相移法处理所述条纹图，生成所述训练人脸的视差图；A4：将所述视差图作为真值，所述重建素材组为输入，对所述人脸预测初步模型进行模型训练，待模型收敛后输出此时的模型为预构筑的人脸预测模型。2.根据权利要求1所述的一种基于散斑结构光的三维人脸重建方法，其特征在于，所述人脸预测模型包括孪生网络模块、注意力机制模块、三维卷积模块、上采样模块以及视差回归模块；所述孪生网络模块用于评价所述重建素材组的相似度，生成特征图；所述注意力机制模块用于提取所述特征图的特征信息；所述三维卷积模块用于提取所述特征图的上下文信息；所述上采样模块用于恢复特征图的维度；所述视差回归模块用于根据所述特征图生成预测视差图。3.根据权利要求2所述的一种基于散斑结构光的三维人脸重建方法，其特征在于，所述人脸预测模型采用L1损失函数，其表达式为：，其中L为平滑的L1损失函数，x为预测视差和真值之间的差值。4.根据权利要求2所述的一种基于散斑结构光的三维人脸重建方法，其特征在于，所述孪生网络模块包括两个卷积模块，所述卷积模块包括若干卷积层以及若干残差块；其中，所述卷积层用来减少特征维度，所述残差块用来学习一元特征提取。5.根据权利要求2所述的一种基于散斑结构光的三维人脸重建方法，其特征在于，所述注意力机制模块包括通道注意力单元以及空间注意力单元，所述通道注意力单元通过空间压缩、加操作和映射处理，生成通道注意力值并送入所述空间注意力单元；所述空间注意力单元通过空间压缩、拼接、卷积以及激活函数处理，生成所述特征图的特征信息；所述空间压缩包括全局池化和平均池化处理。6.根据权利要求5所述的一种基于散斑结构光的三维人脸重建方法，其特征在于，所述注意力机制模块运行的表达式...

【专利技术属性】
技术研发人员：聂羽鑫，游志胜，杨梦龙，
申请(专利权)人：四川大学，
类型：发明
国别省市：