一种基于近红外光投影的高精度三维人脸测量方法技术

本发明专利技术公开了一种基于近红外光投影的高精度三维人脸测量方法。本发明专利技术首先使用三步相移法，获取条纹图像中的包裹相位信息，提出使用红外投影模块来代替数字投影仪投射相移条纹，以黑白相机加装滤光片替代专业红外相机，然后使用多频时间相位展开方法用于鲁棒地恢复绝对相位，从而实现了高精度的三维数据采集。在真实人脸上的实验表明，本发明专利技术相比于传统方法能够以较低的成本和较高的精度采集三维人脸数据。维人脸数据。维人脸数据。

【技术实现步骤摘要】
一种基于近红外光投影的高精度三维人脸测量方法


[0001]本专利技术涉及三维成像
，特别是一种基于近红外光投影的高精度三维人脸测量方法。

技术介绍

[0002]条纹投影技术是最流行的光学非接触式三维形状测量技术之一，被应用于多个领域，例如机械工程，工业监控，医学影像，计算机视觉，教育，生物医学和虚拟/增强现实等等(Gorthi, S. S. and Rastogi, P.,
ꢀ“
Fringe projection techniques: Whither we are”, Optics and Lasers in Engineering 48(2), 133-140 (2010).)。其中，由于三维人脸识别较传统二维人脸识别克服了姿态、表情和光照变化对人脸识别的影响，因此具有广阔的应用前景(Taskiran, M., Kahraman, N., and Erdem, C. E.,
ꢀ“
Face recognition: Past, present and future (a review)
”ꢀ
Digital Signal Processing 106, 102809 (2020).)。
[0003]利用条纹投影实现高精度三维人脸测量，首先需要选择红外或近红外波段的光源，由于它超出了可见光的范围，所以不被肉眼察觉，可以最大限度地减少对人眼的干扰，避免采集过程中的不适(Guo, K., Wu, S., and Xu, Y.,
ꢀ“
Face recognition using both visible light image and near-infrared image and a deep network,
”ꢀ
CAAI Transactions on Intelligence Technology 2(1), 39-47 (2017).)。然后，投影图案时的速度应该尽可能快，以尽量降低人体运动的干扰(Yang, C., Zhou, H., Sun, S., Liu, R., Zhao, J., and Ma, J.,
ꢀ“
Good match exploration for infrared face recognition,
”ꢀ
Infrared Physics & Technology 67, 111-115 (2014).)。最后，为了提高其市场应用范围，需要控制投影系统的硬件成本。例如，微软Kinect、英特尔RealSense和苹果iPhone X的三维测量技术的成功应用即推动了有关应用程序的开发，同时也推动了对更好的三维人脸成像技术的需求(Zhang, Z.,
ꢀ“
Review of single-shot 3d shape measurement by phase calculation-based fringe projection techniques," Optics and Lasers in Engineering 50(8), 1097-1106 (2012). )。
[0004]条纹投影技术主要可分为傅里叶变换轮廓术(M. Takeda and K. Mutoh,
ꢀ“
Fourier transform profilometry for the automatic measurement of 3-d object shapes,
ꢀ”ꢀ
Applied optics 22, 3977-3982(1983).)和相移轮廓术(V. Srinivasan, H.-C. Liu, and M. Halioua,
ꢀ“
Automated phase-measuring profilometry of 3-d diffuse objects,
ꢀ”ꢀ
Applied optics 23, 3105-3108 (1984). )。前者基于空间滤波，使用单个帧即可进行三维重建，因此它对于运动不敏感，适合测量动态场景。但是由于对环境光的抑制能力不如相移轮廓术，测量准确性较低。后者采取多帧光栅投影策略，能有效抑制环境光和被测物体反射率对相位恢复的影响，因此具有更高的精度。但是需要至少三幅图像才能获得高质量的三维数据，并且对运动误差较为敏感。通过使用数字投影仪，可以提高硬件设备的速度，但是高精度、低成本、小尺寸的人脸测量仍然是一个很大的挑战，这限制
了条纹投影技术在人脸识别领域的发展。

技术实现思路

[0005]本专利技术的目的在于提供一种基于近红外光投影的高精度三维人脸测量方法，使用红外投影模块代替数字投影仪，结合加装滤光片的红外相机和多频时间相位展开技术，系统可以在保证低成本、小尺寸的同时，实现对红外人脸数据的高精度测量。
[0006]本专利技术的技术方案如下：一种基于近红外光投影的高精度三维人脸测量方法，步骤如下：步骤一．使用近红外光投影模块和两个相机搭建投影系统，并完成系统标定；步骤二．根据相移轮廓术得出被测物包裹相位，并利用多频时间相位展开法获取绝对相位，具体为：步骤2.1，用投影模块投射三幅三步相移的图像，由两个相机同步采集条纹变形的图像，对于相移轮廓术，相机采集到的三步相移图像表示为，，，，其中，表示相机上的一个像素点坐标，表示相机采集到的三幅光强图，表示平均光强，表示调制度光强，表示条纹图的绝对相位；步骤2.2，根据采集的图像用相移轮廓术求解出包裹相位， ，其中，表示求解出的包裹相位，包裹相位与绝对相位的关系为，，其中，表示条纹级次，表示条纹的根数；步骤2.3，对包裹相位进行解包裹得到绝对相位，假设待展开的包裹相位为，投影的频率为，向物体投射一组频率为1的条纹图，求出其包裹相位，根据多频时间法，绝对相位表示为，，进而得到条纹级次，，
其中，为取整函数；步骤三．求出两个相机的对应点，并用插值法得到主相机的亚像素匹配点；步骤四．用融合的亚像素匹配点计算被测物的空间三维点，得到三维数据。
[0007]优选的，步骤三具体为：得到绝对相位后，根据主相机和副相机的标定参数得到主相机视角下对应的三维点，然后利用极线映射将三维点映射到副相机中得到主相机在副相机中的对应点，最后由插值运算找到相移轮廓术下的亚像素匹配点。
[0008]优选的，步骤四中，利用亚像素匹配点计算被测物的空间三维点坐标，，，，其中，表示重构得的三维数据，为通过标定得到的两个相机之间的二维到三维的映射参数。
[0009]本专利技术与传统方法相比，具有如下优点：（1）以红外光替代可见光作为投影光源，避免了信息采集过程中对人眼的刺激；（2）以使用小型投影模块和安装滤光片的方式替代昂贵的数字投影和红外图像采集设备，该方法缩小了系统尺寸，同时降低了硬件成本；（3）相比于现有的红外扫描精度，以相移法和基于时间域的相位展开等算法，实现了高精度的数据采集。
附图说明
[0010本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于近红外光投影的高精度三维人脸测量方法，其特征在于，步骤如下：步骤一．使用近红外光投影模块和两个相机搭建投影系统，并完成系统标定；步骤二．根据相移轮廓术得出被测物包裹相位，并利用多频时间相位展开法获取绝对相位，具体为：步骤2.1，用投影模块投射三幅三步相移的图像，由两个相机同步采集条纹变形的图像，对于相移轮廓术，相机采集到的三步相移图像表示为，，，，其中，表示相机上的一个像素点坐标，表示相机采集到的三幅光强图，表示平均光强，表示调制度光强，表示条纹图的绝对相位；步骤2.2，根据采集的图像用相移轮廓术求解出包裹相位， ，其中，表示求解出的包裹相位，包裹相位与绝对相位的关系为，，其中，表示条纹级次，表示条纹的根数；步骤2.3，对包裹相位进行解包裹得到绝对相位，假设待展开的包裹相位为，投影的频率为，向物体投射一组频率为1的条纹图，...

【专利技术属性】
技术研发人员：张晓磊，左超，胡岩，沈德同，许明珠，
申请(专利权)人：南京理工大学智能计算成像研究院有限公司，
类型：发明
国别省市：