针对三维人脸测量的面部抖动补偿方法技术

本发明专利技术公开了一种针对三维人脸测量的面部抖动补偿方法，首先采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；对初始相移量进行优化，将理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。本发明专利技术具备运动误差补偿功能，可补偿三维人脸识别过程中面部抖动引起的测量误差；可在使用低成本的测量系统条件下，准确测量抖动物体的三维轮廓。

【技术实现步骤摘要】
针对三维人脸测量的面部抖动补偿方法
本专利技术属于光学测量
，特别是一种针对三维人脸测量的面部抖动补偿方法。
技术介绍
随着近几十年来计算机技术和生物工程技术的飞速发展，利用人体生物特征的唯一性来鉴别每一个人的身份得到了国际社会的普遍认同。相较于其他生物特征，人脸识别方法具有非接触性、信息完备、采集便捷、人机友好等优点，已经成为身份验证和身份识别应用中最为理想的技术途径之一。对于人类自己来说，人脸识别是我们天生就拥有的能力，而且每次具体的人脸识别也是一个下意识的、自然而然的过程。但是人脸识别的内在机制却是十分复杂的，让计算机实现自动实现人脸识别却是一个富有挑战性的难题。尽管以人脸图像表观特征为基础的传统二维人脸识别技术已有十余年的研究历史，但二维人脸图像对光照、装扮、姿态、表情变化的敏感性严重制约了其识别结果的准确性、稳定性和可靠性，这些因素也随即成为了二维人脸识别技术进一步向前发展的最大障碍。近年来，越来越多的人将目光从二维人脸识别技术转投向了三维人脸识别技术。三维人脸识别有望从根本上解决二维人脸识别所面临的“光照、姿态和表情”难题，从而为进一步提升识别的准确性、稳定性和可靠性提供了新的潜力与空间。然而，要实现三维人脸识别技术，需解决的一个首要问题是如何获得高精度的人脸三维数据。就三维轮廓测量方法而言，比如条纹投影法，凭借非接触、速度快、柔性好、精度高等优点，被广泛应用与人体建模、模式识别、工业检测、逆向工程等领域。因此利用该技术可为三维人脸识别提供准确可靠的三维人脸数据。原理上，条纹投影法通过将立体视觉中一个摄像机替换成光源发生器而实现(肖丹，陈良洲，干江红.基于数字光栅相移法的三维重构[J].光电技术应用，2011,26(5)：17-20)。光源向被测物体投影一系列编码图像，形成主动式三维形态测量。编码图案受到物体表面形状的调制而产生形变，而带有形变的结构光被另外位置的相机拍摄到，通过相机投影光源之间的位置关系和结构光形变的程度可以确定出物体的三维形貌。通常，由于需要采集从被测物表面反射而来一系列编码图案，条纹投影法一般只用于静态对象的三维测量。然而，对于人脸扫描而言，数据采集过程难以避免面部的无意识抖动以及头部的轻微晃动等问题。这些由抖动或者晃动带来的面部整体位移或者运动，将对重构的三维人脸数据准确度造成严重影响。尽管，通过提高投影速度(文献“Pulse-widthmodulationindefocusedthree-dimensionalfringeprojection”，作者GastónA.Ayubi等)或者减少投影图案的数量(文献“Dual-frequencypatternschemeforhigh-speed3-Dshapemeasurement”，作者K.Liu等)可提高测量速度，间接地降低抖动对测量造成的影响，但它们仍无法完全解决这一问题，尤其是对于低成本的三维测量系统而言，使用的图案投影装置与采集装置无法实现编码图案的高速地投影与拍摄。因此，对于三维人脸轮廓测量而言，目前尚缺乏一种不依赖于提高系统测量速度的面部抖动补偿技术。
技术实现思路
本专利技术的目的在于提供一种针对三维人脸测量的面部抖动补偿方法，在不依赖系统测量速度的前提下，实现人脸面部抖动的误差补偿。实现本专利技术目的的技术解决方案为：一种针对三维人脸测量的面部抖动补偿方法，步骤如下：首先，采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；其次，向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；再次，对初始相移量进行优化，即对相移量设定取值范围，相移量以固定的步长遍历各自取值范围；对于每一组相移量的组合，计算对应的背景光强，并求解参考背景光强与计算得到的背景光强之间的差异度；对于所有相移量的组合，当其对应的背景光强差异最小时，该组合中包含的相移量为理想相移量，该理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。本专利技术与现有技术相比，其显著优点：(1)与动态三维测量中最常见的三步相移法相比，本专利技术具备运动误差补偿功能，可补偿三维人脸识别过程中面部抖动引起的测量误差。(2)与传统的高速条纹投影法与减少条纹投影数量法相比，本专利技术不需要使用昂贵的高速图像采集与投影设备，可在使用低成本的测量系统条件下，准确测量抖动物体的三维轮廓。(3)与传统抖动误差补偿方法相比(文献“Fast3dscanningwithautomaticmotioncompensation”，作者T.Weise等)，本专利技术的适用范围更广，不仅能处理被测对象的匀速抖动问题，还能处理非匀速抖动问题。下面结合附图对本专利技术作进一步详细描述。附图说明图1为本专利技术针对三维人脸测量的面部抖动补偿方法的流程图。图2为基于条纹投影法的三维人脸测量装置原理图。图3为第一个被测对象实验图：(a)为被测人脸；(b)为该人脸在测量过程中抖动情况。图4为拍摄的三步相移光强图与一幅均匀亮度图像：(a)为I′1；(b)为I′2；(c)为I′3；(d)为Aref。图5为第一个被测对象的三维重构结果对比图：(a)侧视图：抖动补偿前三维人脸重构；(b)侧视图：抖动补偿后三维人脸重构；(c)正视图：抖动补偿前三维人脸重构；(d)正视图：抖动补偿后三维人脸重构。图6为第二个被测对象实验图：(a)为被测人脸；(b)为该人脸在测量过程中抖动情况。图7为第二个被测对象的三维重构结果对比图：(a)侧视图：抖动补偿前三维人脸重构；(b)侧视图：抖动补偿后三维人脸重构；(c)正视图：抖动补偿前三维人脸重构；(d)正视图：抖动补偿后三维人脸重构。具体实施方式本专利技术针对三维人脸测量的面部抖动补偿方法，主要解决由面部抖动引起的重构表面波纹误差问题，首先采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；其次，向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；再次，对初始相移量进行优化，即对相移量设定取值范围，相移量以固定的步长遍历各自取值范围；对于每一组相移量的组合，计算对应的背景光强，并求解参考背景光强与计算得到的背景光强之间的差异度；对于所有相移量的组合，当其对应的背景光强差异最小时，该组合中包含的相移量为理想相移量，该理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。上述方法的具体步骤如下：步骤一：求解相移量的初值。首先，构建基于条纹投影的三维人脸测量装置，原理如图2所示。基本过程为：投影仪向被测物体投影三步相移光栅图像。相机从另一个角度拍摄由测物体反射而来的三步相移光栅图像。采集的图像传输至计算机进行图像处理，即计算相移量的初值。投射的三步相移光栅光强图I1，I2，I3为：其中(xp,yp)表示投影仪像素坐标，Ap表示直流分量，Bp表示振幅，fp表示投影光栅的空间频率，wp表示投影仪的横向分辨率。将生成本文档来自技高网...

【技术保护点】
1.一种针对三维人脸测量的面部抖动补偿方法，其特征在于步骤如下：首先，采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；其次，向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；再次，对初始相移量进行优化，即对相移量设定取值范围，相移量以固定的步长遍历各自取值范围；对于每一组相移量的组合，计算对应的背景光强，并求解参考背景光强与计算得到的背景光强之间的差异度；对于所有相移量的组合，当其对应的背景光强差异最小时，该组合中包含的相移量为理想相移量，该理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。

【技术特征摘要】
1.一种针对三维人脸测量的面部抖动补偿方法，其特征在于步骤如下：首先，采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；其次，向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；再次，对初始相移量进行优化，即对相移量设定取值范围，相移量以固定的步长遍历各自取值范围；对于每一组相移量的组合，计算对应的背景光强，并求解参考背景光强与计算得到的背景光强之间的差异度；对于所有相移量的组合，当其对应的背景光强差异最小时，该组合中包含的相移量为理想相移量，该理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。2.根据权利要求1所述的针对三维人脸测量的面部抖动补偿方法，其特征在于求解相移量的初值过程如下：构建基于条纹投影的三维人脸测量装置，即投影仪向被测物体投影三步相移光栅图像，相机从另一个角度拍摄由测物体反射而来的三步相移光栅图像，采集的图像传输至计算机进行图像处理，即求解相移量的初值，其中投射的三步相移光栅光强图I1，I2，I3为：其中(xp,yp)表示投影仪像素坐标，Ap表示直流分量，Bp表示振幅，fp表示投影光栅的空间频率，wp表示投影仪的横向分辨率，将生成的三步相移光栅光强图I1，I2，I3依次投影至被测对象，并利用相机拍摄这些图像，并将它们传输至计算机，拍摄获得的光栅图像光强(I′1，I′2，I′3)表示为I′1(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)]I′2(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′2]I′3(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′2-Δδ′]其中，(x,y)为相机像素坐标，A为背景光强，B为光强调制度，φ为待求相位；δ′2与Δδ′为测量过程中由面部抖动引起的未知相移量，该方程组中的已知量为I′1、I′2与I′3，为了从该方程组中求解相移量δ′2与Δδ′，补偿抖动引起的误差，利用以下关系求解δ′2与Δδ′：其中i，j，k为中间变量，运算符号|·|表示绝对值运算，运算符号<·>表示计算整幅图像的平均光强值，用变量c来统一代...

【专利技术属性】
技术研发人员：陈钱，冯世杰，左超，陶天阳，胡岩，张良，尹维，顾国华，张玉珍，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32