一种基于3D人脸跟踪的实时真人虚拟试发方法技术

本发明专利技术涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。本发明专利技术首先进行面向虚拟试发的实时3D人脸跟踪；然后进行基于方位一致性的三维头发模型配戴；最后在保持相邻像素色差的三维头发模型重上色。本发明专利技术通过轻量化的模型以及3D人脸特征点，避免了由于2D人脸特征点与三维人脸模型顶点的关联带来的计算耗时和产生不稳定跟踪结果的问题，从而实现快速准确的跟踪结果。而三维头发模型的配准可以使试戴的头发与真实人脸更为贴合准确，增加了虚拟试发的真实性。另外增加了改变三维头发模型纹理颜色的方法，增强了用户试发的体验感及试发系统的功能性。

【技术实现步骤摘要】
一种基于3D人脸跟踪的实时真人虚拟试发方法
本专利技术属于计算机图形学和计算机视觉领域，具体涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。
技术介绍
头发是个人形象的一个明显特征，在当今的个性化时代，人们对个人形象越来越关注，发现一个适合自己的发型或者佩戴一个合适的假发已经成为人们日常生活工作中的一个自然选择。与实体店的假发试戴相比，虚拟试发更便捷、成本更低且应用范围更广，可广泛应用于虚拟社交、在线商城试戴以及个人发型设计等领域。目前主流的虚拟试发系统是基于二维图片的：用户输入一张人脸相片，并选择一个特定发型，系统自动把对应发型的头发佩戴在相片中的人脸头部，显然，在该类系统中，用户难以从不同的角度和距离来实时观察试发效果。此外，因为该类系统只是在图像空间中把指定头发放置在用户的人脸头部，而没有考虑用户人脸头部的实际三维方位和尺寸，因此容易产生失真的戴发效果。现有的基于三维的虚拟试发方案主要分为两种：一种是重建一个与用户外观接近的三维人脸模型，并把指定的三维头发模型佩戴到三维人脸模型的头部，由于用户只能通过旋转和移动三维模型来观本文档来自技高网...

【技术保护点】
1.一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于该方法包括以下步骤：/n第一步：对三维人脸模型的重建与跟踪/n1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{α

【技术特征摘要】
1.一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于该方法包括以下步骤：
第一步：对三维人脸模型的重建与跟踪
1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{αid,αexp,rx,ry,rz,t3d,f}；其中：αid为人脸的个体参数，αexp为人脸的个体参数，rx,ry,rz分别为人脸围绕x/y/z轴的旋转角度，t3d为人脸的三维平移向量，f是模拟透视投影效果的缩放系数；
2)构建一个轻量级的深度神经网络MobileNet，用所述的深度神经网络训练得到一个回归器：其输入是一张人脸图片，输出是一组三维人脸参数Q＝{αid,αexp,rx,ry,rz,t3d,f}；
3)通过摄像头采集用户的视频流，对视频流中的每一帧k进行以下操作：
3-1)获取当前帧的用户人脸图像，通过上述基于深度神经网络的回归器，得到对应的三维人脸参数Q＝{αid,αexp,rx,ry,rz,t3d,f}；
3-2)根据所述用户的三维人脸参数，重建出用户的三维人脸模型M，重建公式如下：



其中：M对应着一个三维人脸模型，为平均人脸形状，Bid是一组个体基向量，它定义了中性表情下不同个体的人脸形状空间，Bexp是一组表情基向量，它定义了人脸的表情空间，αid和αexp分别为用户的个体和表情系数向量；
4)对用户的重建三维人脸模型进行特征点采样，得到特征点3D位置信息及其2D投影位置信息,分别令为及通过优化下面的能量方程，得到第k帧人脸图像最终对应的三维人脸参数Qk＝{αid,αexp,rx,ry,rz,t3d,f}：



其中：uk表示第k帧经过优化的参数Qk所对应的三维人脸模型上3D人脸特征点的2D投影位置，uk-1表示第k-1帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，uk-2表示为第k-2帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，w为能量权值，取值为0.5；
第二步：对三维头发模型与三维人脸模型的配准
1)给定一个平均人脸模型，并记录平均人脸模型上左右耳朵和前额两处共四个顶点位...

【专利技术属性】
技术研发人员：唐博奕，杨文武，杨柏林，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：浙江;33