一种基于三维人头跟踪的实时虚拟试发方法技术

本发明专利技术涉及一种基于三维人头跟踪的实时虚拟试发方法。本发明专利技术首先训练耳朵和脖子分割器；然后训练三维人头重建模型，其中包括构建三维人头重建模型，使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数，最后虚拟试戴。本发明专利技术在三维空间内将发型佩戴到受试者的人头上，使得试戴的效果更加逼真，大大地提升了用户的体验感，并且为个性化形象设计，在线商城等提供技术支持。在线商城等提供技术支持。在线商城等提供技术支持。

【技术实现步骤摘要】
一种基于三维人头跟踪的实时虚拟试发方法


[0001]本专利技术属于增加现实领域，具体涉及一种基于三维人头跟踪的实时虚拟试发方法。

技术介绍

[0002]头发作为个人形象的一个重要特征，在如今追求个性化的时代越来越受到人们的重视，拥有一个能提升自身形象的发型已经成为人们日常生活工作中的一部分。如果去理发店通过跟理发师口头描述自己想要发型或者选择发型手册中的一款发型来进行理发的话，往往会出现修剪后的发型并不适合自己的结果并且一般该结果都难以改变。这时候如果可以在还未理发前就能试验一下选择的发型是否适合自己，结果就未必会如此糟糕。但是如果是通过佩戴假发来模拟修建发型后的效果，仅仅是为每个发型准备一个可试戴的假发就会导致成本十分高，而且佩戴假发这一过程十分费时费力。相对来说，如果能够进行虚拟试发的话，成本将会更低，并且更加便捷，适用的范围也更加的广泛，可用于个性化形象设计、在线商城试戴等领域。
[0003]目前市场上存在的虚拟试发系统都是基于二维图片的，即用户输入一张人脸照片并且选择一个特定的发型，系统则会自动把选择的发型佩戴在输入的照片中的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维人头跟踪的实时虚拟试发方法，其特征在于该方法包括以下步骤：步骤1、训练耳朵和脖子分割器(1
‑
1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；(1
‑
2)使用人脸图片数据库来训练实例分割模型，得到耳朵脖子分割器；步骤2、训练三维人头重建模型(2
‑
1)构建三维人头重建模型，所述的三维人头重建模型包括特征提取网络，参数回归网络和FLAME解码网络；所述特征提取网络用于提取人脸输入图片的2048维的特征向量；所述参数回归网络的输入为特征提取网络提取的特征向量，输出为159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数；将获得的姿态参数、形状参数和表情参数作为FLAME解码网络的输入，得到与人脸输入图片中人脸对应的三维人头；(2
‑
2)使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数；关键点损失函数如下：其中k
i
为由二维人脸关键点检测器检测出的人脸关键点的位置，w
i
为由二维人脸关键点检测器提供的人脸关键点的置信度，为重建的三维人头上的三维关键点投影到二维图片空间的位置；形状一致损失函数如下：其中β
i
和β
j
为一个人在不同环境下的图片通过三维人头重建模型预测出来的形状参数，β
i
和β
k
为不同人的图片通过三维人头重建模型预测出来的形状参数，η为自定义的阈值；耳朵形状一致损失函数如下：L
ear
＝‖M
′
ear
‑
M
ear
‖2其中M
ear
为耳朵和脖子分割器分割出...

【专利技术属性】
技术研发人员：赵叶清，杨柏林，杨文武，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：