一种移动设备上的实时人脸三维重建系统及方法技术方案

本发明专利技术提供一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。本发明专利技术还提供了一种移动设备上的实时人脸三维重建方法。本发明专利技术仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。

【技术实现步骤摘要】
一种移动设备上的实时人脸三维重建系统及方法
本专利技术属于视频处理领域，具体涉及一种移动设备上的实时人脸三维重建系统及方法。
技术介绍
随着移动设备的及短视频的普及，越来越多的人在手机上进行视频编辑或游戏娱乐。其中有一部份场景(比如视频或游戏)需要创建自己的替身，根据相机输入的视频来重建出三维头像，在此之上进行表情操控动画模型或叠加三维动画效果。传统的人脸重建方法需要拍摄不同角度的多张照片，或者需要大量的计算，这对设备性能及拍摄条件要求比较高。
技术实现思路
本专利技术所要解决的技术问题是提供一种移动设备上的实时人脸三维重建系统及方法。本专利技术解决技术问题所采用的技术方案是：一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，其中，数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；渲染模块，用于根据上述的人脸模型，渲染所需道具；数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。本专利技术还提供了一种移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：(1)输入其他人脸检测器检测得到人脸特征点y，筛选关键点yindex_2d；(2)用可形变模型来表示人脸，已知经PCA方法变换的人脸模型由以下几部分构成：平均模型Vmean，特征模型Vbasis和表情模型Vblend。另外定义未知的特征模型参数Wbasis和表情模型参数Wblend，其中Wbasis，Wblend的维度分别与Vbasis，Vblend的个数相同。这样，一张脸的模型V＝Vmean+Wbasis*Vbasis+Wblend*Vblend；模型中索引为index_3d的部分点Vindex_3d与人脸关键点yindex_2d一一对应；(3)对于人脸关键点yindex_2d与当前的模型V，使用GoldStandard算法估计相机矩阵P，使得∑i||yi-P(Vi)||2最小，yi∈yindex_2d，Vi∈Vindex_3d；(4)更新当前相机投影下的模型边缘点；先计算模型中所有顶点V的法向量令视线向量为在当前的相机矩阵P下，根据向量点积来判断Vi是否为边缘点，从而求出边缘H，其中再将H中的点与yindex_2d中的边缘点进行比较，得到离各个关键点最近的点，更新Vindex_3d；(5)计算特征模型参数与形状模型参数，使得∑i||yi-P(Vmean+∑(Wbasis*Vbasis)+Wblend*Vblend)i||2最小，计算当前的模型V；(6)重复步骤(3)-(5)，迭代二到三次后得到最终的参数E(P,Wbasis,Wblend)和模型V。本专利技术的有益效果是：(1)本专利技术仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。(2)本专利技术采用的模型可以实时准确描述人脸表情。(3)采用本专利技术系统与方法得到的人脸三维模型，可以实现如3d贴纸，人脸面具，表情驱动模型等功能。附图说明图1为本专利技术的系统架构图。图2为人脸三维重建处理流程图。具体实施方式以下结合附图对本专利技术的技术方案做进一步详细说明，应当指出的是，具体实施方式只是对本专利技术的详细说明，不应视为对本专利技术的限定。本专利技术的一种移动设备上的实时人脸三维重建系统，包括数据预处理模块，人脸模型迭代模块，三维渲染模块。其中，数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；渲染模块，用于根据上述的人脸模型，渲染所需道具；这三个模块的连接关系是：数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。本专利技术的移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：(1)输入由其他检测器检测得到的人脸特征点y，筛选关键点yindex_2d；(2)用可形变模型来表示人脸，其中，包括平均模型Vmean，特征模型Vbasis和表情模型Vblend，另外定义未知的特征模型参数Wbasis和表情模型参数Wblend，参数维度分别与模型个数相同。这样，一张脸的模型V＝Vmean+Wbasis*Vbasis+Wblend*Vblend；模型中索引为index_3d的部分点Vindex_3d与人脸关键点yindex_2d一一对应；(3)对于人脸关键点yindex_2d与当前的模型V，使用GoldStandard算法估计相机矩阵P，使得∑i||yi-P(Vi)||2最小，其中yi∈yindex_2d，Vi∈Vindex_3d，yi表示第i个关键点，Vi表示第i个关键点yi的模型，P(Vi)是Vi的矩阵；(4)对于非正脸的情况，需要更新当前相机投影下的模型边缘点；根据人脸模型特性可知，观测视线与顶点法向量夹角越小，顶点越可能处于当前边缘上；计算模型中所有顶点V的法向量令视线向量为在当前的相机矩阵P下，根据向量点积来判断Vi是否为边缘点，从而求出边缘H，其中再将H中的点与yindex_2d中的边缘点进行比较，得到离各个关键点最近的点，更新Vindex_3d；(5)计算特征模型参数与形状模型参数，使得∑i||yi-P(Vmean+∑(Wbasis*Vbasis)+Wblend*Vblend)i||2最小，计算当前的模型V；(6)重复步骤(3)-(5)，迭代二到五次后得到最终的参数E(P,Wbasis,Wblend)和模型V。人脸三维重建处理流程如图1所示，包括以下步骤：1)在手机视频app的拍摄模式下，选择3d贴纸或面具；2)app三维人脸重建模块加载PCA人脸模型并进行初始化；3)其他模块会对相机获取的图像进行人脸检测，如果有人脸则获取一组人脸特征点，筛选关键点Y；4)利用GoldStand算法，根据人脸关键点Y和PCA人脸模型中对应的关键点V，用最小二乘法估算简单投影相机矩阵P，从而求出位移t，旋转r，缩放s等；5)根据模型顶点法向量，求出模型边缘，边缘上的点与Y进行比较，更新模型边缘点及模型关键点；6)根据人脸特征点Y与模型关键点V，用最小二乘法更新模型参数Wbasis和Wblend；7)应用中迭代2-3次可得到良好结果，计算当前人脸模型；8)采用OpenGL渲染模型，将人脸模型传到渲染引擎中，为其他的三维模型(例如3d贴纸模型等)提供遮挡信息，或者绘制人脸面具；9)最终将所需的模型一起渲染到屏幕上。本文档来自技高网...

【技术保护点】
1.一种移动设备上的实时人脸三维重建系统，其特征在于，包括：数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；渲染模块，用于根据上述的人脸模型，渲染所需道具；其中，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。

【技术特征摘要】
1.一种移动设备上的实时人脸三维重建系统，其特征在于，包括：数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；渲染模块，用于根据上述的人脸模型，渲染所需道具；其中，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。2.一种移动设备上的实时人脸三维重建方法，其特征在于，采用权利要求1所述的系统，包括以下步骤：(1)对相机中的图像进行人脸检测，得到关键点yindex_2d；(2)用可形变模型来表示人脸，其中，包括平均模型Vmean，特征模型Vbasis和表情模型Vblend，再定义特征模型参数Wbasis和表情模型参数Wblend；得到一张脸的模型V＝Vmean+Wbasis*Vbasis+Wblend*Vb...

【专利技术属性】
技术研发人员：林传杰，张金矿，
申请(专利权)人：杭州趣维科技有限公司，
类型：发明
国别省市：浙江,33