人脸动画合成方法技术

一种人脸动画合成方法，包括如下步骤：获取欲进行动画合成的人脸正面图像；基于所述人脸正面图像进行三维人脸模型估计；基于人脸特征分析进行正面人脸卡通效果合成，获得正面人脸卡通漫画效果合成图；基于所述人脸三维模型估计以及所述正面人脸卡通漫画效果合成图进行多姿态人脸卡通效果合成；将所述合成的多姿态人脸卡通效果合成嵌入预设的动画视频素材中，得到人脸卡通效果的动画视频。所述人脸动画合成方法，避免了传统人工创作人脸卡通效果的动画，实现简单且快速，且可满足多种用户不同的个性化需求。

Facial animation synthesis method

A synthetic method for facial animation, which comprises the following steps: acquiring for animation face image synthesis; the face image estimation based on 3D face model; facial feature analysis of face cartoon synthesis based on obtained face cartoon synthesis; synthesis of multi pose face 3D model of the cartoon effect the face and the estimation of frontal face cartoon animation map based on synthetic effect; video material of the multi pose face cartoon synthesis embedded preset, face effect of cartoon animation video. The facial animation synthesis method avoids the animation of the traditional artificial face cartoon effect, realizes the simple and fast, and can meet the different personalized requirements of various users.

【技术实现步骤摘要】
人脸动画合成方法
本专利技术涉及图像处理领域，具体涉及一种具有卡通效果的人脸动画合成方法。
技术介绍
随着手机、网络等多媒体载体的蓬勃发展，数字卡通动漫产业迅猛增长，逐渐成为信息时代的主流文化产品。虽然个性化卡通动画有着良好的应用前景，然而截至目前几乎所有的个性化卡通动画都由动画师手工创作而成，产量低、成本高，不能满足消费者日益增长的个性化消费需求。
技术实现思路
有鉴于此，有必要提供一种快速且能够满足个性化需求的人脸动画合成方法。一种人脸动画合成方法，包括如下步骤：获取欲进行动画合成的人脸正面图像；基于所述人脸正面图像进行三维人脸模型估计；基于人脸特征分析进行正面人脸卡通效果合成，获得正面人脸卡通漫画效果合成图；基于所述人脸三维模型估计以及所述正面人脸卡通漫画效果合成图进行多姿态人脸卡通效果合成；将所述合成的多姿态人脸卡通效果合成嵌入预设的动画视频素材中，得到人脸卡通效果的动画视频。优选地，所述基于所述人脸正面图像进行三维人脸模型估计的步骤进一步包括：构建一个包含m个三维人脸形状模型的训练集{s1,s2,…,sm}，令三维模型sj(1≤j≤m)上与人脸图像上的特征点pt＝(ut,vt)T相对应的顶点为vtj，其中1≤t≤k，k为所述人脸图像上特征点的数目。优选地，采用优化能量函数：f(v)＝argmin(||pt-(vtj)1:2||)，寻找最优的三维点使得其顶点的二维坐标与pt最接近。优选地，以上述能量函数为基础，利用基于稀疏线性模型的优化算法，把所有特征点看成一个整体，并将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量有缺失的数据进行整体估计，从而获得特征点的类三维坐标。优选地，在获得类三维坐标特征点后，利用基于特征点形变技术的三维人脸模型重建方法进行三维人脸模型重建。优选地，所述三维人脸模型重建的方法包括：设模型的l个顶点组成一个三维点集为：Q＝{x1,x2,…,xl}，其中下标在k以内的为估计有类三维信息的特征点，类三维信息的特征点的优化估计值为：Y＝{y1,y2,…,yk}，利用如下的形变技术估计三维人脸模型：其中，Φ()为径向基函数，wi为权重。优选地，所述基于人脸特征分析进行正面人脸卡通效果合成的步骤包括：采用基于主动形状模型技术的人脸特征点定位方法，并且根据人眼特征定位点进行尺度、旋转变换实现归一化，通过贝塞尔曲线连接的方式获得线条画效果的正面人脸卡通化图像。优选地，所述基于所述人脸三维模型估计以及所述正面人脸卡通漫画效果合成图进行多姿态人脸卡通效果合成的步骤包括：对所述正面人脸卡通漫画效果合成图像和三维人脸模型分别进行Delaunay三角剖分方案，获得Delaunay三角剖分结果后，结合正面人脸卡通漫画效果合成图中人脸特征点以及三维人脸模型中的人脸特征点将正面人脸卡通化图像作为纹理映射到估计得到的三维人脸模型上；利用几何刚体变换矩阵结合预设参数投影矩阵将三维人脸模型进行姿态变换并投影成二维图像从而得到多姿态人脸卡通漫画效果合成结果。优选地，在进行Delaunay三角剖分方案时，首先将三维人脸模型的点投影到二维图像平面，再在所述二维图像平面上进行Delaunay三角剖分，最后根据其连接关系确定三维空间中点的连接关系。优选地，在获得多姿态人脸卡通效果合成结果后，根据所述预设的动画视频素材中主角脸部姿态选择对应的人脸卡通漫画效果合成结果替换原有主角，得到人脸卡通效果的动画视频。优选地，利用最小化目标函数：使替换的头像和背景平滑融合，其中I为平滑后的图像，v为原卡通动画图像的梯度场。相对于现有技术，所述人脸动画合成方法依据人脸的正面图像生成人脸的三维模型并进行正面人脸卡通效果合成，依据人脸的三维模型以及正面人脸卡通效果合成进行多姿态人脸卡通效果合成，最后将合成的多姿态人脸效果与预设的动画视频素材进行合成，避免了传统人工创作人脸卡通效果的动画，实现简单且快速，且不同用户可依据不同需求进行人脸卡通效果动画的合成，因此可满足多种不同的个性化需求。附图说明图1是本专利技术实施方式的人脸动画合成方法的流程示意图。具体实施方式以下将结合附图对本专利技术作进一步说明。请参阅图1，本专利技术实施方式的人脸动画合成方法包括如下步骤：步骤01，获取欲进行动画合成的人脸正面图像，本实施方式中，所述人脸正面图像由数码相机获得。步骤02，基于所述人脸正面图像进行三维人脸模型估计。具体地，首先构建一个包含m个三维人脸形状模型的训练集{s1,s2,…,sm}，令三维模型sj(1≤j≤m)上与人脸图像上的特征点pt＝(ut,vt)T(1≤t≤k，k为所述人脸图像上特征点的数目)相对应的顶点为vtj。通过优化如下基本函数的方法寻找最优的三维点使得其顶点的二维坐标与pt最接近。f(v)＝argmin(||pt-(vtj)1:2||)(1)以上述能量函数为基础，利用基于稀疏线性模型的优化算法，把所有特征点看成一个整体，并将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量有缺失的数据进行整体估计，从而获得特征点的类三维坐标。如此，可获得相对准确、稳定的估计结果。在获得类三维坐标特征点后，利用基于特征点形变技术的三维人脸模型重建方法进行三维人脸模型重建。具体来说，设模型的l个顶点组成一个三维点集为：Q＝{x1,x2,…,xl}，其中下标在k以内的为估计有类三维信息的特征点。类三维信息的特征点的优化估计值为：Y＝{y1,y2,…,yk}。利用如下的形变技术估计三维人脸模型：式(2)中Φ()为径向基函数，wi为权重。步骤03，基于人脸特征分析进行正面人脸卡通效果合成，获得正面人脸卡通漫画效果合成图。本实施方式中，采用基于主动形状模型(ActiveShapeModel：ASM)技术的人脸特征点定位方法，并且根据人眼特征定位点进行尺度、旋转变换实现归一化。在获得人脸特征点的基础上，通过贝塞尔曲线(Béziercurve)连接的方式获得线条画效果的正面人脸卡通化图像。步骤04，进行多姿态人脸卡通效果合成。具体地，对正面人脸卡通漫画效果合成图像和三维人脸模型分别进行Delaunay三角剖分方案。本实施方式中，首先将三维人脸模型的点投影到二维图像平面，在所述二维图像平面上进行Delaunay三角剖分，最后根据其连接关系确定三维空间中点的连接关系，可以避免传统三维数据下进行Delaunay三角剖分的复杂度很高的运算。在获得Delaunay三角剖分结果后，结合正面人脸卡通漫画效果合成图中人脸特征点以及三维人脸模型中的人脸特征点的对应关系实现纹理映射，也即将正面人脸卡通化图像作为纹理映射到估计得到的三维人脸模型上去。最后利用几何刚体变换矩阵结合摄像机内参数投影矩阵将三维人脸模型进行姿态变换并投影成二维图像从而得到多姿态人脸卡通漫画效果合成结果。步骤05，将所述合成的多姿态人脸卡通效果合成嵌入预设的动画视频素材中。所述依据所述个性化卡通动画合成。具体地，在获得多姿态人脸卡通效果合成结果后可以根据所述预设的动画视频素材中主角脸部姿态选择对应的人脸卡通漫画效果合成结果替换原有主角。本实施方式中，利用基于图像梯度域处理的空间融合方案，使替换的头像和背景平滑融合，消除人脸卡通漫画效果合成与背景之间的突兀的对比，提高视频图像的真实感。本文档来自技高网...

【技术保护点】
一种人脸动画合成方法，包括如下步骤：获取欲进行动画合成的人脸正面图像；基于所述人脸正面图像进行人脸三维模型估计；基于人脸特征分析进行正面人脸卡通效果合成，获得正面人脸卡通漫画效果合成图；基于所述人脸三维模型估计以及所述正面人脸卡通漫画效果合成图进行多姿态人脸卡通效果合成；将所述合成的多姿态人脸卡通效果合成嵌入预设的动画视频素材中，得到人脸卡通效果的动画视频；所述基于所述人脸正面图像进行人脸三维模型估计的步骤进一步包括：构建一个包含m个三维人脸形状模型的训练集{s

【技术特征摘要】
1.一种人脸动画合成方法，包括如下步骤：获取欲进行动画合成的人脸正面图像；基于所述人脸正面图像进行人脸三维模型估计；基于人脸特征分析进行正面人脸卡通效果合成，获得正面人脸卡通漫画效果合成图；基于所述人脸三维模型估计以及所述正面人脸卡通漫画效果合成图进行多姿态人脸卡通效果合成；将所述合成的多姿态人脸卡通效果合成嵌入预设的动画视频素材中，得到人脸卡通效果的动画视频；所述基于所述人脸正面图像进行人脸三维模型估计的步骤进一步包括：构建一个包含m个三维人脸形状模型的训练集{s1,s2,…,sm}，令三维模型sj(1≤j≤m)上与人脸图像上的特征点pt＝(ut,vt)T相对应的顶点为vtj，其中1≤t≤k，k为所述人脸图像上特征点的数目；采用优化能量函数：f(v)＝argmin(||pt-(vtj)1:2||)，寻找最优的三维点使得其顶点的二维坐标与pt最接近；以上述能量函数为基础，利用基于稀疏线性模型的优化算法，把所有特征点看成一个整体，并将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量有缺失的数据进行整体估计，从而获得特征点的类三维坐标；所述三维人脸模型重建的方法包括：设模型的l个顶点组成一个三维点集为：Q＝{x1,x2,…,xl}，其中下标在k以内的为估计有类三维信息的特征点，类三维信息的特征点的优化估计值为：Y＝{y1,y2,…,yk}，利用如下的形变技术估计三维人脸模型：其中，Φ()为径向基函数，wi为权重。2.如权利要求1所述的人脸动画合成方法，其特征在于：所述基于...

【专利技术属性】
技术研发人员：沈晔湖，
申请(专利权)人：中国科学院苏州纳米技术与纳米仿生研究所，
类型：发明
国别省市：江苏,32