基于单张人脸图像自动合成三维表情的方法及装置制造方法及图纸

一种基于单张人脸图像自动合成三维表情的方法，包括：步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；步骤2，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模并进行纹理映射，得到图像中目标人脸的三维人脸模型；步骤3，计算该表情集相对于三维人脸参考模型和目标人脸的三维人脸模型的人脸表情运动矩阵；步骤4，根据步骤3中得到的目标人脸的三维人脸模型的人脸表情运动矩阵，计算表情集中每个表情的线形运动模型；步骤5，使用聚类方法获得人脸面部区域划分结果；步骤6，进行人脸表情合成。本发明专利技术有助于系统合成更加灵活丰富的人脸表情。

【技术实现步骤摘要】
基于单张人脸图像自动合成三维表情的方法及装置
本专利技术属于计算机视觉与计算机图形学相关领域，特别涉及一种基于单张人脸图 像自动合成三维表情的方法及装置。
技术介绍
三维人脸表情合成是应用于诸多领域的计算机图形学技术，包括电影游戏、人机 交互和人脸识别等。而从单幅图像中合成三维人脸表情则是计算机视觉与计算机图形学技 术的结合。其目的是从一副包含人脸的图像中提取人脸信息，然后合成出图像中人脸的各 种三维表情。 已有的人脸表情合成方法大多数是基于人脸参数标准的方法，使用的是 MPEG-4 人脸动画标准（参见 Raouzaiou, Amaryllis and Tsapatsoulis, Nicolas and Karpouzis,Kostas and Kollias,Stefanos. Parameterized facial expression synthesis based on MPEG-4. EURASIP Journal on Applied Signal Processing, vol. 2002 ，1,1021-1038, 2002.)或者面部动作编码系统（Facial Action Coding System. FACS)(参见 Roesch,Etienne B and Tamarit, Lucas and Reveret, Lionel and Grandjean, Didier and Sander, David and Scherer, Klaus R. FACSGen:A tool to synthesize emotional facial expressions through systematic manipulation of facial action units. Journal of Nonverbal Behavior，vol. 35, l，pp. 1-16, 2011.)。在这些标准的基础之上为人脸模型设计 特征与运动单元，根据参数来调整人脸模型以合成三维表情。 已有的基于单幅图像的表情合成技术大多是二维的表情合成，合成的人脸表情 缺乏真实感，也不能进行三维多姿态观察；而三维的表情合成技术往往需要一个人脸的 多幅输入图像（参见 Fr ' ed' eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski, and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9.ACM，2006.)，或者输入图像中的人脸 特征选取需要人工操作（Fr' ed/ eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski,and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9. ACM，2006.)等；已有的人脸面部 区域划分的方法也大多数是手工完成的（参见Qingshan Zhang，Zicheng Liu，Gaining Quo, Demetri Terzopoulos, and Heung-Yeung Shum. Geometry-driven photorealistic facial expression synthesis. Visualizationand Computer Graphics, IEEE Transactions on，12 (1):48 - 60, 2006.)。
技术实现思路
为了克服现有技术中存在的上述缺陷，本专利技术提出了一种自动的由单幅图像合成 三维人脸表情的方法和装置，其中无需人工标注图像中的人脸特征点，并且实现自动的人 脸区域划分，有助于系统合成更加灵活丰富的人脸表情。 根据本专利技术的一个方面，提出了一种基于单张人脸图像自动合成三维表情的方 法，该方法包括步骤：步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；步骤2,根 据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模，在形状建 模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；步骤3,利用包含有限表 情模型的表情集，计算三维人脸参考模型和目标人脸的三维人脸模型的运动矩阵，所述表 情集中各表情模型所包含的顶点与三维人脸参考模型以及目标人脸的三维人脸模型中的 顶点一一对应；步骤4,根据步骤3中得到的目标人脸的三维人脸模型的运动矩阵，计算表 情集中每个表情的线形运动模型；步骤5,在三维人脸参考模型和表情集的基础上，使用聚 类方法获得人脸面部区域划分结果；步骤6,利用目标人脸的三维人脸模型、、运动模型以 及人脸面部区域划分结果，进行人脸表情合成。 根据本专利技术的另一方面，提出了一种基于单张人脸图像自动合成三维表情的装 置，该装置包括：人脸形状定位单元，对于输入的单张图像，使用ASM进行人脸形状定位；人 脸形状建模单元，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的 形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；运动 矩阵计算单元，利用包含有限表情模型的表情集，计算三维人脸参考模型和目标人脸的三 维人脸模型的运动矩阵；线性运动模型计算单元，根据得到的目标人脸的三维人脸模型的 运动矩阵，计算表情集中每个表情的线形运动模型；面部区域划分单元，在三维人脸参考模 型和表情集的基础上，使用聚类方法获得自动的人脸面部区域划分结果；人脸表情合成单 元，利用上述目标人脸的三维人脸模型、运动模型以及人脸面部区域划分结果，进行人脸表 情合成。 使用本专利技术的基于单张人脸图像自动合成三维表情的方法和装置，具有以下优 点：1)本专利技术利用了主动形状模型定位人脸特征，以及基于聚类的面部区域划分，实现了自 动的人脸表情合成；2)本专利技术采用了局部空间变换对表情运动矩阵依照输入人脸的三维建 模结果进行变换，使得表情合成结果更加符合输入人脸的形状；3)本专利技术利用了面部区域 划分的结果，通过区域组合的方式丰富了表情合成结果，使得合成的表情种类不局限于输 入的表情集中的有限表情；4)本专利技术利用了线性的表情运动模型，能够合成出多种强度的 表情，丰富了表情合成结果，而且线性模型计算速度快，使得表情能够实时地合成。 【附图说明】 图1示出了本专利技术的基于单张人脸图像自动合成三维表情的方法原理图； 图2是对一张含有正面人脸的图像使用主动形状模型（ASM)进行人脸定位的结果 图； 图3是三维人脸参考模型上三维ASM关键点示意图，其中的浅色斑点代表三维ASM 占. 图4a、4b和4c是纹理映射示意图，其中图4a是输入图像，图4b是形状重建的结 果，图4c是纹理映射后的结果； 图5是顶点的局部坐标定义示意图； 图6是局部空间变换不意图； 图7是人本文档来自技高网...

【技术保护点】
一种基于单张人脸图像自动合成三维表情的方法，该方法包括步骤：步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；步骤2，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；步骤3，利用包含有限表情模型的表情集，计算该表情集相对于三维人脸参考模型的运动矩阵和目标人脸的三维人脸模型的人脸表情运动矩阵，所述表情集中各表情模型所包含的顶点与三维人脸参考模型以及目标人脸的三维人脸模型中的顶点一一对应；步骤4，根据步骤3中得到的目标人脸的三维人脸模型的人脸表情运动矩阵，计算表情集中每个表情的线性运动模型；步骤5，在三维人脸参考模型和表情集的基础上，使用聚类方法获得人脸面部区域划分结果；步骤6，利用目标人脸的三维人脸模型、表情集中每个表情的线性运动模型以及人脸面部区域划分结果，进行人脸三维表情合成。

【技术特征摘要】
1. 一种基于单张人脸图像自动合成H维表情的方法，该方法包括步骤： 步骤1，对于输入的单张图像，使用ASM进行人脸形状定位； 步骤2,根据定位的人脸形状，利用H维人脸参考模型采用散点插值完成人脸的形状建 模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的H维人脸模型； 步骤3,利用包含有限表情模型的表情集，计算该表情集相对于H维人脸参考模型的运 动矩阵和目标人脸的H维人脸模型的人脸表情运动矩阵，所述表情集中各表情模型所包含 的顶点与H维人脸参考模型W及目标人脸的H维人脸模型中的顶点一一对应； 步骤4,根据步骤3中得到的目标人脸的H维人脸模型的人脸表情运动矩阵，计算表情 集中每个表情的线性运动模型； 步骤5,在H维人脸参考模型和表情集的基础上，使用聚类方法获得人脸面部区域划分 结果； 步骤6,利用目标人脸的H维人脸模型、表情集中每个表情的线性运动模型W及人脸面 部区域划分结果，进行人脸H维表情合成。2. 根据权利要求1所述的方法，其特征在于，步骤2进一步包括，使用一个H维人脸参 考模型，该H维人脸参考模型上具有与步骤1中所使用的人脸形状相对应的H维关键点， 对该H维人脸参考模型进行散点插值，得到H维人脸参考模型的形状变换，然后对形状变 换后的模型使用直接纹理映射，得到图像中目标人脸的H维人脸模型。3. 根据权利要求2所述的方法，其特征在于，步骤3进一步包括，通过W下方式来获取 目标人脸的H维人脸模型的人脸表情运动矩阵；对于表情集中中性表情模型的任意一个顶 点，构造其位于H维人脸参考模型中的源局部空间W及位于目标人脸的H维人脸模型中的 目标局部空间，利用所述顶点的局部空间、源局部空间W及目标局部空间之间的对应关系， 求得该顶点相对于H维人脸参考模型顶点坐标的运动向量，使用局部空间变换，获得该运 动向量适用于目标人脸的H维人脸模型的变换形式，利用该变换形式W及H维人脸参考模 型的运动矩阵，来获得目标人脸的H维人脸模型的运动矩阵。4. 根据权利要求3所述的方法，其特征在于，步骤5进一步包括；利用表情集中每个H 维模型所包含的顶点，构造一个矩阵来代表顶点在表情集中的运动方式相关特征，利用顶 点的运动方式相关特征W及顶点的空间位置特征，构造顶点的特征向量，对该特征向量进 行K均值聚类，聚类的结果为面部划分的结果。5. 根据权利要求4所述的方法，其特征在于，在聚类过程中，对于目标人脸的H维人脸 模型中的m个顶点，使用K均值聚类的方法将其分成r类，每一类中的顶点个数不是一定 的，认为同一类的顶点代表脸部的同一区域，不同类顶点代表不同区域，聚类结果就是Ru， Ry是第i个表情的第j个区域，通过聚类获得每一类中所有顶点的标号，使用该些标号和 Ai构建r个Ru，其中Ai是第i...

【专利技术属性】
技术研发人员：黄磊，舒之昕，
申请(专利权)人：汉王科技股份有限公司，
类型：发明
国别省市：北京;11