信息处理方法和信息处理设备技术

技术编号:19693392 阅读:37 留言:0更新日期:2018-12-08 11:34
公开了一种信息处理方法和信息处理设备。该信息处理方法包括:根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系,来计算形状参数和表情参数中的至少一个;利用形状参数和表情参数中的至少一个来配置面部形变模型,以获得与二维图像中的面部对应的特定三维模型。

【技术实现步骤摘要】
信息处理方法和信息处理设备
本专利技术涉及信息处理技术,具体地,涉及用于处理人脸图像的方法和设备。
技术介绍
当前,人脸图像处理技术已经得到很大发展,例如人脸识别、人脸图像增强等等。由于图像中的人脸不仅与人物的相貌有关,而且与其它因素,例如人物的表情和姿态有关,因此从人脸图像中提取面部表情或面部姿态对于人脸图像增强是非常有帮助的。因此,期望提出一种利用人物的表情或姿态的人脸图像处理技术。
技术实现思路
根据本专利技术的一个方面,提供了一种信息处理方法,包括:根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系,来计算形状参数和表情参数中的至少一个;以及利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型,以获得与所述二维图像中的面部对应的特定三维模型。根据本专利技术的另一个方面,提供了一种信息处理方法,包括:基于具有中性表情的多个第一面部模型来计算平均面部模型和形状特征;基于所述多个第一面部模型和具有非中性表情的多个第二面部模型之间的差来计算表情特征;利用所述平均面部模型、所述形状特征以及所述表情特征,来构建面部形变模型。根据本专利技术的另一个方面,提供了一种信息处理设备,包括处理电路,所述处理电路被配置为执行上述信息处理方法。附图说明可以通过参考下文中结合附图所给出的描述来更好地理解本专利技术,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步说明本专利技术的优选实施例和解释本专利技术的原理和优点。在附图中:图1是用于获得面部形变模型的处理的示意图。图2是用于获得面部形变模型的处理流程图。图3是根据人脸二维图像来建立人脸三维模型的处理流程图。图4是利用人脸三维模型对人脸二维图像进行增强的一个示例的流程图。图5是利用人脸三维模型对人脸二维图像进行增强的另一个示例的流程图。图6示出了计算机硬件的示意性配置框图。具体实施方式图1示意性地示出了获得面部形变模型的处理。假设在数据库中预先存储有多个人脸三维(3D)模型,其中包括具有中性表情的多个人脸三维模型Sid以及具有非中性表情的多个人脸三维模型Sexp。非中性表情包括除了中性表情之外的任何表情。此外,任一非中性表情的人脸三维模型Sexp具有与其相对应的中性表情三维模型Sid,此处的“相对应”是指二者都是同一人脸的三维模型,只是表情不同。在获得面部形变模型的处理中,首先基于数据库中存储的多个中性表情的人脸三维模型Sid来计算得到平均人脸模型Sa,然后利用所计算的平均人脸模型Sa和该多个中性表情的人脸三维模型Sid来获得中性表情特征空间的特征向量Aid。中性表情特征空间的特征向量Aid对应于具有中性表情的人脸三维模型。另一方面,基于数据库中存储的多个中性表情三维模型Sid以及多个非中性表情三维模型Sexp来获得非中性表情特征空间的特征向量Aexp。非中性表情特征空间的特征向量Aexp对应于具有非中性表情的人脸三维模型。然后可以利用所获得的特征向量Aid和Aexp来构建面部形变模型。面部形变模型是基础模型,可以通过对该模型进行调整来获得不同的人脸三维模型。以下将结合图2来详细描述获得面部形变模型的处理流程。如图2所示,首先在步骤S201,按照以下公式(1),基于数据库中存储的多个中性表情三维模型Sid(也称为样本集)来计算平均人脸模型Sa:其中,Sid,i表示第i个中性表情三维模型Sid,即第i个样本,并且i=1,2,…,m,αi表示用于第i个中性表情三维模型的加权系数,例如αi可以为在步骤S202,通过主成分分析(PrincipalComponentAnalysis,PCA),基于所计算的平均人脸模型Sa和多个中性表情三维模型Sid来计算中性表情特征空间的特征向量Aid。主成分分析(PCA)的原理是通过一个特征向量矩阵将一个高维向量投影到一个低维的向量空间中,表征为一个低维向量,并且仅仅损失一些次要信息。也就是说,通过低维向量和特征向量矩阵,可以基本重构出原始的高维向量。在人脸图像处理中,特征向量矩阵可以被称为特征空间。如上所述,通过公式(1)已经获得了平均人脸模型Sa,接下来通过以下公式(2)来计算样本集的协方差矩阵:然后计算协方差矩阵的特征向量和对应的特征值,这些特征向量组成的特征向量矩阵就是人脸空间的正交基底,用它们的线性组合可以重构出样本集中任意的中性表情三维模型。然后,将计算的特征值按降序排序,在前的预定数目个特征值所对应的特征向量构成主成分,由主成分构成降维的特征子空间,从而任一人脸图像(高维向量)可以被投影到该特征子空间,并获得低维向量。以此方式获得的主成分即是中性表情特征空间的特征向量Aid。类似地,在步骤S203,通过主成分分析(PCA),基于非中性表情三维模型Sexp以及与其相对应的中性表情三维模型Sid可以计算出非中性表情特征空间的特征向量Aexp。然后,在步骤S204,利用所计算的特征向量Aid和Aexp可以构建面部形变模型Sb,具体如以下公式(3)所示:Sb=Sa+Aid+Aexp---(3)面部形变模型Sb是基础模型,通过对其应用特定人脸的独特特征,例如利用特定人脸特征对公式(3)中的特征向量Aid和Aexp进行加权,可以生成与该特定人脸对应的人脸三维模型。以下将结合图3来描述根据人脸二维图像来建立人脸三维模型的处理。如图3所示,首先在步骤S301,基于人脸上的一组检测位置,分别在人脸二维图像中以及在如上所获得的平均人脸模型Sa中各自检测一组特征点。人脸的特征点检测可以采用本领域技术人员已知的多种技术,本专利技术对此不做限制。在步骤S302,基于分别检测的两组特征点来进行拟合。例如,根据两组特征点之间的对应关系,以使得第一组特征点中的每个特征点与第二组特征点中的对应特征点之间的距离最小化的方式来计算形状加权参数αid、表情加权参数αexp以及摄像机校准参数,如以下公式(4)所示。在本文中,对应的特征点是指针对人脸上的同一检测位置(例如左眼、鼻子等),在人脸二维图像和平均人脸模型Sa中分别检测到的两个特征点。在公式(4)中,t是变换矢量,f和R表示摄像机校准参数,P2D是在人脸二维图像上所检测的特征点,P2Dt是以下二维图像上的与P2D相对应的特征点:对平均人脸模型Sa应用了摄像机校准参数之后将其映射至二维空间所获得的二维图像。摄像机校准参数包括缩放系数f和旋转矩阵R(α,β,γ),其中缩放系数f用于调整人脸三维模型的尺寸,α,β,γ分别限定人脸三维模型的俯仰角、偏航角和翻滚角。因此,摄像机校准参数可以限定人脸三维模型的缩放比例以及姿态,以使得重建的人脸三维模型与二维图像中的人脸在尺寸和姿态方面相匹配。通过公式(4)计算得到的形状加权参数αid和表情加权参数αexp代表了二维图像中的人脸相对于平均人脸的独特特征,包括相貌方面的独特特征(αid)和表情方面的独特特征(αexp)。然后在步骤S303,利用所计算的形状加权参数αid和表情加权参数αexp来配置由图2中的处理所获得的面部形变模型Sb。具体来说,分别利用形状加权参数αid和表情加权参数αexp对中性表情特征空间的特征向量Aid和非中性表情特征空间的特征向量本文档来自技高网...

【技术保护点】
1.一种信息处理方法,包括:根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系,来计算形状参数和表情参数中的至少一个;以及利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型,以获得与所述二维图像中的面部对应的特定三维模型。

【技术特征摘要】
1.一种信息处理方法,包括:根据包含人的面部的二维图像中的第一组特征点和平均面部三维模型中的第二组特征点之间的对应关系,来计算形状参数和表情参数中的至少一个;以及利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型,以获得与所述二维图像中的面部对应的特定三维模型。2.根据权利要求1所述的信息处理方法,还包括:通过利用修改的表情参数配置所述面部形变模型,来获得具有另外的表情的特定三维模型。3.根据权利要求1所述的信息处理方法,还包括:根据所述第一组特征点和所述第二组特征点之间的对应关系,以使得所述第一组特征点中的每个特征点与所述第二组特征点中的相应特征点之间的距离最小化的方式来计算所述形状参数和所述表情参数中的至少一个。4.根据权利要求1所述的信息处理方法,其中,所述面部形变模型包括形状特征和表情特征,其中,利用所述形状参数和所述表情参数中的至少一个来配置面部形变模型的步骤包括:利用所述形状参数对所述面部形变模型的形状特征进行加权;和/或利用所述表情参数对所述面部形变模型的表情特征进行加权。5.根据权利要求1所述的信息处理方法,...

【专利技术属性】
技术研发人员:缪倩文
申请(专利权)人:富士通株式会社
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1