一种交互式三维人脸表情动画编辑方法、系统及扩展方法技术方案

本发明专利技术公开了交互式三维人脸表情动画编辑方法、系统及扩展方法，其中该三维人脸表情动画编辑方法包括将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；建立由于用户的编辑操作引起的三维控制点变形的形变模型；分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；构建三维控制点的贡献图；依据贡献图以及形变模型对动态区域进行变形融合，最终得到人脸模型的整体变形。该三维人脸表情动画编辑方法计算简单且能够保证各动态区域的变形既符合用户要求、又准确自然。

Interactive 3D facial expression animation editing method, system and expansion method

The invention discloses an interactive 3D facial animation editing system and method, extension method, the 3D facial animation editing method includes the user specified and free mobile to the desired location of the face model of two-dimensional control point pixel mapped to 3D space, and get the 3D control points corresponding to the face model; establish the model of 3D deformation control cause user editing deformation; the face model between each vertex and 3D control points were calculated on the basis of correlation coefficient; correlation coefficient will face dynamic model is divided into different regions, each region contains a three-dimensional dynamic control point; construction of 3D control points with map; map and deformation according to contribution the model of dynamic deformation of fusion region, finally get the whole facial model deformation. The 3D facial expression animation method is simple in calculation and can guarantee the deformation of each dynamic region. It meets user requirements and is accurate and natural.

【技术实现步骤摘要】
一种交互式三维人脸表情动画编辑方法、系统及扩展方法
本专利技术属于计算机图形学领域，尤其涉及一种交互式三维人脸表情动画编辑方法、系统及扩展方法。
技术介绍
近年来，三维人脸表情动画已被广泛应用于各个领域，如动漫、游戏和电影中虚拟角色的表情生成；远程网络会议、虚拟现实中的虚拟人物表情动画；医学美容、人脸识别中的表情模拟；辅助教育中的虚拟教师、娱乐节目中的虚拟主持人和虚拟偶像的表情模拟等。随着三维人脸表情动画的广泛应用，如何给用户提供一个简单便捷的交互式编辑工具，并使其编辑生成的表情动画真实自然成为了学术界和工业界普遍关注的研究热点和难点问题。理想的交互式表情编辑工具必须具备两个要素：1)操作的直观性和便捷性。用户只需简单地控制人脸模型上的一些元素(如点、直线、曲线等)的位置和形状即可实现对表情的编辑，这个交互过程是直观可见的、且新表情的生成结果是实时显示的。2)表情合成的高真实感。要保证用户通过简单的交互编辑后生成的表情动画是真实自然、令人信服的。然而，要实现这样的交互式表情编辑工具是具有挑战性的，原因在于：1)用户编辑的人脸模型往往具有几千甚至几万个顶点，而用户交互控制的模型顶点数和曲线数只有几个最多十几个，利用如此低维的控制元素来控制高维模型的变形会导致欠约束问题，从而使得生成的表情不自然甚至错误。2)由于缺乏经验或专业水平不高，某些用户对人脸模型控制元素的交互编辑可能是不合适的甚至是错误的，这种不合适或错误的输入往往直接导致生成的表情不自然甚至是怪异的，从而无法达到用户预期的编辑效果。目前关于交互式表情编辑的相关研究取得了较大进展，但仍存在着很多不足。形状融合变形是目前用于表情动画编辑的主流思路，它将人脸模型表示为若干个已知的拓扑一致的人脸网格模型(称为关键模型)的加权组合，通过修改关键模型的形状或调整各关键模型的融合权值可生成新的表情。这里，关键模型可以由动画师手工制作，也可以利用动态三维数据获取技术直接获取不同模样、不同表情的人脸网格样本作为关键模型。在估算融合权重时，早期的方法往往直接利用用户选中的模型控制点作为约束优化求解，这会导致欠约束问题进而难以生成真实自然的表情。后来的很多方法引入了主成分分析来避免欠约束的问题。主成分分析有效降低了关键模型空间的维度，但它运算花销大，且缺乏物理含义和语义信息，从而会导致不自然表情的产生。因此，引入主成分分析的表情编辑方法通常会采用对模型进行区域分割的方式以保证更好的表情编辑效果。近来，越来越多的表情编辑方法引入了区域分割的思想。它们通过将人脸模型分成多个区域，并分区域对已有的关键形状进行插值来产生新的表情。这些方法虽然克服了主成分分析的缺陷，但由于模型上的区域都是事先分割好的，与用户选择的控制元素无关，这种硬性的区域分割在一定程度上破环了人脸各部分之间的自然相关性，各区域变形的简单融合又使得人脸模型不同部位之间的运动相互独立、缺乏联系，因此很多情况下会导致不自然表情的产生。最新的一些方法开始探索对表情序列进行编辑，即，将用户对单帧网格模型的编辑效果在整个表情网格序列中进行传播，以产生连续渐变的表情动画效果。但这些方法都需要大量的离线处理和运算。综上，如何为用户提供直观、简便的交互编辑方式，以及如何生成既符合用户要求、又真实自然的表情依然是三维人脸表情编辑研究中亟待解决的关键问题和难点问题。该问题的解决将进一步推动表情编辑技术在计算机动画、影视特效、虚拟现实、辅助教育等诸多领域的推广和应用。
技术实现思路
为了解决现有技术中人脸表情动画编辑方法都需要大量的离线处理和运算的缺点，本专利技术的第一目的是提供一种交互式三维人脸表情动画编辑方法。该方法计算简单且能够保证各动态区域的变形既符合用户要求、又准确自然。本专利技术的一种交互式三维人脸表情动画编辑方法，包括：步骤1：将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；步骤2：建立由于用户的编辑操作引起的三维控制点变形的形变模型；步骤3：分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；步骤4：依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；步骤5：构建三维控制点的贡献图，贡献图的节点与人脸模型的顶点一一对应，且节点内存储相应人脸模型的顶点与三维控制点之间的相关性系数；其中，贡献图反映三维控制点变形对人脸模型的其他顶点运动的影响程度；步骤6：依据贡献图以及形变模型对动态区域进行变形融合，最终得到人脸模型的整体变形，即人脸模型上的新表情。本专利技术根据相关性系数为每个控制点建立一张贡献图。其中，贡献图的数据存储方式为图结构、表格结构、数组结构或其他数据存储结构形式。在进行动态区域变形的融合时，依据贡献图每个区域内的变形对整个人脸模型变形的贡献将随着该区域的扩散而逐渐减弱。与传统方法中将各个区域的变形简单相加平均的方式，该思路更符合人类脸部运动的规律，可生成更加真实自然的表情。进一步的，在所述步骤1中，利用光线跟踪算法将二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点。本专利技术的该方法利用光线跟踪能够准确得到与二维控制点象素对应的三维点。进一步的，在所述步骤2中，形变模型为关键模型序列的线性组合，也就是各个关键模型与相应权重系数相乘后的累加和；所述关键模型序列为已知的一系列表情变化网格模型。本专利技术对动态区域变形进行建模时，区域内的变形由用户对控制点的操作和已有的关键模型数据共同约束决定。这里的关键模型序列可以是利用三维数据获取技术得到的真人的一系列表情网格模型，也可以是对人脸模型人工编辑得到的一系列表情变化网格模型，这些模型的表情都是真实自然的。进一步的，关键模型的权重系数由两项约束项构成的目标函数求解得到，其中，第一项约束项用来衡量利用关键模型序列的线性组合表示的三维控制点新位置映射到二维屏幕上后与用户指定的二维控制点象素新位置的接近程度；第二项约束项用以衡量每帧关键模型与用户移动二维控制点象素所期望产生的新表情之间的相似程度，越相似，表明该帧关键模型对三维控制点最终变形的贡献应该越大，则该帧关键模型的权值越大。本专利技术提出了估算各关键模型的融合权值的目标函数，该目标函数既考虑对用户输入的控制点约束条件的满足，又考虑各关键模型与用户期望编辑生成的表情之间的相似程度，越相似，其权值越大，从而保证各动态区域的变形既符合用户要求、又准确自然。进一步的，在所述步骤3中，利用顶点的相关性准则分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；其中，相关性准则由三项叠加而成，第一项用来衡量顶点与三维控制点之间的空间距离；第二项用来衡量顶点与三维控制点沿着关键模型序列运动时方向的相似性；第三项用来衡量顶点与三维控制点沿着关键模型序列运动时速率的接近性。本专利技术提出顶点的相关性准则来计算贡献图，该准则即考虑顶点之间的空间邻近性、又考虑顶点在整个关键模型序列上的运动一致性，因此可真实准确地反映顶点之间的时空关系和相互影响，从而保证合理准确地将各个动态区域的变形传播到整个人脸模型上，得到最终的真实自然的新表情。进一步的，在所述步骤6中，依据贡献图进行动态区域变形的融合，每个动态区域内的变形对整个人脸模型变形的影响将随着该动态区域的扩本文档来自技高网...

【技术保护点】
一种交互式三维人脸表情动画编辑方法，其特征在于，包括：步骤1：将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；步骤2：建立由于用户的编辑操作引起的三维控制点变形的形变模型；步骤3：分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；步骤4：依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；步骤5：构建三维控制点的贡献图，贡献图的节点与人脸模型的顶点一一对应，且节点内存储相应人脸模型的顶点与三维控制点之间的相关性系数；其中，贡献图反映三维控制点变形对人脸模型的其他顶点运动的影响程度；步骤6：依据贡献图以及形变模型对动态区域进行变形融合，最终得到人脸模型的整体变形，即人脸模型上的新表情。

【技术特征摘要】
1.一种交互式三维人脸表情动画编辑方法，其特征在于，包括：步骤1：将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；步骤2：建立由于用户的编辑操作引起的三维控制点变形的形变模型；步骤3：分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；步骤4：依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；步骤5：构建三维控制点的贡献图，贡献图的节点与人脸模型的顶点一一对应，且节点内存储相应人脸模型的顶点与三维控制点之间的相关性系数；其中，贡献图反映三维控制点变形对人脸模型的其他顶点运动的影响程度；步骤6：依据贡献图以及形变模型对动态区域进行变形融合，最终得到人脸模型的整体变形，即人脸模型上的新表情。2.如权利要求1所述的交互式三维人脸表情动画编辑方法，其特征在于，在所述步骤1中，利用光线跟踪算法将二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点。3.如权利要求1所述的交互式三维人脸表情动画编辑方法，其特征在于，在所述步骤2中，形变模型为关键模型序列的线性组合，也就是各个关键模型与相应权重系数相乘后的累加和；所述关键模型序列为已知的一系列表情变化网格模型。4.如权利要求3所述的交互式三维人脸表情动画编辑方法，其特征在于，关键模型的权重系数由两项约束项构成的目标函数求解得到，其中，第一项约束项用来衡量利用关键模型序列的线性组合表示的三维控制点新位置映射到二维屏幕上后与用户指定的二维控制点象素新位置的接近程度；第二项约束项用以衡量每帧关键模型与用户移动二维控制点象素所期望产生的新表情之间的相似程度，越相似，表明该帧关键模型对三维控制点最终变形的贡献应该越大，则该帧关键模型的权值越大。5.如权利要求1所述的交互式三维人脸表情动画编辑方法，其特征在于，在所述步骤3中，利用顶点的相关性准则分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；其中，相关性准则由三项叠加而成，第一项用来衡量顶点与三维控制点之间的空间距离；第二项用来衡量顶点与三维控制点沿着关键模型序列运动时方向的相似性；第三项用来衡量顶点与三维控制点沿着关键模型序列运动时速率的接近性。6.一种交互式三维人脸表情动画编辑系统，其特征在于，包括：控制点映射模块，其用于将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；形变模型建立模块，其用于建立由于用户的编辑操作引起的三维控制点变形的形变模型；相关性系数计算模块，其用于分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；动态区域划分模块，其用于依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；贡献图建立模块，其用于构建三维控制点的贡献图，贡献图的节点与人脸模型的顶点一一对应，且节点内存储相应人脸模型的顶点与三维控制点之间...

【专利技术属性】
技术研发人员：迟静，张彩明，高珊珊，刘慧，张云峰，
申请(专利权)人：山东财经大学，
类型：发明
国别省市：山东,37