一种虚拟人嘴部运动控制方法技术

本发明专利技术公开了一种虚拟人嘴部运动控制方法，获取三维人脸网格模型后，参照 MPEG-4中对嘴部区域FDP特征点的定义，选取颧弓处的特征点、两嘴角处的特征点、 下嘴唇上边界特征点及下颌边界处特征点作为嘴部功能区边界点，并根据颧弓处特征 点坐标最终确定出三维网格模型中的嘴部功能区；采用摆动导杆机构模型驱动嘴部功 能区网格点运动，模拟真实的嘴部张合过程，并通过对顶点缓冲区域的顶点的处理消 除交界处的过拉伸现象。本发明专利技术可以采用同一个数学模型实现连续情况下人嘴部张开 与闭合这样相反的运动过程，数学模型简单，物理意义明确，易于控制且仿真效果逼 真。

【技术实现步骤摘要】

本专利技术涉及虚拟现实领域，尤其涉及。技术背景人脸表情是人类情感传递的一个重要途径，是人类进行相互交流的基础。三维人脸动画技术起步于70年代，其后，很多研究人员在该领域做了大量的研究工作，以期 获得具有真实感的三维人脸动画。真实感人脸动画有广泛的应用领域，可以用来模拟虚拟环境中的虚拟人物，如影视剧中的虚拟人物，还可以应用于电子游戏、视频会议、 人机交互等许多领域，而嘴部作为人类语言交流的主要器官，对人类的情感交流起到 关键的作用，嘴部动画效果真实与否对整个虚拟人面部感情表达有着重要的影响。因 此，对虚拟人嘴部的运动仿真具有重要意义。Waters在1987年提出了一种基于解剖学的肌肉模型，用于表现质点在肌肉力的作 用下产生的位移。然而，该模型在模拟嘴部动画时具有比较大的局限性。在该模型中， 轮匝肌被描述为一个具有径向收縮功能的肌肉单元，通过肌肉的收縮产生嘴部表情动 画。但在语音动画设计等实际应用中，由于嘴唇运动往往比较复杂，使用上述简单的 轮匝肌模型不能达到精确描述说话人口型的目的，从而也不能获得逼真地刻画唇区运 动的动画效果。中国图象图形学报(2008,13(11): 2238-2243)公开了一种用于高真实感口型合成 的唇区肌肉模型，该模型在Waters肌肉模型的基础上，提出了一种新的唇区肌肉模型。 利用该模型，并通过各肌肉参数的调节和不同肌肉群的组合运动合成了说话时的各种 可能口型，并由这些合成的口型，通过帧间插值的方法生成了连续语流条件下的口型 动画。虽然建立的模型可以合成普通说话时的各种口型，但所合成口型的幅度对整体 自然度的影响还是很大的。当口型幅度系数很大，使嘴唇动作非常夸张时，自然度会 有一定的降低。
技术实现思路
为了克服现有技术在模拟人嘴部张合运动过程中口型幅度受到限制，仿真效果真 实感不强的不足，本专利技术提出了一种新的嘴部张合运动控制方法，能够增强在模拟人 嘴部张合过程中对运动速度和程度的控制，提高嘴部动画的真实感。本专利技术解决其技术问题所采用的技术方案包括以下步骤首先获取三维人脸网格模型，即采集三维人脸网格模型数据，可以是采用三维激 光扫描仪扫描真实人头生成人脸的三维网格模型，应用此方法可以同时获得大量的三维数据和纹理信息，或是通过3DSMAX或者MAYA等三维建模软件，由设计人员手 工建立人脸三维模型，也可以是通过Poser等专业人体建模软件，从其模型库中直接 导出所需的人头模型及相应的纹理信息。模型以人物的鼻尖为基准，建立坐标系^， 水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外， 三个轴方向符合右手法则。然后根据嘴部张合特性划分出嘴部功能区。所划分嘴部功能区，是指在所获取的 三维网格模型上，根据嘴部开合运动特征，划分出与张合运动相关的下颌部网格点。 通过对人嘴张合动作的特征进行分析，可将嘴部张合看作是下颚围绕颧弓进行的转动 动作，因此参照MPEG-4中对嘴部区域FDP特征点的定义，如图1所示，选取颧弓处 的特征点(FDP2.19和FDP2.20)，两嘴角处的特征点(FDP8.3禾n FDP8.4)，下嘴唇上 边界特征点(FDP 2.5， FDP 2.9, FDP2.3, FDP2.8, FDP2.4)及下颌边界处特征点(FDP2.1， FDP2.11，FDP 2.12, FDP 2.13， FDP 2.14)作为嘴部功能区边界点，由这些边界点划分出 人脸在正面(XOY平面)的嘴部功能区范围。嘴部功能区的侧面范围由颧弓处的特征 点(FDP2.19和FDP2.20)确定，人脸三维网格模型上落在功能区正面范围内，并且z 值大于颧弓处特征点z值的全部网格点最终确定出了三维网格模型中的嘴部功能区。采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程。 根据人嘴部张合为下颚骨围绕颧弓进行转动这一特性，又由摆动导杆机构的运动原理 可知，曲柄能够绕机架的固定铰链做整周转动，并带动导杆在一定的范围内进行往复 运动，从而，可以将机构模型引入嘴部张合运动的控制过程，取曲柄的旋转角速度为 控制参数，根据机架、曲柄、导杆之间的位置关系，以及输入的曲柄转动角速度参数 这些已知信息，计算出嘴部功能区网格点在任意时刻的空间位置或转过的角度，并以 此驱动三维网格点运动，从而模拟出嘴部的张合运动。最后，处理嘴角特征点与颧弓处特征点张嘴时出现的过拉伸现象，更加逼真的模 拟嘴部张合。由于使用机构模型驱动下颚骨进行转动，在三维人头模型上属于上颚骨 的顶点是静止的，与下颚骨关联的点是运动的，故在这两类顶点的交界处的纹理会被4机械的拉大，出现过拉伸现象。通过对顶点缓冲区域的顶点的处理，则可以有效消除 交界处的过拉伸现象从而生成具有真实感的三维嘴部动画。顶点缓冲区域为R、 )^、 ^这三个点组成的三角形，其中R为FDP2.19(2.20)， ^ 为FDP8.3(8.4)， ^为由机构模型算出的转动角度为(即与G^夹角为)的直线与 过^做的垂线的交点，^为线段r,^的中点。处于顶点缓冲区域的一个任意点P与线 段]^&的夹角为5。令处于顶点缓冲区域的顶点计算其转动角度为A--xA，其中A二cos(^Z^)。经过此阶段处理，即可生成具有真实感的三维嘴部动画。 〃本专利技术的有益效果是本专利技术从嘴部张合运动机理出发，建立了基于机构学的运 动控制模型，通过该模型驱动三维网格点运动实现嘴部表情动画，改进了传统的肌肉 模型控制嘴部运动时只能做径向收縮并且口型张合程度受到限制这一缺点，嘴部功能 区网格点在机构模型的控制下可以进行自然的张大，满足大笑等表情动画时对口型的 要求。同时，本专利技术结合机构学原理建立控制张合运动的数学模型，根据摆杆机构的 运动特性，导杆可在曲柄的带动下在一定范围内做往复运动，因此可以采用同一个数 学模型实现连续情况下人嘴部张开与闭合这样相反的运动过程，数学模型简单，物理 意义明确，易于控制且仿真效果逼真。下面结合附图和实施例对本专利技术进一步说明。 附图说明图l(a)为FDP示意图，图l(b)为唇部FDP示意图； 图2是本专利技术所述的人嘴部张合运动控制操作流程图；图3是三维人脸网格模型示意图；图4为嘴部功能区划分示意图；图5是摆动导杆机构运动原理简图；图6是顶点缓冲区域示意图。具体实施方式本实施例是根据附图2所示的操作流程，并基于附图4所示的嘴部功能区的一个简 单实施方案。5首先可以通过三维激光扫描仪扫描真实人脸得到原始的三维人脸网格点模型，或是通过3DS MAX或者MAYA等三维建模软件，由设计人员手工建立人脸三维模型， 也可以是通过Poser等专业人体建模软件，从其模型库中直接导出所需的人头部模型， 得到附图3。然后通过计算机输入设备，从三维人头网格模型中划分出嘴部功能区。为了获得 更精细的嘴部运动模拟效果，通过对人嘴部闭合运动特征进行分析，并参照MPEG-4 标准中对嘴部FDP控制点的定义，选取颧弓处的特征点(FDP2.19和FDP2.20)，两嘴角 处的特征点(FDP8.3和FDP8.4)，下嘴唇上边界特征点(FDP 2.5, FDP 2.9， FDP2.3, FDP2.8, FDP2.4)及下颌边界处特征点(FDP2.1, FDP2.11, FDP 2.12本文档来自技高网...

【技术保护点】
一种虚拟人嘴部运动控制方法，其特征在于包括以下步骤：　第一步，获取三维人脸网格模型，即采集三维人脸网格模型数据；以人物的鼻尖为基准，建立坐标系ＸＹＺ，水平向右方向为Ｘ轴正向，垂直向上方向为Ｙ轴正向，Ｚ轴垂直于ＸＯＹ平面向外，三个轴方向符合右手法则；　第二步，根据嘴部张合特性划分出嘴部功能区，参照ＭＰＥＧ－４中对嘴部区域ＦＤＰ特征点的定义，选取颧弓处的特征点ＦＤＰ２．１９和ＦＤＰ２．２０，两嘴角处的特征点ＦＤＰ８．３和ＦＤＰ８．４，下嘴唇上边界特征点ＦＤＰ　２．５、ＦＤＰ　２．９、ＦＤＰ２．３、ＦＤＰ２．８、ＦＤＰ２．４及下颌边界处特征点ＦＤＰ２．１、ＦＤＰ２．１１、ＦＤＰ　２．１２、ＦＤＰ　２．１３、ＦＤＰ　２．１４作为嘴部功能区边界点，由这些边界点划分出人脸在ＸＯＹ平面的嘴部功能区范围；嘴部功能区的侧面范围由颧弓处的特征点ＦＤＰ２．１９和ＦＤＰ２．２０确定，人脸三维网格模型上落在功能区正面范围内，并且ｚ值大于颧弓处特征点ｚ值的全部网格点最终确定出了三维网格模型中的嘴部功能区；　第三步，采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程，取曲柄的旋转角速度为控制参数，根据机架、曲柄、导杆之间的位置关系，以及输入的曲柄转动角速度参数这些已知信息，计算出嘴部功能区网格点在任意时刻的空间位置或转过的角度，并以此驱动三维网格点运动；　第四步，通过对顶点缓冲区域的顶点的处理消除交界处的过拉伸现象，顶点缓冲区域为Ｖ↓［ｓ］、Ｖ↓［ｆ］、Ｖ↓［β］这三个点组成的三角形，其中Ｖ↓［ｓ］为ＦＤＰ２．１９或ＦＤＰ２．２０，Ｖ↓［ｆ］为ＦＤＰ８．３或ＦＤＰ　８．４，Ｖ↓［β］为由机构模型算出的转动角度为β的直线与过Ｖ↓［ｆ］做的垂线的交点，Ｖ↓［ｈ］为线段Ｖ↓［ｆ］Ｖ↓［β］的中点；处于顶点缓冲区域的一个任意点Ｐ与线段Ｖ↓［ｓ］Ｖ↓［ｆ］的夹角为δ；令处于顶点缓冲区域的顶点计算其转动角度为β↓［ｔ］＝β×ｋ，其中　ｋ＝ｃｏｓ（（β－２δ）／β）。...

【技术特征摘要】
1、一种虚拟人嘴部运动控制方法，其特征在于包括以下步骤第一步，获取三维人脸网格模型，即采集三维人脸网格模型数据；以人物的鼻尖为基准，建立坐标系XYZ，水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外，三个轴方向符合右手法则；第二步，根据嘴部张合特性划分出嘴部功能区，参照MPEG-4中对嘴部区域FDP特征点的定义，选取颧弓处的特征点FDP2.19和FDP2.20，两嘴角处的特征点FDP8.3和FDP8.4，下嘴唇上边界特征点FDP 2.5、FDP 2.9、FDP2.3、FDP2.8、FDP2.4及下颌边界处特征点FDP2.1、FDP2.11、FDP 2.12、FDP 2.13、FDP 2.14作为嘴部功能区边界点，由这些边界点划分出人脸在XOY平面的嘴部功能区范围；嘴部功能区的侧面范围由颧弓处的特征点FDP2.19和FDP2.20确定，人脸三维网格模型上落在功能区正面范围内，并且z值大于颧弓处特征点z值的全部网格点最终确定出了三维网格模型中的嘴部功能区；第三步，采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程，取曲柄的旋转角速度为控制参数，根据机架、曲柄、导杆之间的位置关系，以及输入的曲柄转动角速度参数这些已知信息，计算出嘴部功能区网格点在任意时刻的空间位置或转过的角度，并以此驱动三维网格点运动；第四步，通过对顶点缓冲区域的顶点的处理消除交界处的过拉伸现象，顶点缓冲区域为Vs、Vf、Vβ这三个点组成的...

【专利技术属性】
技术研发人员：樊养余，张抗，吕国云，王毅，齐敏，
申请(专利权)人：樊养余，张抗，吕国云，王毅，齐敏，
类型：发明
国别省市：87