一种获得唇形动画的方法及装置制造方法及图纸

本申请公开一种获得唇形动画的方法及装置。该方法包括：获取音频数据；提取所述音频数据的频域特征值；根据所述频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型；以及根据所述至少一个唇形动画模型，生成唇形动画。该方法能够逼真模拟VR中虚拟人物说话时的唇形。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，具体涉及一种获得唇形动画的方法及装置。
技术介绍
VR(VirtualReality，即虚拟现实，简称VR)，是由美国VPL公司创建人拉尼尔(JaronLanier)在20世纪80年代初提出的。其具体内涵是：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境(即VirtualEnvironment，简称VE)。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。在VR场景中需要获得更真实的交互式体验，需要拥有和现实世界相同的交互方式，所以，现实世界中最常见的对话交互的方式在VR场景中将会得到大量运用。在进行VR游戏时，如果仅能清晰的听到对方在讲话，但是显示中的虚拟角色的口型和当前所听见的语音对不上号，在很大程度上破坏了用户的沉浸感。在现有的VR社交游戏中，唇形模拟只是在角色说话时对预先设置的几个唇形进行简单地变化，不能对人的唇形进行更逼真的模拟。即使用户说话的音量有变化，在唇形显示上也看不到差别。在所述
技术介绍
部分公开的上述信息仅用于加强对本专利技术的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
有鉴于此，本专利技术提供一种获得唇形动画的方法及装置，能够逼真模拟VR中虚拟人物说话时的唇形。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的一方面，提供一种获得唇形动画的方法，包括：获取音频数据；提取音频数据的频域特征值；根据频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型；以及根据至少一个唇形动画模型，生成唇形动画。根据本专利技术的一实施方式，在提取音频数据的频域特征值之前还包括：对音频数据进行静音切除处理。根据本专利技术的一实施方式，音频数据为时域信号，提取音频数据的频域特征值包括：使用窗函数将音频数据分为多帧音频数据；通过傅里叶变换，分别将每帧音频数据转化为频域音频数据；以及通过MFCC算法，分别提取每帧频域音频数据的频域特征值。根据本专利技术的一实施方式，通过MFCC算法，分别提取每帧频域音频数据的频域特征值包括：通过Mel滤波器组，分别对每帧频域音频数据进行滤波，得到第一中间结果：对第一中间结果进行对数运算，得到第二中间结果；以及对第二中间结果进行离散余弦变换，得到每帧频域音频数据的频域特征值。根据本专利技术的一实施方式，根据所述频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型包括：通过调整余弦相似度，分别计算所述频域特征值与预存的唇形动画模型的特征向量的匹配度；以及选取所述匹配度大于所述匹配度阈值的所述至少一个唇形动画模型。根据本专利技术的一实施方式，根据至少一个唇形动画模型，生成唇形动画包括：对至少一个唇形动画模型进行加权叠加，以生成唇形动画；其中每个唇形动画模型的加权值为唇形动画与频域特征值的匹配度。根据本专利技术的一实施方式，唇形动画模型包括：唇部特征点对应的位置信息。根据本专利技术的另一个方面，提供一种获得唇形动画的装置，包括：数据获取模块，用于获取音频数据；特征值提取模块，用于提取音频数据的频域特征值；唇形提取模块，用于根据频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型；以及唇形生成模块，用于根据至少一个唇形动画模型，生成唇形动画。根据本专利技术的一实施方式，上述装置还包括：静音处理模块，用于在提取音频数据的频域特征值之前，对音频数据进行静音切除处理。根据本专利技术的一实施方式，音频数据为时域信号，特征值提取模块包括：分帧子模块，用于通过窗函数将音频数据分为多帧音频数据；傅里叶变换子模块，用于通过傅里叶变换，分别将每帧音频数据转化为频域音频数据；以及MFCC算法子模块，用于分别提取每帧频域音频数据的频域特征值。根据本专利技术的一实施方式，MFCC算法模块包括：滤波单元，用于通过Mel滤波器组，分别对每帧频域音频数据进行滤波，得到第一中间结果：对数运算单元，用于对第一中间结果进行对数运算，得到第二中间结果；离散余弦变换单元，用于对第二中间结果进行离散余弦变换，得到每帧频域音频数据的频域特征值。根据本专利技术的一实施方式，所述唇形提取模块包括：匹配度计算子模块，用于通过调整余弦相似度，分别计算所述频域特征值与预存的唇形动画模型的特征向量的匹配度；以及唇形动画模型选取子模块，用于选取所述匹配度大于所述匹配度阈值的所述至少一个唇形动画模型。根据本专利技术的一实施方式，唇形生成模块包括：匹配度计算子模块，用于通过调整余弦相似度方法计算每个唇形动画模型与所述频域特征值的匹配度；加权叠加子模块，用于对至少一个唇形动画模型进行加权叠加，以生成唇形动画；其中每个唇形动画模型的加权值为唇形动画与频域特征值的匹配度。根据本专利技术的一实施方式，唇形动画模型包括：唇部特征点对应的位置信息。根据本专利技术的获得唇形动画的方法，通过使用从音频信号中所提取的频域特征值与存储的唇形动画模型进行比较，选出满足匹配度要求的唇形动画模型，再通过将选出的唇形动画模型进行加权叠加可以提升匹配的准确性，提升所显示唇形动画的逼真度。此外，由于上述比较是在频域进行，大大提升了计算速度及对特征值比较的准确性。并且在频域对声波进行处理可以提升采样幅度，即使在语速较快时，也可以快速做出反应。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明通过参照附图详细描述其示例实施例，本专利技术的上述和其它目标、特征及优点将变得更加显而易见。图1是根据一示例性实施方式示出的一种获得唇形动画的方法的流程图。图2是根据一示例性实施方式示出的另一种获得唇形动画的方法的流程图。图3是根据一示例性实施方式示出的另一种获得唇形动画的方法的流程图。图4是根据一示例性实施方式示出的再一种获得唇形动画的方法的流程图。图5是根据一示例性实施方式示出的一种获得唇形动画的装置的框图。图6是根据一示例性实施方式示出的另一种获得唇形动画的装置的框图。图7是根据一示例性实施方式示出的再一种获得唇形动画的装置的框图。图8是根据一示例性实施方式示出的另一种获得唇形动画的装置的框图。图9是根据一示例性实施方式示出的再一种获得唇形动画的装置的框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本专利技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本本文档来自技高网...

【技术保护点】
一种获得唇形动画的方法，其特征在于，包括：获取音频数据；提取所述音频数据的频域特征值；根据所述频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型；以及根据所述至少一个唇形动画模型，生成唇形动画。

【技术特征摘要】
1.一种获得唇形动画的方法，其特征在于，包括：获取音频数据；提取所述音频数据的频域特征值；根据所述频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型；以及根据所述至少一个唇形动画模型，生成唇形动画。2.如权利要求1所述的方法，其特征在于，在提取所述音频数据的频域特征值之前还包括：对所述音频数据进行静音切除处理。3.如权利要求1或2所述的方法，其特征在于，所述音频数据为时域信号，提取所述音频数据的频域特征值包括：使用窗函数将所述音频数据分为多帧音频数据；通过傅里叶变换，分别将每帧音频数据转化为频域音频数据；以及通过MFCC算法，分别提取每帧所述频域音频数据的频域特征值。4.如权利要求3所述的方法，其特征在于，通过MFCC算法，分别提取每帧所述频域音频数据的频域特征值包括：通过Mel滤波器组，分别对每帧所述频域音频数据进行滤波，得到第一中间结果：对所述第一中间结果进行对数运算，得到第二中间结果；以及对所述第二中间结果进行离散余弦变换，得到每帧所述频域音频数据的频域特征值。5.如权利要求3所述的方法，其特征在于，根据所述频域特征值与预设的匹配度阈值，选取至少一个唇形动画模型包括：通过调整余弦相似度，分别计算所述频域特征值与预存的唇形动画模型的特征向量的匹配度；以及选取所述匹配度大于所述匹配度阈值的所述至少一个唇形动画模型。6.如权利要求5所述的方法，其特征在于，根据所述至少一个唇形动画模型，生成唇形动画包括：对所述至少一个唇形动画模型进行加权叠加，以生成所述唇形动画；其中每个唇形动画模型的加权值为所述唇形动画与所述频域特征值的匹配度。7.如权利要求1或2所述的方法，其特征在于，所述唇形动画模型包括：唇部特征点对应的位置信息。8.一种获得唇形动画的装置，其特征在于，包括：数据获取模块，用于获取音频数据；...

【专利技术属性】
技术研发人员：吴志武，韩志轩，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33