一种生成说话人三维运动模型的方法、系统及计算机技术方案

本发明专利技术适用于三维可视化技术领域，提供了一种生成说话人三维运动模型的方法包括：获取摄像头采集的彩色图像的信息以及深度数据信息；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；获取被测试人发音的运动轨迹的位移；根据被测试人发音的运动轨迹的位移和生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本发明专利技术增加了三维建模的效率。另外，本发明专利技术在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，从而使得本发明专利技术具有个性化人头与个性化声音结合效果。

【技术实现步骤摘要】
【专利摘要】本专利技术适用于三维可视化
，提供了一种生成说话人三维运动模型的方法包括：获取摄像头采集的彩色图像的信息以及深度数据信息；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；获取被测试人发音的运动轨迹的位移；根据被测试人发音的运动轨迹的位移和生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本专利技术增加了三维建模的效率。另外，本专利技术在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，从而使得本专利技术具有个性化人头与个性化声音结合效果。【专利说明】一种生成说话人三维运动模型的方法、系统及计算机
本专利技术属于三维可视化
，尤其涉及一种生成说话人三维运动模型的方法、系统及计算机。
技术介绍
现有的自动生成任意人的三维运动模型的方案为:预先建立三维人脸库和三维发型库，对输入的正面人脸照片进行特征点提取和头发分割，分别生成三维人脸模型与三维头发模型，然后将人脸模型与头发模型合成。由于只采取了正面的照片作为输入，照片是二维的，因此，在恢复三维模型时必然失去了很多重要的信息，如侧脸的深度信息，在这种情况下恢复出的三维人模型也必然存在与实际人物的误差。而且，头发的模型也采用从头发数据库里去匹配寻找，而并非直接去恢复，这无疑增加了许多人工合成的因素。由上可知，现有技术实现任意人的三维运动模型是非全自动，需要人工干预。
技术实现思路
本专利技术的目的在于提供一种生成说话人三维运动模型的方法、系统及计算机，旨在解决现有技术中存在的实现任意人的三维运动模型是非全自动，需要人工干预，且恢复出的三维人模型也必然存在与实际人物的误差的问题。本专利技术是这样实现的，一种生成说话人三维运动模型的方法，所述方法包括以下步骤:获取摄像头采集的彩色图像的信息以及深度数据信息；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；获取被测试人发音的运动轨迹的位移；根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本专利技术的另一目的在于提供一种生成说话人三维运动模型的系统，所述系统包括:数据自动采集模块，用于获取摄像头采集的彩色图像的信息以及深度数据信息；自动实时建模模块，用于将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；发音驱动模块，用于获取被测试人发音的运动轨迹的位移；根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本专利技术的另一目的在于提供一种包括上面所述的生成说话人三维运动模型的系统的计算机。在本专利技术中，本专利技术实施例是一种融合了三维人头建模技术、三维人头运动模拟技术、人脸检测技术等众多先进技术的一体化系统。本专利技术实施例的硬件外设部分为一台计算机和一个带有深度数据获取功能的彩色摄像头，如Kinect ;软件部分主要由四个模块构成:初始化模块、数据自动采集模块、自动实时建模模块和发音驱动模块。系统启动首先交由初始化模块，打开带有深度数据获取功能的彩色摄像头，初始化各种参数，然后被测试人坐于摄像头之前，调整身体和头部姿势，系统的数据自动采集模块会自动进行检测并提示，当系统提示已检测到目标，就会再次提示，让被测试人缓慢移动头部，从左到右或从右到左转动，系统会自动记录采集人的彩色数据、深度数据、及头部姿态。采集到足够的人物的数据之后，数据自动采集模块会将采集的数据交由自动建模模块。自动实时建模模块会根据采集的数据进行规范化，使用标准模型对其配准，然后完成贴图，生成测试的人三维人模型。最后自动建模模块将变形后的三维人头模型交由发音驱动模块，生成发音的运动模拟。整个过程，大部分都是系统内部的工作，只是在进行数据采集时需要测试的人进行简单的人机交互。整个流程简单、自动、高效。本专利技术实施例能够自动实时建立任意人的三维说话人运动模型，模型建立完成后即可根据发音驱动文件进行发音运动的表达。由于系统为全自动实时生成结果，从而大大增加了三维建模的效率。另外，本专利技术实施例外设简单，属低成本设备，且操作简单，只需要简单的人机交互即可生成三维说话人运动模型。再者，本专利技术实施例生成三维说话人运动模型质量较高，特别是正面与真人差别不大。由于保留了被测人的头发，使得正面效果更加逼真。又，本专利技术实施例在建立任意人的三维说话人运动模型的基础上，也考虑到了生成对任意人声音的变换，虽然不能实时生成个性化语音，但是将此项功能加入到三维说话人运动模型的发音模拟，无疑增加了整个虚拟三维人的真实性。再者，本专利技术在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，对于任意一个人，使得生成此人的三维说话模型不仅具有此人的模样而且具有与此人一样的声音，从而使得本专利技术具有个性化人头与个性化声音结合效果。【专利附图】【附图说明】图1是本专利技术实施例提供的生成说话人三维运动模型的方法的实现流程示意图。图2是本专利技术实施例提供的定义的坐标系的示意图。图3是本专利技术实施例提供的生成说话人三维运动模型的系统的结构示意图。【具体实施方式】为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在本专利技术实施例中，本专利技术实施例提出了一种低成本、全自动、实时生成任意人的三维运动模型的方案，且说话人三维运动模型具有很逼真的表情和发音动作，还能模拟出与当前人的类似的发声。其实现方案为:通过采用带有深度数据获取功能的彩色摄像头(如Kinect)，以彩色数据与深度数据为基础，引入自动人脸检测技术，通过人脸特征的定位，完成人物头部数据的自动获取，然后通过三维人脸建模技术，由一个标准人脸模型变形到真人，并由预先定义的EMA动作参数与数据驱动接口，完成发音的运动模拟。请参阅图1，为本专利技术实施例提供的生成说话人三维运动模型的方法的实现流程，其包括以下步骤:在步骤SlOl中，获取摄像头采集的彩色图像的信息以及深度数据信息；在本专利技术实施例中，在步骤SlOl之前，还包括:初始化深度摄像头和彩色摄像头、初始化二维标准t旲型和初始化EMA发首驱动参数。然而，可以理解的是，深度摄像头和彩色摄像头可容为一体。初始化深度摄像头和彩色摄像头主要是进行摄像头的检测与选择，保证至少有一个深度摄像头和一个彩色摄像头可用于数据的采集。初始化标准三维人头模型主要是进行三维人头模型的载入，以及三维人头模型特征点的预设。初始化发音数据驱动参数主要是生成已经载入的三维人头模型的每个点的发音运动参数。方法采用狄利克雷自由变形算法(Dirichlet free-form deformation),简称DFFD ο具体方法如下:首先，对预设的三维人头模型的特征点进行三维下的DeIaunay划分，生成Delaunay四面体集合。其次,生成Delaunay四面体集合所对应的Voronoi图。最后，计算Voronoi图下,本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：朱云，王岚，陈辉，
申请(专利权)人：中国科学院深圳先进技术研究院，中国科学院软件研究所，
类型：发明
国别省市：