【技术实现步骤摘要】
一种语音驱动任意点面数的面部模型和面部模型动画迁移的方法及系统
[0001]本专利技术涉及动画数据处理领域，更具体地说，它涉及一种语音驱动任意点面数的面部模型和面部模型动画迁移的方法及系统。
技术介绍
[0002]3D人脸动画在多模态人机交互、电影制作、电脑游戏、视频会议、虚拟主持人等方面得到了越来越多的应用。传统的制作面部动画的方式一般包含动画师手动逐帧制作，或者使用面捕设备捕捉动画，这些方法要么耗时长，要么设备代价高昂，普通用户无法使用。基于文本驱动的人脸动画方法需要借助语音合成系统，原理上还是使用语音驱动头部模型运动，因此，目前采用语音来驱动人脸动画，是当前研究的热点之一。目前常用的语音驱动面部动画的技术可以实现输入一段语音来驱动一个人物模型的面部动画，大大的提高了面部动画的制作效率，降低了制作成本，但是目前的语音驱动面部动画的技术基本上只能驱动特定的点数面数的人脸模型，可以驱动的模型种类和数量都非常有限，语音驱动人脸模型的适用范围很小。
技术实现思路
[0003]本专利技术的目的是提供一种语音驱动任意...
【技术保护点】
【技术特征摘要】
1.一种语音驱动任意点面数的面部模型的方法，其特征是：包括如下步骤：预先生成样本人物语音与对应于头部三维扫描数据的三维点云数据的转化模型；输入任务语音到转化模型中得到任务三维点云数据；在目标三维面部模型上选择第一面部骨骼点，在任务三维点云数据选择与第一面部骨骼点的对应的运动数据；根据任务三维点云数据中的与第一面部骨骼点对应的运动数据，驱动目标三维面部模型上的第一面部骨骼点运动，并带动目标三维面部模型上所有顶点运动。2.根据权利要求1所述的一种语音驱动任意点面数的面部模型的方法，其特征是：生成样本人物语音与对应于头部三维扫描数据的三维点云数据的转化模型的步骤为：采集样本人物语音和对应的样本人物的头部三维扫描数据，并将样本人物的头部三维扫描数据转化为三维点云数据；根据样本人物语音，得到样本人物语音的音频特征数据；将音频特征数据作为输入，将对应的三维点云数据作为输出，构建深度学习网络模型并训练得到转化模型。3.根据权利要求2所述的一种语音驱动任意点面数的面部模型的方法，其特征是：得到样本人物语音的音频特征数据的步骤为：对采集的样本人物语音提取特征系数；将特征系数输入到语音识别网络得到样本人物语音的音频特征数据。4.根据权利要求3所述的一种语音驱动任意点面数的面部模型的方法，其特征是：构建深度学习网络模型并训练得到转化模型的具体步骤为：构建深度学习网络模型，其中由深度卷积网络层构成编码器，全连接层组成解码器网络；将每个样本人物的三维点云数据和音频特征数据对应，并分别保存为音频特征文件和三维点云数据文件，以样本人物为单位，将音频特征文件和三维点云数据文件分为训练集、验证集以及测试集；通过训练集、验证集中的音频特征文件和三维点云数据文件分别作为输入和输出对深度学习网络模型训练得到若干模型；选择使得验证集中使用loss方案算法计算出的loss值最小的模型作为转化模型。5.根据权利要求4所述的一种语音驱动任意点面数的面部模型的方法，其特征是：得到样本人物语音的音频特征数据后，再对音频特征数据进行加窗处理，得到加窗后的音频特征数据；并将加...
【专利技术属性】
技术研发人员：司马华鹏，张茂林，唐翠翠，
申请(专利权)人：宿迁硅基智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。