一种语音动画生成方法及系统技术方案

本发明专利技术实施例提供一种语音动画生成方法及系统。一种语音动画生成方法的实施例，包括：在面部图像上生成面部图像特征点；根据面部图像特征点独立构造变形前面部图像的横向样条和纵向样条；从音频数据中获取语音动画参数；根据语音动画参数获取变形后面部图像的横向样条和纵向样条；根据变形前的横向样条和变形后的横向样条通过扫描线计算变形前的横向样条间像素点移动的第一位移以及根据变形前的纵向样条和变形后的纵向样条通过扫描线计算变形前的纵向样条间像素点的第二位移，根据所述第一位移和所述第二位移生成变形后的面部图像。本发明专利技术实施例降低语音动画技术中图像变形算法的运算复杂性，使得语音动画技术中语音控制动画生成的实时性增强。

【技术实现步骤摘要】

本专利技术涉及图像处理
，特别涉及一种语音动画生成方法及系统。
技术介绍
自然语言和肢体语言是人类相互交流的主要方式。在肢体语言中，人脸是人类相 互交流的重要渠道，因此语音和人脸是人类相互交流的两种最重要的渠道。语音动画技术 就是将人脸动画技术与语音处理技术相结合，用计算机生成语音与口型同步播出的动画技 术，也称为“说话的头像”或“对口型”。语音动画技术包括基于单幅图像的语音动画技术。基于单幅图像的语音动画技术 的工作流程为输入一张人脸图像，在所述人脸图像上自动或手工标记特征点，保存成面部 特征点的位置数据文件；输入语音文件，对所述语音文件进行语音识别，生成音素_时间戳 文件并保存；根据所述语音文件的音素_时间戳文件对所述人脸图像采用图像变形技术实 现人脸图像的变形，达到变形图像与语音文件的同步，使得一边播放语音，一边驱动图像上 的人脸进行动画。基于单幅图像的语音动画技术还可应用于动物脸图像或卡通形象的脸图 像。在基于单幅图像的语音动画技术中，图像变形技术是其核心技术。现有的图像变 形技术一般采用基于网格扭曲的图像变形算法。基于网格扭曲的图像变形算法通过对面部图像进行网格划分，形成一张网状的面 罩，再对面部图像进行图像变形，产生人脸动画。基于网格扭曲的图像变形算法主要用于两 张面部图像之间的形状变形，两张面部图像分别为源图像Is和目标图像Ιτ。其中，源图像 Is与网格Ms相对应，目标图像It与网格Mt相对应；如图1所述，网格Ms指定了控制点的坐 标，网格Mt指定了网格Ms中控制点在目标图像It中的对应位置。网格Ms和网格Mt —起用 于定义空间转变，所述空间转变将源图像Is中所有控制点映射到目标图像It上去，实现源 图像Is到目标图像It的图像变形。基于网格扭曲的图像变形算法中，人脸图像的动画效果是通过一帧一帧的中间帧 图像连贯在一起表现出来的。所述中间帧图像If可以通过执行以下步骤得到(1)在网格Mt和网格Ms之间线性插值网格M ；(2)利用网格Ms和网格M将源图像Is变形到I1 ；(3)利用网格Mt和网格M将目标图像It变形到I2 ；(4)在I1和I2之间线性插值图像Ipo如果13和If是同一幅图像，网格Mt和网格Ms不同，就可以实现源图像Is的动画。 其中，基于网格扭曲的图像变形算法中的线性插值方法为三次样条插值法，所述三次样条 插值法计算量大，增加了图像变形算法的运算复杂性，使得图像变形时间增加，使得语音动 画技术中语音与变形图像之间同步性降低。从上面可以看出，现有语音动画技术中的基于网格扭曲的图像变形算法的运算复 杂性高，计算量大，增加了图像变形的时间，使得语音动画技术中语音控制动画生成的实时性降低。
技术实现思路
本专利技术实施例的目的是提供一种语音动画生成方法及系统，以降低语音技术中图 像变形算法的运算复杂性，使得语音动画技术中语音控制动画生成的实时性增强。为解决上述技术问题，本专利技术实施例提供的一种语音动画生成方法及系统是这样 实现的一种语音动画生成方法，包括在面部图像上生成面部图像特征点；根据所述面部图像特征点独立构造变形前面部图像的横向样条和纵向样条；从音频数据中获取语音动画参数；根据所述语音动画参数获取变形后面部图像的横向样条和纵向样条；根据所述变形前的横向样条和所述变形后的横向样条通过扫描线计算所述变形 前的横向样条间像素点移动的第一位移以及根据所述变形前的纵向样条和所述变形后的 纵向样条通过扫描线计算所述变形前的纵向样条间像素点移动的第二位移，根据所述第一 位移和所述第二位移生成变形后的面部图像。一种语音动画生成系统，包括预处理单元，用于在面部图像上生成面部图像特征点；样条构造单元，用于根据所述面部图像特征点独立构造变形前面部图像的横向样 条和纵向样条；语音动画参数获取单元，用于从音频数据中获取语音动画参数；样条处理单元，用于根据所述语音动画参数获取变形后面部图像的横向样条和纵 向样条；图像处理单元，用于根据所述变形前的横向样条和所述变形后的横向样条通过扫 描线计算所述变形前的横向样条间像素点移动的第一位移以及根据所述变形前的纵向样 条和所述变形后的纵向样条通过扫描线计算所述变形前的纵向样条间像素点移动的第二 位移，根据所述第一位移和所述第二位移生成变形后的面部图像。由以上本专利技术实施例提供的技术方案可见，本专利技术实施例采用基于扫描线的图像 变形算法，将传统的样条插值方法简化为分段线性插值方法，使得语音动画技术中的图像 变形算法的运算复杂性降低，计算量减小，图像变形时间减小，使得本专利技术实施例在普通台 式机上就可满足语音动画技术中语音控制动画生成实时性的要求，使得语音动画技术中语 音控制动画生成的实时性增强。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅表明本专利技术的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他实施例的附图。图1是现有技术提供的基于网格扭曲的图像变形算法的网格扭曲示意图2是本专利技术实施例提供的语音动画生成方法流程图；图3是本专利技术实施例提供的人脸图像特征点位置分布示意图；图4为本专利技术实施例提供的横向样条计算示意图；图5是本专利技术实施例提供的嘴部纵向样条示意图；图6是本专利技术实施例提供的眼眉部纵向样条示意图；图7是本专利技术实施例提供的脸部纵向样条示意图；图8是本专利技术实施例提供的脸部横向样条示意图；图9是本专利技术实施例提供的人脸动画参数示意图；图10是本专利技术实施例提供的面部图像特征点位移计算流程图；图11是本专利技术实施例提供的眨眼随机控制流程图；图12是本专利技术实施例提供的横向样条变形示意图；图13是本专利技术实施例提供的纵向样条变形示意图；图14是本专利技术实施例提供的头部上下摇动随机控制流程图；图15是本专利技术实施例提供的口腔涂黑操作流程图；图16是本专利技术实施例提供的语音动画生成系统框图；图17是本专利技术实施例提供的样条构造单元框图；图18是本专利技术实施例提供的语音动画参数获取单元框图；图19是本专利技术实施例提供的样条处理单元框图；图20是本专利技术实施例提供的图像处理单元框图。具体实施例方式本专利技术实施例提供一种语音动画生成方法及系统。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的 附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是 本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。图2为本专利技术实施例提供的语音动画生成方法流程图，如图2所示，包括五个步 骤，分别为S201 在面部图像上生成面部图像特征点；输入面部图像后，将面部图像根据面部图像特征点提取算法进行相应处理，生成 面部图像特征点，具体为输入面部图像后，根据缺省特征点位置在所述面部图像上定位所 述嘴部、眼眉部和脸部特征点的位置，且将所述特征点的位置保存成输入图像的特征点位 置文件。所述面部图像特征点包括嘴部特征点、眼眉部特征点和脸部特征点。所述面部图像特征点的选取应该具有代表性，能代表一个人的面部特征且唯一标 识该个体。通本文档来自技高网...

【技术保护点】
一种语音动画生成方法，其特征在于，包括：在面部图像上生成面部图像特征点；根据所述面部图像特征点独立构造变形前面部图像的横向样条和纵向样条；从音频数据中获取语音动画参数；根据所述语音动画参数获取变形后面部图像的横向样条和纵向样条；根据所述变形前的横向样条和所述变形后的横向样条通过扫描线计算所述变形前的横向样条间像素点移动的第一位移，根据所述变形前的纵向样条和所述变形后的纵向样条通过扫描线计算所述变形前的纵向样条间像素点移动的第二位移，根据所述第一位移和所述第二位移生成变形后的面部图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：董兰芳，倪奎，王亚涛，覃景繁，
申请(专利权)人：华为技术有限公司，中国科学技术大学，
类型：发明
国别省市：94[中国|深圳]