定格动画的生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及图像处理领域，公开了一种定格动画的生成方法、装置、设备及存储介质。该方法包括：检测到生成指令时，解析生成指令，得到语音信息；生成语音信息对应的时间轴、拼音韵母；根据拼音韵母在预设嘴型图数据库中确定对应的嘴型图；根据时间轴将嘴型图合成为视频；将语音信息与视频合成，得到定格动画。本发明专利技术实现了基于语音信息生成定格动画。相对于根据拍摄设备进行创作、手动调整、人工校对的定格动画生成方式，本实施例降低了定格动画的生成成本。本。本。

【技术实现步骤摘要】
定格动画的生成方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及一种定格动画的生成方法、装置、设备及存储介质。

技术介绍

[0002]现在的定格动画的创作方法，基本都是逐帧进行创作，每切换一帧画面，就需要手动调整拍摄内容。创作出来的定格动画，还需要人工校对，定格动画的画面才能和音频匹配上。这样的传统方法耗时耗力，生成定格动画的成本非常高。

技术实现思路

[0003]本专利技术的主要目的在于解决生成定格动画的成本高的技术问题。
[0004]本专利技术第一方面提供了一种定格动画的生成方法，所述定格动画的生成方法包括：
[0005]检测到生成指令时，解析所述生成指令，得到语音信息；
[0006]生成所述语音信息对应的时间轴、拼音韵母；
[0007]根据所述拼音韵母在预设嘴型图数据库中确定对应的嘴型图；
[0008]根据所述时间轴将所述嘴型图合成为视频；
[0009]将所述语音信息与所述视频合成，得到定格动画。
[0010]可选的，在本专利技术第一方面的第一种实现方式中，所述检测到生成指令时，解析所述生成指令，得到语音信息的步骤之前，所述方法还包括：
[0011]获取视频样本；
[0012]根据所述样本视频的音频信息生成时间轴样本以及拼音韵母样本；
[0013]根据所述时间轴样本将所述视频样本的视频帧与所述拼音韵母样本关联，得到所述预设嘴型图数据库。
[0014]可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述时间轴样本将所述视频样本的视频帧与所述拼音韵母样本关联，得到所述预设嘴型图数据库的步骤包括：
[0015]获取所述视频样本的所述视频帧；
[0016]对所述视频帧进行脸部提取，得到嘴型图样本；
[0017]根据所述时间轴样本将所述嘴型图样本与所述拼音韵母样本关联，得到关联结果；
[0018]根据预设静默嘴型图与所述嘴型图样本生成所述预设嘴型图数据库。
[0019]可选的，在本专利技术第一方面的第三种实现方式中，所述根据预设静默嘴型图与所述嘴型图样本生成所述预设嘴型图数据库的步骤包括：
[0020]获取所述静默嘴型图；
[0021]将所述静默嘴型图、所述嘴型图样本输入预选训练的Stylegan对抗神经网络模型，得到所述Stylegan对抗神经网络模型输出的风格化的目标静默嘴型图、目标嘴型图样
本；
[0022]将所述目标静默嘴型图与所述目标嘴型图样本作为所述预设嘴型图数据库。
[0023]可选的，在本专利技术第一方面的第四种实现方式中，所述将所述语音信息与所述视频合成，得到定格动画的步骤包括：
[0024]确定所述语音信息的语音时长是否与所述视频的视频时长匹配；
[0025]若所述语音时长预所述视频时长不匹配，对所述视频进行抽帧，得到目标视频；
[0026]将所述语音信息与所述目标视频合成，得到所述定格动画。
[0027]可选的，在本专利技术第一方面的第五种实现方式中，所述生成所述语音信息对应的时间轴、拼音韵母的步骤包括：
[0028]将所述语音信息输入预先训练的是wenet语音识别模型，得到所述wenet语音识别模型输出的携带时间戳的音素；
[0029]将所述时间戳作为所述时间轴，将所述音素作为所述拼音韵母。
[0030]可选的，在本专利技术第一方面的第六种实现方式中，所将所述语音信息与所述视频合成，得到定格动画的步骤之后，所述方法还包括：
[0031]输出所述定格动画。
[0032]本专利技术第二方面提供了一种定格动画的生成装置，包括：
[0033]解析模块，用于检测到生成指令时，解析所述生成指令，得到语音信息；
[0034]生成模块，用于生成所述语音信息对应的时间轴、拼音韵母；
[0035]确定模块，用于根据所述拼音韵母在预设嘴型图数据库中确定对应的嘴型图；
[0036]第一合成模块，用于根据所述时间轴将所述嘴型图合成为视频；
[0037]第二合成模块，用于将所述语音信息与所述视频合成，得到定格动画。
[0038]本专利技术第三方面提供了一种定格动画的生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述定格动画的生成设备执行上述的定格动画的生成方法。
[0039]本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的定格动画的生成方法。
[0040]在本专利技术实施例中，定格动画的生成设备检测到生成指令时，解析所述生成指令，得到语音信息；生成所述语音信息对应的时间轴、拼音韵母；根据所述拼音韵母在预设嘴型图数据库中确定对应的嘴型图；根据所述时间轴将所述嘴型图合成为视频；将所述语音信息与所述视频合成，得到定格动画。由于定格动画的生成设备可生成语音信息对应的时间轴以及拼音韵母，因此，当用户通过语音输入的方式触发生成指令后，定格动画的生成设备可根据生成指令携带的语音信息确定其对应的时间轴、拼音韵母。在此基础上，定格动画的生成设备可结合预设的数据库生成定格动画，实现了基于语音信息生成定格动画。相对于根据拍摄设备进行创作、手动调整、人工校对的定格动画生成方式，本实施例降低了定格动画的生成成本。
附图说明
[0041]图1为本专利技术实施例中定格动画的生成方法的一个实施例示意图；
[0042]图2为本专利技术实施例中定格动画的生成方法的另一个实施例示意图；
[0043]图3为本专利技术实施例中定格动画的生成装置的一个实施例示意图；
[0044]图4为本专利技术实施例中定格动画的生成设备的一个实施例示意图。
具体实施方式
[0045]本专利技术实施例提供了一种定格动画的生成方法、装置、设备及存储介质。
[0046]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0047]为便于理解，下面对本专利技术实施例的具体流程进行描述，请参阅图1，本专利技术实施例中定格动画的生成方法的一个实施例包括：
[0048]101、检测到生成指令时，解析所述生成指令，得到语音信息；
[0049]具体的，生成指令可由用户对定格动画的生成设备的操作触发，当定格动画的生成设备检测到生成指令，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定格动画的生成方法，其特征在于，所述定格动画的生成方法包括：检测到生成指令时，解析所述生成指令，得到语音信息；生成所述语音信息对应的时间轴、拼音韵母；根据所述拼音韵母在预设嘴型图数据库中确定对应的嘴型图；根据所述时间轴将所述嘴型图合成为视频；将所述语音信息与所述视频合成，得到定格动画。2.根据权利要求1所述的定格动画的生成方法，其特征在于，所述检测到生成指令时，解析所述生成指令，得到语音信息的步骤之前，所述方法还包括：获取视频样本；根据所述样本视频的音频信息生成时间轴样本以及拼音韵母样本；根据所述时间轴样本将所述视频样本的视频帧与所述拼音韵母样本关联，得到所述预设嘴型图数据库。3.根据权利要求2所述的定格动画的生成方法，其特征在于，所述根据所述时间轴样本将所述视频样本的视频帧与所述拼音韵母样本关联，得到所述预设嘴型图数据库的步骤包括：获取所述视频样本的所述视频帧；对所述视频帧进行脸部提取，得到嘴型图样本；根据所述时间轴样本将所述嘴型图样本与所述拼音韵母样本关联，得到关联结果；根据预设静默嘴型图与所述嘴型图样本生成所述预设嘴型图数据库。4.根据权利要求3所述的定格动画的生成方法，其特征在于，所述根据预设静默嘴型图与所述嘴型图样本生成所述预设嘴型图数据库的步骤包括：获取所述静默嘴型图；将所述静默嘴型图、所述嘴型图样本输入预选训练的Stylegan对抗神经网络模型，得到所述Stylegan对抗神经网络模型输出的风格化的目标静默嘴型图、目标嘴型图样本；将所述目标静默嘴型图与所述目标嘴型图样本作为所述预设嘴型图数据库。5.根据权利要求1
‑
4任一项所述的定格动画的生成方法，其特征在于，所述将所述语音信息与所述视频合成，得到定格动画的步骤包括：确定所述...

【专利技术属性】
技术研发人员：苏朋杨，蔡卓君，石敏煊，
申请(专利权)人：上海积图科技有限公司，
类型：发明
国别省市：