一种口型生成方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种口型生成方法、装置、计算机设备及存储介质，口型生成方法包括以下步骤：获取语音信息；对语音信息进行识别，以得到文字信息，并确认该文字信息对应的状态信息；对文字信息进行识别，得到该文字信息对应的拼音字符串，并将拼音字符串划分为声母音素和韵母音素；从预存的口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作。本申请具有提高口型匹配的精准度的效果。

【技术实现步骤摘要】
一种口型生成方法、装置、计算机设备及存储介质
本申请涉及动画生成
，尤其是涉及一种口型生成方法、装置、计算机设备及存储介质。
技术介绍
随着动画等娱乐产业的发展，在各种动画视频中，通常会涉及到一些图像显示需要与音频互相配合的对话场景，在对话场景中，常常需要播放场景角色对话的声音，及呈现与对话音频相配合的场景角色口型。目前，一般通过声音或文字自动给场景角色配口型，最根本的是文字匹配口型。其中，声音会转换成文字，再从预存的口型库中找到对应文字的口型，然后由控制器去控制角色模型作出相应的口型动作。针对上述中的相关技术，专利技术人认为存在有以下缺陷：口型库内的口型是不变的，而人们处于不同的状态时，其说话时口型会有一定的变化，导致口型匹配的精准度不高。
技术实现思路
为了提高口型匹配的精准度，本申请提供了一种口型生成方法、装置、计算机设备及存储介质。第一方面，本申请提供一种口型生成方法，采用如下的技术方案：一种口型生成方法，包括以下步骤：获取语音信息；对语音信息进行识别，以得到文字信息，并确认该文字信息对应的状态信息；对文字信息进行识别，得到该文字信息对应的拼音字符串，并将拼音字符串划分为声母音素和韵母音素；从预存的口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作。通过采用上述技术方案，导入音频文件，对语音信息进行识别，得到相应的文字信息，并得到文字信息对应的拼音字符串，将拼音字符串划分为声母音素和韵母音素，根据声母口型、韵母口型合成相应的汉字口型。通过设置声母口型和韵母口型，更符合人们的日常发音，可提高口型匹配的精准度。同时，根据说话时的状态来调整口型的开口幅度，可进一步提高口型匹配的精准度。可选的，所述确认该文字信息对应的状态信息，包括：对文字信息进行分句，得到分句文字；获取分句文字中的实时语速和实时音频，对实时语速和实时音频进行分析，根据分析结果得到该分句文字对应的状态信息，所述状态信息包括平常状态和激动状态。通过采用上述技术方案，人们处于激动的时候，其说话的语速、音频与平常的不同，通过对实时语速和实时音频进行分析，进而可判断该分句文字所处的状态。可选的，所述获取分句文字中的实时语速和实时音频，对实时语速和实时音频进行分析，根据分析结果得到该分句文字对应的状态信息，所述状态信息包括平常状态和激动状态，包括：获取分句文字的总用时及分句文字的字数，根据总用时和字数得到该分句文字的实时语速，将该实时语速与预设语速进行对比；识别分句文字的实时音频，将实时音频与预定音频进行比对，并记录实时音频高于预定音频的超频时间；当实时语速大于预设语速，且超频时间大于总用时的二分之一，则判断为激动状态；否则，判断为平常状态。通过采用上述技术方案，人们处于激动的时候，其说话的语速比平常的快，说话的音频会比平常的高，通过对实时语速进行检测，及记录超频时间，当同时满足实时语速大于预设语速和超频时间大于总用时的二分之一时，则判断此时的状态处于激动状态。通过利用两个条件进行判断，可提高判断的精准度。可选的，所述对文字信息进行分句，得到分句文字，包括：识别停顿信号，根据停顿信号对文字信息进行分句。通过采用上述技术方案，人们在说话时会存在停顿，对停顿进行识别，然后对文字信息进行分句，可对文字信息进行分句匹配口型。可选的，所述对文字信息进行分句，得到分句文字，包括：记录分句文字中各汉字的起始帧和结束帧。通过采用上述技术方案，记录各汉字的起始帧和结束帧，根据起始帧和结束帧进行匹配口型，使口型和语音的同步性好。可选的，所述根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作，具体为：若处于平常状态，则汉字口型的开口幅度不变；若处于激动状态，则汉字口型的开口幅度为平常状态时开口幅度的120%；根据汉字口型、开口幅度、起始帧和结束帧，控制角色模型在相应的时间点作出相应汉字的口型动作。通过采用上述技术方案，确认状态信息，根据状态信息控制角色模型的汉字口型的开口幅度，可提高口型匹配的精准度。同时，根据起始帧、结束帧控制角色模型作出口型动作的开始与结束，可提高口型和语音的同步性。第二方面，本申请提供一种口型生成装置，采用如下的技术方案：一种口型生成装置，包括：语音模块：用于获取语音信息；文字模块：用于对语音信息进行识别，以得到文字信息，并确认该文字信息对应的状态信息；声母韵母模块：用于对文字信息进行识别，得到该文字信息对应的拼音字符串，并将拼音字符串划分为声母音素和韵母音素；口型生成模块：用于从预存的口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；处理模块：用于根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作。通过采用上述技术方案，导入音频文件，对语音信息进行识别，得到相应的文字信息，并得到文字信息对应的拼音字符串，将拼音字符串划分为声母音素和韵母音素，根据声母口型、韵母口型合成相应的汉字口型。通过设置声母口型和韵母口型，更符合人们的日常发音，可提高口型匹配的精准度。同时，根据说话时的状态来调整口型的开口幅度，可进一步提高口型匹配的精准度。第三方面，本申请提供一种计算机设备，采用如下的技术方案：一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述任一项方法的计算机程序。第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一项方法的计算机程序。综上所述，本申请包括以下至少一种有益技术效果：1.对语音信息进行识别，得到相应的文字信息，并根据文字划分声母音素和韵母音素，根据声母口型、韵母口型合成相应的汉字口型；通过设置声母口型和韵母口型，更符合人们的日常发音，可提高口型匹配的精准度。同时，根据说话时的状态来调整口型的开口幅度，可进一步提高口型匹配的精准度。2.根据起始帧、结束帧控制角色模型作出口型动作的开始与结束，可提高口型和语音的同步性。附图说明图1是本申请中一实施例的一种口型生成方法的流程图；图2是本申请中另一实施例的一种口型生成方法的流程图；图3是图2中S21和S22的流程图；图4是图2中S5的流程图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-4及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本申请实施例公开一种口型生成方法。参照图1，口型生成方法包括以下步骤：<本文档来自技高网...

【技术保护点】
1.一种口型生成方法，其特征在于，包括以下步骤：/n获取语音信息；/n对语音信息进行识别，以得到文字信息，并确认该文字信息对应的状态信息；/n对文字信息进行识别，得到该文字信息对应的拼音字符串，并将拼音字符串划分为声母音素和韵母音素；/n从预存的口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；/n根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作。/n

【技术特征摘要】
1.一种口型生成方法，其特征在于，包括以下步骤：
获取语音信息；
对语音信息进行识别，以得到文字信息，并确认该文字信息对应的状态信息；
对文字信息进行识别，得到该文字信息对应的拼音字符串，并将拼音字符串划分为声母音素和韵母音素；
从预存的口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；
根据状态信息调整汉字口型的开口幅度，并控制角色模型作出相应的口型动作。


2.根据权利要求1所述的一种口型生成方法，其特征在于：所述确认该文字信息对应的状态信息，包括：
对文字信息进行分句，得到分句文字；
获取分句文字中的实时语速和实时音频，对实时语速和实时音频进行分析，根据分析结果得到该分句文字对应的状态信息，所述状态信息包括平常状态和激动状态。


3.根据权利要求2所述的一种口型生成方法，其特征在于：所述获取分句文字中的实时语速和实时音频，对实时语速和实时音频进行分析，根据分析结果得到该分句文字对应的状态信息，所述状态信息包括平常状态和激动状态，包括：
获取分句文字的总用时及分句文字的字数，根据总用时和字数得到该分句文字的实时语速，将该实时语速与预设语速进行对比；
识别分句文字的实时音频，将实时音频与预定音频进行比对，并记录实时音频高于预定音频的超频时间；
当实时语速大于预设语速，且超频时间大于总用时的二分之一，则判断为激动状态；否则，判断为平常状态。


4.根据权利要求2所述的一种口型生成方法，其特征在于：所述对文字信息进行分句，得到分句文字，包...

【专利技术属性】
技术研发人员：刘莎，贺明泉，杨爱，高玥，
申请(专利权)人：深圳市山水原创动漫文化有限公司，
类型：发明
国别省市：广东;44