虚拟角色的形象输出方法、装置、设备以及存储介质制造方法及图纸

本申请实施例涉及人工智能领域，公开了一种虚拟角色的形象输出方法、装置、设备以及存储介质。其中，方法包括：当接收目标对象的互动请求时，根据互动请求输出预设的互动响应，并采集目标对象的音频数据及视频数据；根据音频数据的提取目标对象的第一语音数据；根据视频数据获取目标对象对应的第二语音数据；根据第一语音数据和第二语音数据确定目标对象的目标语音数据；根据目标语音获取目标文本信息；利用语义分析模型对目标文本信息进行语义分类处理，得到分类结果；根据分类结果获取目标回应方案，并生成回应语音信息及虚拟人物的面部图像控制信息；输出回应语音信息，并根据面部图像控制信息控制虚拟人物面部状态显示。部图像控制信息控制虚拟人物面部状态显示。部图像控制信息控制虚拟人物面部状态显示。

【技术实现步骤摘要】
虚拟角色的形象输出方法、装置、设备以及存储介质


[0001]本申请涉及语音识别
，尤其涉及一种虚拟角色的形象输出方法、装置、设备以及存储介质。

技术介绍

[0002]随着现今，随着互联网技术和多媒体技术的发展，人们对于电子产品的依赖性也越来越强，目前出现了很多例虚拟人物互动的应用，通过与虚拟人物进行互动能得到一些语音或动作方面的反馈，但是由于目前的虚拟技术大多是通过三维建模后进行后期处理得到的，在进行互动时虚拟人物的表情表现得不自然，用户进行互动时体验感不好，同时，目前的交互方式多为通过预设的人机交互界面来进行交互，减少了互动时体验的乐趣。

技术实现思路

[0003]本申请实施例的主要目的在于提供一种虚拟角色的形象输出方法、装置、设备以及存储介质，旨在实现虚拟人物形象的精准输出，以提升终端设备与用户的互动体验。
[0004]第一方面，本申请实施例提供一种虚拟角色的形象输出方法，应用于终端设备，包括：
[0005]当接收目标对象的互动请求时，根据所述互动请求输出预设的互动响应，并采集所述目标对象的音频数据及视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色的形象输出方法，应用于终端设备，其特征在于，包括：当接收目标对象的互动请求时，根据所述互动请求输出预设的互动响应，并采集所述目标对象的音频数据及视频数据；从所述音频数据中提取所述目标对象的第一语音数据，以及从所述视频数据中提取所述目标对象的多张口型变化图像，并根据所述口型变化图像得到所述目标对象的第二语音数据；根据所述第一语音数据和所述第二语音数据确定所述目标对象的目标语音数据，并将所述目标语音数据输入至预设的语音识别模型，得到目标文本信息；利用语义分析模型对所述目标文本信息进行语义分类处理，得到分类结果，并根据所述分类结果从回应方案数据库中获取目标回应方案，以及根据所述目标回应方案生成回应语音信息及虚拟人物的面部图像控制信息；输出所述回应语音信息，并根据所述面部图像控制信息控制所述虚拟人物面部状态显示。2.根据权利要求1所述的方法，其特征在于，所述互动请求为语音互动请求，所述根据所述互动请求输出预设的互动响应，并采集所述目标对象的音频数据及视频数据，包括：根据所述语音互动请求输出预设的互动响应，并确定发送所述语音互动请求的声源方向；将所述声源方向确认为所述终端设备件信息采集的目标方位，并判断所述目标方位是否存在目标对象；当所述目标方位存在所述目标对象时，采集所述目标对象的音频数据及视频数据。3.根据权利要求1所述的方法，其特征在于，所述从所述音频数据中提取所述目标对象的第一语音数据，包括：将音频数据输入到语音提取模型的特征提取网络进行特征提取，获取所述音频数据对应的特征向量，所述音频数据包括所述目标对象的第一语音数据和环境的噪声数据；将预设向量和所述特征向量输入到所述语音提取模型的语音提取网络，以从所述音频数据中提取出所述目标对象的第一语音数据，其中，所述语音提取模型通过用户语音训练获得，所述预设向量根据所述噪声数据获得，所述语音提取网络以所述预设向量为参考，调整所述第一语音数据和所述噪声数据在所述音频数据中所占的比例，以获取所述目标对象的第一语音数据。4.根据权利要求1所述的方法，其特征在于，所述从所述视频数据中提取所述目标对象的多张口型变化图像，并根据所述口型变化图像得到所述目标对象的第二语音数据，包括：提取所述视频数据的每一帧视频图像中目标对象的口型图像，并根据所述视频数据的时间轴赋予所述口型图像对应的时间戳；根据所述时间戳将所述口型图像输入至预设的唇语识别模型，以获取所述目标对象的第二语音数据。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一语音数...

【专利技术属性】
技术研发人员：刘钊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：