交互方法、交互装置、电子设备以及存储介质制造方法及图纸

本申请公开了交互方法、交互装置、电子设备以及存储介质，其中，该交互方法包括：获取到用户的问询文本以及面部表情，并确定用户当前的情感类型标签；基于问询文本与情感类型标签确定问询文本的回复文本，并基于问询文本以及回复文本形成对话文本；利用对话文本以及情感类型标签得到与情感类型标签匹配的情感回应数据；将情感回应数据加载到虚拟形象中，以对用户做出带有情感的交互响应。通过上述方案，本申请交互方法对应的虚拟形象能够进行类人的情感表达，从而能够使用户对应获得更自然，更具趣味性的交互体验。更具趣味性的交互体验。更具趣味性的交互体验。

【技术实现步骤摘要】
交互方法、交互装置、电子设备以及存储介质


[0001]本申请涉及互联网的
，特别是涉及交互方法、交互装置、电子设备以及存储介质。

技术介绍

[0002]目前的虚拟形象技术大致可分为两大类：基于拍摄真人视频数据的二维虚拟形象，基于建模软件设计的三维虚拟形象。二维虚拟形象的生成方法是基于真人视频数据，使用深度神经网络来进行人脸视频生成任务。而三维虚拟形象的生成方法是事先基于建模软件创建出一个可驱动的三维虚拟形象模型，再使用深度神经网络方法对该模型进行面部表情和肢体动作的控制。
[0003]然而，不管是二维或三维虚拟形象，目前的虚拟形象交互系统仅仅只能进行简单的面部表情和肢体动作驱动，且大多只关注如何实现虚拟形象构建和驱动等基本功能，并没有考虑情感等高表现力的因素，以致虚拟形象并不具有类人的情感表达，不能做到非常自然的交互体验。

技术实现思路

[0004]本申请提供了交互方法、交互装置、电子设备以及存储介质，以解决现有技术中的虚拟形象并不具有类人的情感表达，不能做到非常自然的交互体验的问题。
[0005]为了解决上述问题，本申请提供了一种交互方法，其中，该交互方法包括：获取到用户的问询文本以及面部表情，并确定用户当前的情感类型标签；基于问询文本与情感类型标签确定问询文本的回复文本，并基于问询文本以及回复文本形成对话文本；利用对话文本以及情感类型标签得到与情感类型标签匹配的情感回应数据；将情感回应数据加载到虚拟形象中，以对用户做出带有情感的交互响应。
[0006]其中，利用对话文本以及情感类型标签得到与情感类型标签匹配的情感回应数据的步骤，还包括：利用对话文本以及情感类型标签合成与所情感类型标签对应的带有情感的语音；将情感回应数据加载到虚拟形象中，以对用户做出带有情感的交互响应的步骤，还包括：将带有情感的语音加载到虚拟形象中，通虚拟形象对带有情感的语音进行播放。
[0007]其中，利用对话文本以及情感类型标签合成与所情感类型标签对应的带有情感的语音的步骤，还包括：利用对话文本以及情感类型标签合成与所情感类型标签对应的带有情感的语音以及面部表情动画；将带有情感的语音加载到虚拟形象中，通虚拟形象对带有情感的语音进行播放的步骤，还包括：将带有情感的语音以及面部表情动画加载到虚拟形象中，通过虚拟形象对带有情感的语音进行播放以及对面部表情动画进行展示。
[0008]其中，利用对话文本以及情感类型标签合成与所情感类型标签对应的带有情感的语音以及面部表情动画的步骤，还包括：将对话文本以及情感类型标签输入到文本合成语音以及面部动画模型中，利用文本合成语音以及面部动画模型基于情感类型标签生成情感状态编码；利用情感状态编码确定带有情感的语音以及面部表情动画。
[0009]其中，交互方法还包括：将情感类型标签、第一对话文本样本及其对应的情感回应样本输入到第一预设网络模型；第一预设网络模型基于第一对话文本样本以及情感类型标签合成与情感类型标签对应的语音预测数据以及面部表情动画预测数据，并通过语音预测数据以及面部表情动画预测数据与情感回应样本进行比对，得到相应的第一匹配程度结果；根据第一匹配程度结果和情感回应样本对第一预设网络模型进行训练，并将训练完成后的模型确定为文本合成语音以及面部动画模型。
[0010]其中，利用对话文本以及情感类型标签合成与所情感类型标签对应的带有情感的语音的步骤，还包括：利用对话文本以及带有情感的语音合成与所情感类型标签对应的肢体动作；将情感回应数据加载到虚拟形象中，以对用户做出带有情感的交互响应的步骤，还包括：将肢体动作加载到虚拟形象中，通虚拟形象对肢体动作进行展示。
[0011]其中，利用对话文本以及带有情感的语音合成与所情感类型标签对应的肢体动作的步骤，还包括：获取到对话文本中的命名实体；利用命名实体确定对应的初始肢体动作；获取带有情感的语音的重音或/和节奏信息；利用初始肢体动作以及重音或/和节奏信息合成与所情感类型标签对应的肢体动作。
[0012]其中，利用对话文本以及带有情感的语音合成与所情感类型标签对应的肢体动作的步骤，还包括：将对话文本以及带有情感的语音输入到动作合成模型中，利用动作合成模型合成与所情感类型标签对应的肢体动作。
[0013]其中，交互方法还包括：将情感类型标签、第二对话文本样本和带有情感的语音样本及对应的肢体动作样本输入到第二预设网络模型；第二预设网络模型基于第二对话文本样本以及带有情感的语音样本合成与情感类型标签对应的肢体动作预测数据，并通过肢体动作预测数据与肢体动作样本进行比对，得到相应的第二匹配程度结果；根据第二匹配程度结果和肢体动作样本对第二预设网络模型进行训练，并将训练完成后的模型确定为动作合成模型。
[0014]本申请还提供了一种交互装置，其中，该交互装置包括：获取模块，用于获取到用户的问询文本以及面部表情，并确定用户当前的情感类型标签；处理模块，用于基于问询文本与情感类型标签确定问询文本的回复文本，并基于问询文本以及回复文本形成对话文本，以利用对话文本以及情感类型标签得到与情感类型匹配的情感回应数据；展示模块，用于将情感回应数据加载到虚拟形象中，以对用户做出带有情感的交互响应。
[0015]本申请还提供了一种电子设备，其中，该电子设备包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述任一项的交互方法。
[0016]本申请还提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述任一项的交互方法。
[0017]本专利技术的有益效果是：区别于现有技术的情况，本申请中的交互方法通过用户的问询文本以及面部表情确定用户当前的情感类型标签，以能够基于问询文本与情感类型标签确定问询文本的回复文本，并基于问询文本以及回复文本形成对话文本，从而能够利用对话文本以及情感类型标签得到与情感类型标签匹配的情感回应数据，并将情感回应数据加载到虚拟形象中，以通过加载有情感回应数据的虚拟形象对用户做出带有情感的交互响应，也便使得对用户进行交互响应的虚拟形象能够有效地进行类人的情感表达，进而使用户能够获得更自然，且更具趣味性的交互体验。
附图说明
[0018]图1是本申请交互方法第一实施例的流程示意图；
[0019]图2是本申请交互方法第二实施例的流程示意图；
[0020]图3是本申请交互方法第三实施例的流程示意图；
[0021]图4是图3中S33一实施例的流程示意图；
[0022]图5是图4中涉及的文本合成语音以及面部动画模型一实施例的框架示意图；
[0023]图6是图4中涉及的文本合成语音以及面部动画模型的训练方法一实施例的流程示意图；
[0024]图7是本申请交互方法第四实施例的流程示意图；
[0025]图8是图7中S53一实施例的流程示意图；
[0026]图9是图8中涉及的动作合成模型一实施例的框架示意图；
[0027]图10是图8中涉及的动作合成模型的训练方法一实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互方法，其特征在于，所述交互方法包括：获取到用户的问询文本以及面部表情，并确定用户当前的情感类型标签；基于所述问询文本与所述情感类型标签确定所述问询文本的回复文本，并基于所述问询文本以及所述回复文本形成对话文本；利用所述对话文本以及所述情感类型标签得到与所述情感类型标签匹配的情感回应数据；将所述情感回应数据加载到虚拟形象中，以对所述用户做出带有情感的交互响应。2.根据权利要求1所述的交互方法，其特征在于，所述利用所述对话文本以及所述情感类型标签得到与所述情感类型标签匹配的情感回应数据的步骤，还包括：利用所述对话文本以及所述情感类型标签合成与所述情感类型标签对应的带有情感的语音；所述将所述情感回应数据加载到虚拟形象中，以对所述用户做出带有情感的交互响应的步骤，还包括：将所述带有情感的语音加载到所述虚拟形象中，通所述虚拟形象对所述带有情感的语音进行播放。3.根据权利要求2所述的交互方法，其特征在于，所述利用所述对话文本以及所述情感类型标签合成与所情感类型标签对应的带有情感的语音的步骤，还包括：利用所述对话文本以及所述情感类型标签合成与所情感类型标签对应的所述带有情感的语音以及面部表情动画；所述将所述带有情感的语音加载到所述虚拟形象中，通所述虚拟形象对所述带有情感的语音进行播放的步骤，还包括：将所述带有情感的语音以及面部表情动画加载到所述虚拟形象中，通过所述虚拟形象对所述带有情感的语音进行播放以及对所述面部表情动画进行展示。4.根据权利要求3所述的交互方法，其特征在于，所述利用所述对话文本以及所述情感类型标签合成与所情感类型标签对应的所述带有情感的语音以及面部表情动画的步骤，还包括：将所述对话文本以及所述情感类型标签输入到文本合成语音以及面部动画模型中，利用所述文本合成语音以及面部动画模型基于所述情感类型标签生成情感状态编码；利用所述情感状态编码确定所述带有情感的语音以及所述面部表情动画。5.根据权利要求4所述的交互方法，其特征在于，所述交互方法还包括：将所述情感类型标签、第一对话文本样本及其对应的情感回应样本输入到第一预设网络模型；所述第一预设网络模型基于所述第一对话文本样本以及所述情感类型标签合成与所述情感类型标签对应的语音预测数据以及面部表情动画预测数据，并通过所述语音预测数据以及面部表情动画预测数据与所述情感回应样本进行比对，得到相应的第一匹配程度结果；根据所述第一匹配程度结果和所述情感回应样本对所述第一预设网络模型进行训练，并将训练完成后的模型确定为所述文本合成语音以及面部动画模型。6.根据权利要求2
‑
5中任一项所述的交互方法，其特...

【专利技术属性】
技术研发人员：胡诗卉，何山，胡金水，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：