数字人的交互控制方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种数字人的交互控制方法、装置、电子设备和存储介质，该方法包括：获取用户的交互请求，根据交互请求生成答复音频，根据答复音频确定显示屏中数字人的表情动作参数，根据用户与显示屏的相对位置确定数字人的面部朝向参数，其中，面部朝向参数用于使数字人的面部朝向用户。基于表情动作参数和面部朝向参数驱动数字人，得到视频帧序列，将答复音频和视频帧序列合并，得到数字人的交互视频，并在显示屏中播放交互视频，以此模拟出用户与数字人面对面交流的交互效果，进一步提高了数字人的交互效率，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
数字人的交互控制方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，更具体地，涉及一种数字人的交互控制方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能的不断发展，数字人交互也开始应用在各个领域中，以实现智能化的人机交互。
[0003]现有技术中，数字人只能通过识别到的语音关键词与用户进行一些简单直接的对话交流，交互方式较为单一，不能根据用户位置的改变对显示的数字人进行改变，无法模拟真实环境下的人与人之间的交互状态，交互效率低，用户的交互体验较差。
[0004]因此，如何进一步提高数字人的交互效率，是目前有待解决的技术问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本申请实施例提出了一种数字人的交互控制方法、装置、电子设备和存储介质，使数字人的面部朝向用户进行交互，模拟出用户与数字人面对面交流的交互效果，用以进一步提高数字人的交互效率。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人的交互控制方法，其特征在于，所述方法包括：获取用户的交互请求，根据所述交互请求生成答复音频；根据所述答复音频确定显示屏中数字人的表情动作参数；根据所述用户与所述显示屏的相对位置确定所述数字人的面部朝向参数，所述面部朝向参数用于使所述数字人的面部朝向所述用户；基于所述表情动作参数和所述面部朝向参数驱动所述数字人，得到视频帧序列；将所述答复音频和所述视频帧序列合并，得到所述数字人的交互视频，并在所述显示屏中播放所述交互视频。2.如权利要求1所述的方法，其特征在于，所述根据所述答复音频确定显示屏中数字人的表情动作参数，包括：按预设采样频率对所述答复音频进行采样，得到多个音频帧；将各所述音频帧的音频特征分别输入预设表情推理模型，得到多组表情推理参数；将各所述音频帧的音频特征分别输入预设动作推理模型，得到多组动作推理参数；按各所述音频帧的时间戳将各组所述表情推理参数和各组所述动作推理参数进行融合，得到所述表情动作参数。3.如权利要求1所述的方法，其特征在于，所述根据所述用户与所述显示屏的相对位置确定所述数字人的面部朝向参数，包括：根据所述相对位置确定所述用户的视角参数；根据所述视角参数和预设对应关系从多个预设朝向参数中确定所述面部朝向参数；其中，所述视角参数表征了所述用户朝向所述显示屏中预设位置的视角，所述预设对应关系为不同预设视角参数区间和不同预设朝向参数之间的对应关系。4.如权利要求1所述的方法，其特征在于，在根据所述用户与所述显示屏的相对位置确定所述数字人的面部朝向参数之前，所述方法还包括：调用图像采集装置获取包括所述用户的场景图像，并基于所述场景图像获取所述用户在相机坐标系中的三维坐标；根据所述图像采集装置和所述显示屏之间的位置关系确定所述相机坐标系和空间坐标系的转换关系；根据所述三维坐标和所述转换关系在所述空间坐标系中确定所述用户与所述显示屏之间的相对距离和相对角度；根据所述相对距离和所述相对角度确定所述相对位置；其中，所述相机坐标系以所述图像采集装置的位置为原点，所述空间坐标系以所述显示屏的位置为原点。5.如权利要求1所述的方法，其特征在于，所述根据所述交互请求生成答复音频，包括：根据所述交互请求确定所述用户的目标意图；从预设的文件库中查找到与所述目标意图相匹配的目标文...

【专利技术属性】
技术研发人员：黄伟坤，吴松城，
申请(专利权)人：厦门黑镜科技有限公司，
类型：发明
国别省市：