【技术实现步骤摘要】
一种教育元宇宙中虚拟化身的情感演化方法及终端
[0001]本专利技术涉及元宇宙的教学应用
，尤其涉及一种教育元宇宙中虚拟化身的情感演化方法及终端。
技术介绍
[0002]情感演化技术是指使用计算机技术实现情感演化过程，即模拟情感的产生、发展、变化和表达，从而实现更加真实、自然的情感交流。它被广泛应用于人机交互领域中，分析、建模用户的语音、面部表情等情感因素，能够有效地识别和解析情感信息，并推断情感变化的趋势。随着自然语言处理、深度学习等技术的不断成熟，情感演化技术被越来越广泛地应用于智能教学系统中，以使其更加贴近人类的情感表达方式，更加准确地反馈师生用户的对话。
[0003]在教育元宇宙中，情感演化技术可以为虚拟化身提供更丰富的情感表达和反馈，从而为虚拟化身的情感演化提供新的途径。现有的教育元宇宙中，虽然可以使用情感演化技术推断真实师生用户驱动的虚拟化身情感规律，但还存在诸多的问题：（1）虚拟化身情感演化未考虑其自身数据：仅基于真实师生用户表情和对话数据，难以实现虚拟化身情感的自我演化；（2）多模态数据存在异质...
【技术保护点】
【技术特征摘要】
1.一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，包括步骤：采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征；使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别；确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列；从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达。2.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：对所述表情数据进行预处理，得到预处理后的表情数据；对所述音频数据进行预处理，得到预处理后的音频数据；使用D
‑
vectors算法结合动态时间规整算法将所述预处理后的表情数据和所述预处理后的音频数据进行对齐，得到最终对齐结果；对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征。3.根据权利要求2所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：使用预设窗口大小对所述最终对齐结果中的音频数据进行分割，得到窗口信号；使用傅里叶变换算法计算每一所述窗口信号的幅值和相位时频分布；按照时间顺序拼接所述幅值和相位时频分布，生成梅尔频率倒谱系数；将所述梅尔频率倒谱系数输入至循环神经网络，输出声音情感特征；使用离线余弦变换算法根据所述最终对齐结果中的表情数据生成离散变换矩阵；使用高斯混合模型算法将所述离散变换矩阵转换为表情变化特征表示；将所述表情变化特征表示输入至预设的表情情感特征提取模型，输出表情情感特征。4.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果包括：对所述声音情感特征和所述表情情感特征分别进行归一化处理，得到声音情感特征向量和表情情感特征向量；使用切比雪夫距离计算所述声音情感特征向量和所述表情情感特征向量的相似度；根据所述相似度基于所述声音情感特征向量和所述表情情感特征向量使用注意力机制计算每一向量的权重比值，所述向量为声音情感特征向量或表情情感特征向量；根据所述每一向量的权重比值、所述声音情感特征向量和所述表情情感特征向量得到声音情感特征向量表示以及表情情感特征向量表示；
将所述声音情感特征向量表示以及所述表情情感特征向量表示输入至情感特征融合模型，输出多模态情感特征融合结果。5.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别包括：将所述多模...
【专利技术属性】
技术研发人员：刘德建，葛岩，彭靖，钟正，徐建，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。