虚拟数字人面部表情管理方法技术

本发明专利技术公开了虚拟数字人面部表情管理方法

【技术实现步骤摘要】
虚拟数字人面部表情管理方法、装置、电子设备及介质


[0001]本专利技术涉及图像数据的处理和产生，尤其涉及一种虚拟数字人面部表情管理方法
、
装置
、
电子设备及介质
。

技术介绍

[0002]人工智能驱动虚拟数字人指通过人工智能技术一站式实现虚拟人的创建
、
驱动和内容生成，使其具备感知
、
表达等无需人工干预的自动交互能力
。
[0003]虚拟数字人能实现与用户的对话沟通，不仅可以帮助用户解答生活
、
学习
、
工作中的疑问，还可以进行情感疏解和陪伴
。
但专利技术人在实现本专利技术的过程中发现，在对话的过程中，虚拟数字人的面部表情是一成不变的，缺少互动性和逼真性
、
以及对话沟通情绪的传递，使得用户无法沉浸式沟通
。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术实施例提供了一种虚拟数字人面部表情管理方法
、
...

【技术保护点】

【技术特征摘要】
1.
一种虚拟数字人面部表情管理方法，其特征在于，包括：获取实验对象的多媒体资源，所述多媒体资源至少包括所述实验对象在对话过程中的语音信息和面部图像信息；对所述语音信息和所述面部图像信息进行处理，得到多组文本以及每组所述文本对应的面部特征信息；其中，所述面部特征信息包括面部器官的位置信息和形态信息；按照情绪维度对所述多组文本进行聚类，并生成每类文本对应的目标属性标签，以及表述所述目标属性标签的多个关键信息；针对每类文本对应的面部特征信息，根据所有面部器官的位置信息和形态信息生成面部器官的目标位置信息和目标形态信息，并建立所述目标属性标签
、
所述关键信息
、
所述面部器官的目标位置信息和目标形态信息的关联关系
。2.
根据权利要求1所述的方法，其特征在于，所述对所述语音信息和所述面部图像信息进行处理，得到多组文本以及每组所述文本对应的面部特征信息，包括：基于自然语言理解技术将所述语音信息转化成文本信息，并对所述文本信息进行分句，得到多个文本片段；对相邻的所述文本片段进行语义理解，将表达同一语义的所述文本片段进行合并，得到所述多组文本；确定每组文本对应的语音信息在所述多媒体资源中的开始时间戳和结束时间戳，基于所述开始时间戳和所述结束时间戳截取所述多媒体资源，得到每组所述文本对应的面部图像信息；对所述面部图像信息进行识别，生成每组所述文本对应的面部特征信息
。3.
根据权利要求2所述的方法，其特征在于，所述对所述面部图像信息进行识别，生成每组所述文本对应的面部特征信息，包括：获取所述实验对象的标准面部图像，以及每个面部器官对应的多个特征点；对所述面部图像信息进行分帧，得到若干帧面部图像；将每帧面部图像的各面部器官形态与所述标准面部图像的各面部器官形态进行比对，得到第一比对结果；将每帧面部图像的各面部器官对应的多个特征点位置与所述标准面部图像的各面部器官对应的多个特征点位置进行比对，得到第二比对结果；结合第一比对结果和第二比对结果，从所述若干帧面部图像中确定目标帧面部图像；根据所述目标帧面部图像的各面部器官对应的多个特征点的位置以及形态信息，生成每组所述文本对应的面部特征信息
。4.
根据权利要求3所述的方法，其特征在于，所述形态信息通过如下方法生成：从每个所述面部器官对应的特征点中确定组合起来能够表征所述面部器官形态变化的若干目标特征点；将每个所述面部器官对应的目标特征点依次进行连线，生成目标器官的形态区域；计算所述形态区域的尺寸和形状，将所述尺寸和形状确定为所述形态信息
。5.
根据权利要求1所述的方法，其特征在于，所述按照情绪维度对所述多组文本进行聚类，并生成每类文本对应的目标属性标签，以及表述所述目标属性标签的多个关键信息；包括：
获取所述情绪维度下的各属性标签，以及与所述属...

【专利技术属性】
技术研发人员：李宇欣，
申请(专利权)人：北京健康有益科技有限公司，
类型：发明
国别省市：