一种数字人交互表情生成方法、装置、设备及存储介质制造方法及图纸

技术编号:40095212 阅读:26 留言:0更新日期:2024-01-23 16:49
本说明书涉及计算机视觉技术领域,提供了一种数字人交互表情生成方法、装置、设备及存储介质。该方法包括:接收用户发送的互动信息;根据所述互动信息生成应答信息;生成所述应答信息对应的唇语信息;确定所述应答信息对应的目标情感特征序列;从预设的表情数据库中匹配所述目标情感特征序列对应的表情情感信息;融合所述唇语信息和所述表情情感信息,得到目标交互表情信息。通过本说明书实施例,可提高数字人面部表情丰富度和逼真度。

【技术实现步骤摘要】

本说明书涉及计算机视觉,尤其是涉及一种数字人交互表情生成方法、装置、设备及存储介质


技术介绍

1、数字人是指通过计算机视觉、计算机图像学等生成的仿真人物模型,广义上计算机模拟出的具有人的形态的虚拟人都叫做数字人,用户能够通过语音、文本等形式与数字人交互,例如电子游戏中的非玩家角色就属于数字人,在虚拟现实领域,数字人还能实现通过手语等动作语言与用户交互,数字人是整合了人物形象模拟、人物声音克隆、自然语言处理等人工智能技术的可视化数字虚拟人,随着虚拟现实技术以及数字人技术的发展,数字人广泛地应用于政务、金融、旅游等场景,然而当前数字人面部表情真实感有限,尽管目前在图像识别领域利用深度学习技术生成的虚假人脸图像已经达到了真假难辨的水平,但是虚拟现实中数字人并非是以静止的图像呈现给用户,而是以包括但不限于面部表情、肢体动作的内容为基础,与用户通过动态方式有效交互,特别地,在虚拟现实领域,对于金融、政务等场景下的以金融服务、政务服务目的而研发的数字人与实时播放的语音不吻合的面部表情还会大大降低用户的体验感,无法给用户一个友好的体验,因此亟需一种数字人交互表情生成方本文档来自技高网...

【技术保护点】

1.一种数字人交互表情生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述互动信息生成应答信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定与所述文本特征匹配的应答信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标素材至少包括文字素材、音效素材、动画素材、图片素材、三维模型素材中的一种。

5.根据权利要求1所述的方法,其特征在于,所述唇语信息包括口型变化信息和面部动作变化信息;其中,所述面部动作变化信息用于随着所述口型变化信息自适应调整数字人的面部肌肉变化和下颌变化。...

【技术特征摘要】

1.一种数字人交互表情生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述互动信息生成应答信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定与所述文本特征匹配的应答信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标素材至少包括文字素材、音效素材、动画素材、图片素材、三维模型素材中的一种。

5.根据权利要求1所述的方法,其特征在于,所述唇语信息包括口型变化信息和面部动作变化信息;其中,所述面部动作变化信息用于随着所述口型变化信息自适应调整数字人的面部肌肉变化和下颌变化。

6.根据权利要求5所述的方法,其特征在于,进一步包括:

7.根据权利要求1所述的方法,其特征在于,所述确定所述应答信息对应的目标情感特征序列,包括:

8.根据权利要求7所述的方法,其特征在于,所述计算所述应答信息对应的目标情感特征,进一步包括:

9.根据权利要求1所述的方法,其特征在于,所述目标交互表情信息包括额头特征数据、眉毛特征数据、眼部特征数据、面颊特征数据、嘴部特征数据、鼻特征数据和下颌特征数据中的一种或多种。

10.根据权利要求9所述的方法,其特征在于,所述融合所述唇语信息和所述表情情感信息,得到目标交互表情信息,包括:

11.根据权利要求10...

【专利技术属性】
技术研发人员:董昊楠
申请(专利权)人:中信银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1