一种虚拟数字人的交互方法及其系统技术方案

本申请公开了一种虚拟数字人的交互方法及其系统，其中虚拟数字人的交互方法具体包括以下子步骤：获取虚拟数字人的表情动作；根据获取的虚拟数字人的表情动作构建表情动作库；响应于构建完成表情动作库，获取虚拟数字人的实时表情动作；根据虚拟数字人的实时表情动作为虚拟数字人添加特效。本申请通过表情动作库的建立与深度学习技术的结合，解决了目前因虚拟角色人物模型面部表情参数、身体动作参数多，出现识别错误，捕捉不全面，影响虚拟人物表情、动作生成的问题，从而提高了表情动作识别的准确率。的准确率。的准确率。

【技术实现步骤摘要】
一种虚拟数字人的交互方法及其系统


[0001]本申请涉及计算机领域，具体地，涉及一种虚拟数字人的交互方法及其系统。

技术介绍

[0002]现如今，社会不断发展，人们对生活质量的需求越来越高，人们对科技的追求也越来越高，已经将虚拟化、数字化的技术应用到了各个领域，且可以通过虚拟数字人完成虚拟直播。在虚拟数字人完成直播的过程中就涉及到了人物模型的建立，需要通过对真人的面部识别、捕捉，身体动作的捕捉来完成数字人的直播运作。而现有虚拟角色的人物模型的面部表情参数、身体动作参数较多，容易出现识别不精准，或是捕捉不全面导致参数组合出现问题，影响虚拟人物表情、动作的生成，从而影响整个直播效果。
[0003]因此，如何提供一种能够提高虚拟数字人面部表情和动作识别准确率的方法，是本领域技术人员急需解决的问题。

技术实现思路

[0004]本申请提供了一种虚拟数字人的交互方法，具体包括以下子步骤：获取虚拟数字人的表情动作；根据获取的虚拟数字人的表情动作构建表情动作库；响应于构建完成表情动作库，获取虚拟数字人的实时表情动作；根据虚拟数字人的实时表情动作为虚拟数字人添加特效。
[0005]如上的，其中，获取虚拟数字人的表情动作包括，获取虚拟数字人的微表情动作。
[0006]如上的，其中，获取虚拟数字人的表情动作还包括，进行虚拟数字人的微动作捕捉。
[0007]如上的，其中，通过手机深度传感器或相机对面部微表情进行捕捉，设定捕捉为一秒60帧，每一帧为一个微表情，记录每一帧的数据参数。
[0008]如上的，其中，根据获取的虚拟数字人的微表情和微动作构建表情动作库，并将微表情和微动作组合为属性类别和特征类别。
[0009]如上的，其中，属性类别具体为虚拟数字人生气、大笑微表情的类别属性。
[0010]如上的，其中，特征类别具体为虚拟数字人面部特征、动作特征类别。
[0011]如上的，其中，在表情动作库中还设置了与虚拟数字人微表情、微动作对应的特效属性。
[0012]如上的，其中，根据虚拟数字人的实时表情动作为虚拟数字人添加特效，具体包括以下子步骤：将获取的实时表情动作与表情动作库中的表情动作进行比对，获取比对结果；据比对结果为虚拟数字人添加特效。
[0013]一种虚拟数字人的交互系统，包括第一获取单元、构建单元、第二获取单元以及添加单元；其中第一获取单元，用于获取虚拟数字人的表情动作；构建单元，用于根据获取的虚拟数字人的表情动作构建表情动作库；第二获取单元，用于获取虚拟数字人的实时表情动作；添加单元，用于根据虚拟数字人的实时表情动作为虚拟数字人添加特效。
[0014]本申请具有以下有益效果：
[0015]本申请基于深度学习技术，记录每个表情、动作的数据参数，并基于多层感知器，通过微表情、微动作组合形成更加抽象的表示属性类别(如生气、大笑等微表情的类别属性)或特征(如面部特征、动作特征等)，通过某个表情或动作可以触发特效交互，添加虚拟数字人的特效属性。通过数据库的建立及深度学习技术的结合，解决了目前因虚拟角色人物模型面部表情参数、身体动作参数多，出现识别错误，捕捉不全面，影响虚拟人物表情、动作生成的问题。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0017]图1是根据本申请实施例提供的虚拟数字人的交互方法的流程图；
[0018]图2是根据本申请实施例提供的虚拟数字人的交互系统的结构示意图；
具体实施方式
[0019]下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]本申请提供了一种虚拟数字人的交互方法及其系统，通过构建表情、动作库，基于深度学习技术，记录每个表情、动作的数据参数，并基于多层感知器，通过微表情、微动作组合形成更加抽象的表示属性类别(如生气、大笑等微表情的类别属性)或特征(如面部特征、动作特征等)，通过某个表情或动作可以触发特效交互，添加虚拟数字人的特效属性。通过数据库的建立及深度学习技术的结合，解决了目前因虚拟角色人物模型面部表情参数、身体动作参数多，出现识别错误，捕捉不全面，影响虚拟人物表情、动作生成的问题。
[0021]实施例一
[0022]如图1所示，是本申请提供的一种虚拟数字人的交互方法，具体包括以下步骤：
[0023]步骤S110：获取虚拟数字人的表情动作。
[0024]其中获取虚拟数字人的表情动作为预先获取大量虚拟数字人的表情动作，具体包括以下子步骤：
[0025]步骤S1101：进行虚拟数字人的面部微表情捕捉。
[0026]具体地，通过手机深度传感器或相机，对面部微表情进行捕捉，设定捕捉为一秒60帧，每一帧为一个微表情，记录每一帧的数据参数。
[0027]其中工作人员可根据实际情况选择使用手机深度传感器还是相机进行面部微表情的捕捉。
[0028]步骤S1102：进行虚拟数字人的微动作捕捉。
[0029]具体地，通过动作传感器感应每个动作的幅度，以此记录动作参数，形成动作属性
归类，便于后期动作的精准识别、捕捉。
[0030]其中步骤S1101和步骤S1102的执行可以不分先后顺序，也可以对面部微表情和微动作进行先后捕捉。执行的顺序具体可以由工作人员设置。
[0031]作为举例，可以同时进行面部微表情和微动作的捕捉，也可以先捕捉实时面部微表情，后捕捉实时微动作，或先捕捉实时微动作，后捕捉实时面部微表情。
[0032]步骤S120：根据获取的虚拟数字人的表情动作构建表情动作库。
[0033]其中步骤S110中基于深度学习技术和多层感知器获取了虚拟数字人的面部微表情和微动作，根据获取的记录每一帧的面部微表情数据，以及微动作的数据参数构建表情动作库，并将获取的上述数据参数记录在表情动作库中。
[0034]进一步地，在本步骤还将微表情、微动作组合形成更加抽象属性类别或特征类别。
[0035]其中属性类别具体为虚拟数字人生气、大笑等微表情的类别属性等，特征类别具体为虚拟数字人面部特征、动作特征类别等。
[0036]再进一步地，在表情动作库中还设置了与虚拟数字人微表情、微动作对应的特效属性。
[0037]其中通过虚拟数字人的某个表情或动作可以触发特效交互，从而为虚拟数字人添加特效属性。
[0038]例如若表情动作库中的微表情为大笑，则与大笑对应的特效可以为“太阳”特效。若表情动作库中的微表情为生气，则与生气对应的特效可以为“乌云”本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟数字人的交互方法，其特征在于，具体包括以下子步骤：获取虚拟数字人的表情动作；根据获取的虚拟数字人的表情动作构建表情动作库；响应于构建完成表情动作库，获取虚拟数字人的实时表情动作；根据虚拟数字人的实时表情动作为虚拟数字人添加特效。2.如权利要求1所述的虚拟数字人的交互方法，其特征在于，获取虚拟数字人的表情动作包括，获取虚拟数字人的微表情动作。3.如权利要求2所述的虚拟数字人的交互方法，其特征在于，获取虚拟数字人的表情动作还包括，进行虚拟数字人的微动作捕捉。4.如权利要求3所述的虚拟数字人的交互方法，其特征在于，通过手机深度传感器或相机对面部微表情进行捕捉，设定捕捉为一秒60帧，每一帧为一个微表情，记录每一帧的数据参数。5.如权利要求4所述的虚拟数字人的交互方法，其特征在于，根据获取的虚拟数字人的微表情和微动作构建表情动作库，并将微表情和微动作组合为属性类别和特征类别。6.如权利要求5所述的虚拟数字人的交互方法，其特征...

【专利技术属性】
技术研发人员：彭振昆，郑航，费元华，郭建君，
申请(专利权)人：北京蔚领时代科技有限公司，
类型：发明
国别省市：