虚拟形象交互方法和装置制造方法及图纸

本申请实施例提供了一种虚拟形象交互方法、虚拟形象交互装置、电子设备和计算机可读存储介质，解决了现有技术基于虚拟形象进行交互时的信息量大和运算量大的问题。该虚拟形象交互方法包括：获取用户的交互指令信息；将所述交互指令信息输入动作生成模型，其中，所述动作生成模型配置为根据所述交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据；以及根据所述多个动作数据驱动所述虚拟形象的所述多个关键点分别产生对应的动作。

【技术实现步骤摘要】
虚拟形象交互方法和装置
本申请涉及电子通信
，具体涉及一种虚拟形象交互方法、虚拟形象交互装置、电子设备和计算机可读存储介质。
技术介绍
随着计算机技术的不断发展，用户之间交流沟通的方式也在不断演进，其中通过虚拟形象来进行交互就成为了当下互联网通信的热点方式之一。然而，现有技术中虽然能够通过虚拟形象完成用户之间的交互，但在通过虚拟形象展示用户的交互指令时，其实是生成与虚拟形象对应的每帧图像。而生成完整图像的信息量较大，所需的运算量也非常大，这会为实时的交互过程带来不必要的计算硬件资源和存储硬件资源负担，并影响用户通过虚拟形象进行交互的实时体验。
技术实现思路
有鉴于此，本申请实施例提供了一种虚拟形象交互方法、虚拟形象交互装置、电子设备和计算机可读存储介质，解决了现有技术基于虚拟形象进行交互时的信息量大和运算量大的问题。根据本申请的一个方面，本申请一实施例提供的一种虚拟形象交互方法包括：获取用户的交互指令信息；将所述交互指令信息输入动作生成模型，其中，所述动作生成模型配置为根据所述交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据；以及根据所述多个动作数据驱动所述虚拟形象的所述多个关键点分别产生对应的动作。根据本申请的另一个方面，申请一实施例提供的一种虚拟形象交互装置包括：获取模块，配置为获取用户的交互指令信息；动作生成模型，配置为根据来自所述获取模块的所述交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据；以及驱动模块，配置为根据所述多个动作数据驱动所述虚拟形象的所述多个关键点分别产生对应的动作。根据本申请的另一个方面，本申请一实施例提供的一种电子设备包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如前任一所述的虚拟形象交互方法。根据本申请的另一个方面，本申请一实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的虚拟形象交互方法。本申请实施例提供的一种虚拟形象交互方法、虚拟形象交互装置、电子设备和计算机可读存储介质，通过采用动作生成模型可基于用户的交互指令信息获取与虚拟形象的多个关键点分别对应的多个动作数据，这样用户在通过虚拟形象进行交互时，并不需要生成与虚拟信息的动作对应的完整图像，而只是基于动作数据来驱动虚拟形象的多个关键点即可产生对应的动作。由于关键点的动作数据的数据量较小，这样可大幅度减少对设备硬件的需求，不仅有助于提高用户的实时交互体验，还使得一些低配置硬件终端仍能够运行该虚拟形象交互方式，扩展了虚拟形象交互方式的应用终端范围，降低了硬件预算需求。附图说明图1所示为本申请一实施例提供的一种虚拟形象交互方法的流程示意图。图2所示为本申请一实施例提供的虚拟形象交互方法中动作生成模型的训练过程的流程示意图。图3所示为本申请另一实施例提供的虚拟形象交互方法的流程示意图。图4所示为本申请一实施例提供的虚拟形象交互方法中获取交互指令信息的流程示意图。图5所示为本申请一实施例提供的虚拟形象交互方法中根据自然语言信息生成交互指令信息的流程示意图。图6所示为本申请一实施例提供的虚拟形象交互装置的结构示意图。图7所示为本申请另一实施例提供的虚拟形象交互装置的结构示意图。图8所示为本申请一实施例提供的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1所示为本申请一实施例提供的一种虚拟形象交互方法的流程示意图。如图1所示，该虚拟形象交互方法包括如下步骤：步骤101：获取用户的交互指令信息。用户的交互指令信息为用于驱动虚拟形象产生对应动作的参考信息，通过交互指令信息可以明确虚拟形象需要产生怎样的对应动作以满足当下交互场景的需求。应当理解，根据在具体应用场景下与用户的交互方式不同，交互指令信息也可有多种实现方式。在本申请一实施例中，交互指令信息就可包括以下信息中的一种或多种组合：语音指令信息、文字指令信息、动作定义指令信息(例如抬手指令信息、低头指令信息等)、情绪定义指令信息(例如高兴指令信息、悲伤指令信息和愤怒指令信息等)、传感器信息(比如味道信息、距离信息、环境温度信息等)和图像识别结果(比如图像识别出的人脸特征、肢体动作、目标检测结果等)。用户的交互指令信息可以是用户直接输入的明确指令信息，也可以是根据采集的一些用户信息或用户输入的信息而实时生成的。例如，用户可以直接语音输入明确的内容为“微笑”的语音指令信息，也可以是识别到了用户的身体或面部动作(例如点头或微笑)后，实时生成了对应的内容为点头或微笑的动作定义指令信息。本申请对该用于指导虚拟形象动作的交互指令信息的具体来源和具体内容均不做严格限定。步骤102：将交互指令信息输入动作生成模型，其中，动作生成模型配置为根据交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据。虚拟形象为代替用户进行交互的计算机生成形象，可以为通过计算机建模技术生成的二维形象或三维形象，具体的形式可为虚拟人、虚拟卡通形象等。虚拟形象是采用计算机图形学的相关技术构造一个能说、会动、具有表情的虚拟人物形象、卡通角色或者其他类人形象，以便在各种带屏设备(包括手机、大屏等)及虚拟现实设备用于作为进行人机交互的对象。虚拟形象可被大量的应用在公共场所、展示中心、个人设备等场景用于人机交互并提高用户体验。本申请对该虚拟形象的具体呈现形式不做限定，但应当理解，根据虚拟形象的呈现形式不同，对应的关键点也会有所不同。例如在本申请一实施例中，虚拟形象可以是类人形象，虚拟形象的多个关键点就可包括以下一种或多种组合：身体关节特征点、身体骨骼部位特征点、面部表情特征点以及嘴型特征点。动作生成模型可以是基于预学习的训练过程建立，训练好的动作生成模型可以根据接收到的交互指令信息直接输出与虚拟形象的多个关键点分别对应的多个动作数据。这些动作数据可为驱动关键点产生对应动作的空间数据的组合，例如位移、旋转角度和方向等。应当理解，这些动作数据的具体内容和形式与关键点的部位和具体的应用场景有关，例如肩部关节部分的关键点只可能旋转，那么对应的动作数据就可以为旋转角度，而面部上嘴唇的关键点就可能旋转和位移，那么对应的动作数据既可以包括旋转角度和位移。此外，如果虚拟形象为二维形象，那么动作数据则为二维空间信息；而如果虚拟形象为三维形象，那么动作数据则为三维空间信息。本申请对该动作数据的具体内容和形式也不做严格限定。步骤103：根据多个动作数据驱动虚拟形象的多个关键点分别产生对应的动作。当获取了动作生成模型根据用户的交本文档来自技高网...

【技术保护点】
1.一种虚拟形象交互方法，其特征在于，包括：/n获取用户的交互指令信息；/n将所述交互指令信息输入动作生成模型，其中，所述动作生成模型配置为根据所述交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据；以及/n根据所述多个动作数据驱动所述虚拟形象的所述多个关键点分别产生对应的动作。/n

【技术特征摘要】
1.一种虚拟形象交互方法，其特征在于，包括：
获取用户的交互指令信息；
将所述交互指令信息输入动作生成模型，其中，所述动作生成模型配置为根据所述交互指令信息输出与虚拟形象的多个关键点分别对应的多个动作数据；以及
根据所述多个动作数据驱动所述虚拟形象的所述多个关键点分别产生对应的动作。


2.根据权利要求1所述的方法，其特征在于，所述动作生成模型基于如下训练过程建立：
获取与所述多个关键点分别对应的多个动作数据样本；
获取与所述多个动作数据样本对应的多个交互指令样本；以及
以所述多个动作数据样本和所述多个交互指令样本为训练集，通过深度学习过程训练生成所述动作生成模型。


3.根据权利要求1所述的方法，其特征在于，所述深度学习过程基于生成模型和序列模型实现。


4.根据权利要求2所述的方法，其特征在于，所述获取与所述多个关键点分别对应的多个动作数据样本包括：
将图像数据输入动作识别模型，其中，所述动作识别模型配置为根据所述图像数据输出所述多个关键点的位置和运动轨迹；以及，识别所述多个关键点的位置和运动轨迹以生成与所述多个关键点分别对应的多个动作数据样本；或，
获取预设的与所述虚拟形象的所述多个关键点分别对应的所述多个动作数据样本。


5.根据权利要求1所述的方法，其特征在于，所述交互指令信息包括以下信息中的一种或多种组合：语音指令信息、文字指令信息、动作定义指令信息、情绪定义指令信息、传感器信息和图像识别结果。


6.根据权利要求1所述的方法，其特征在于，进一步包括：
接收用户的自然语言信息，其中所述自然语言信息包括基于自然语言的语音信息和/或文字信息；
其中，所述获取用户的交互指令信息包括：
根据所述自然语言信息生成所述交互指令信息。


7.根据权利要求6所述的方法，其特征在于，所述根据所述自然语言信息生成所述交互指令信息包括：
将所述自然语言信息与多个预先存储的标准语义模板进行相似度计算；以及
根据相似度最高的所述标准语义模板获取对应的所述交互指令信息，其中所述标准语义模板与所述交互指令信息之间的映射关系为预先建...

【专利技术属性】
技术研发人员：周永吉，
申请(专利权)人：贵州小爱机器人科技有限公司，
类型：发明
国别省市：贵州;52