一种与虚拟角色进行互动的动画生成方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种与虚拟角色进行互动的动画生成方法、装置及电子设备。所述方法包括：建立深度Q‑值网模型，并对所述深度Q‑值网络模型进行训练；将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q‑值网络模型的输入，由所述深度Q‑值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。该方法能够实时自动地生成虚拟角色的角色动画，该动画能够基于真人运动捕捉数据，做出实时的反馈，抵挡来自真人的攻击动作。

Method, device and electronic equipment for generating animation interaction with virtual characters

The invention discloses a method, a device and an electronic device for generating animation interaction with a virtual character. The method includes: to establish the depth of Q value net model, and the depth of Q value network model training; the real role in the real space and carrying weapons mapped to the virtual space; virtual space which includes geometric geometric entity and its corresponding role with weapons and interact with virtual characters the real role of the corresponding; the present state in the current frame and the true role of armed current state and virtual character as the depth of Q value network model input, network model is determined according to the current state of virtual characters in the next frame to resist movement by the depth of Q value, and then generate the current frame animation. The method can automatically generate the character animation of the virtual character in real time, which can capture the data based on the real life movement and make real-time feedback to resist the attack from the real person.

【技术实现步骤摘要】

本专利技术涉及虚拟现实、人工智能等领域，具体而言，是一种与虚拟角色进行互动的动画生成方法、装置及电子设备。
技术介绍
随着虚拟现实技术的不断发展，虚拟角色动画常常应用在动画、影视、游戏等许多重要的领域。用户能够通过各种各样的虚拟现实硬件设备在虚拟世界中游玩。这就不得不产生一个问题，那就是真人在虚拟环境中如何与虚拟世界进行交互，尤其是如何与虚拟角色进行互动。在人工智能技术高速发展的今天，让人类拥有类人的智能并与真人进行人机交互是重要的研究课题，在语音翻译、图像识别都领域，都有很好的应用。同样，在虚拟现实领域，让虚拟角色在与真人互动的过程中实时生成角色动画，也有很重要的意义。通常角色动画的生成有以下几种方法。第一种是运动重定位，即从已有的其他角色的动画或运动捕捉数据中，直接映射给新的虚拟角色，这种方法不能在交互的过程中基于不同的空间环境有所变化。第二种是动画合成，在动画集中有许多基础动画，通过插值变换，合成为新的动画，这种方法依赖于大量的动画集，动画集需要前期美工大量的动画建模。第三种是反向动力学解算，将虚拟角色的骨架结构作为链状动力学系统，已知端点的目标空间坐标，反向求解每一个关节点的空间位移旋转，这种方法在动态规划每一帧的动作的时候，无法很好的适应外界环境的动态变化。
技术实现思路
(一)要解决的技术问题本专利技术提供了一种与虚拟角色进行互动的动画生成方法、装置及电子设备。该技术方案使用了一种全新的互动型动画实时生成方法，能够实时自动地生成虚拟角色的角色动画。该动画能够基于真人运动做出实时的反馈，抵挡来自真人的攻击，能够最大程度的模拟真实人类的应激反应，并且模拟类人的动作。虚拟角色能够从先前的互动中学习游戏策略。并且该方法不局限于任何预定义动画，而以在线的方式，与真人玩家实时互动。(二)技术方案为解决上述技术问题，本专利技术提供了一种真人与虚拟角色进行互动的动画生成方法、装置及电子设备。根据本专利技术一方面，提供了一种与虚拟角色进行互动的动画生成方法，包括如下步骤：建立深度Q-值网模型，并对所述深度Q-值网络模型进行训练；将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q-值网络模型的输入，由所述深度Q-值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。其中，所述方法还包括：在生成当前帧动画之前，对虚拟角色的肢体动作进行校准，以拟合成类人动作。其中，所述将真实空间中的真实角色及其手持武器映射到虚拟空间，包括：在虚拟环境中建立几何实体，所述几何实体包括真实环境中将真实角色对应的几何实体和虚拟环境中与所述真实角色进行互动的虚拟角色对应的几何实体；利用图像采集装置获取真实环境中真实角色的当前图像；根据所述当前图像获得所述真实角色各个关节的空间位置，将真实角色持武器的手关节作为武器手持端的空间位置；根据所述当前图像获取所述真实角色所持武器的深度图，并根据所持武器的深度图得到武器的旋转向量；根据所述武器手持端的空间位置以及武器的旋转向量将真实角色所持武器的空间姿态映射到虚拟环境中。其中，所述深度Q-值网模型的Q-值函数如下表示：Q(s，a)＝Eπ(Rt|st，at，π)Rt是未来回报的真实值，Eπ是在策略π下的期望，Eπ(Rt|st，at，π)表示在st，at，π条件下的Rt，如下表示：其中，γt′-t为在未来t′-t时刻获得的环境反馈的奖励，0＜γ＜1，t为当前时刻，T为终止时刻，rt′表示在t′时刻的环境奖励。其中，所述环境奖励包括三种情况：当真实角色手持武器与虚拟角色的武器发生碰撞的时候，虚拟角色抵挡成功，则环境奖励为正向反馈；当真实角色手持武器与虚拟角色发生碰撞，或者虚拟角色的武器与虚拟角色本身发生碰撞的时候，虚拟角色抵挡失败，则环境奖励为负向反馈；在没有检测到碰撞的时候，环境奖励为0。其中，所述对所述深度Q-值网络模型进行训练，包括：以预设ε的概率在动作集中随机选择动作样本；初始化深度Q-值网络模型的参数；在第i次迭代中，目标Q值由当前帧的环境奖励rt和下一帧状态的Q值乘以折损率共同决定的；利用目标Q值，使用最小二乘法计算目标误差函数值；使用随机梯度下降法更新所述深度Q-值网络模型的参数，并进行i+1次迭代，直至达到迭代结束条件。其中，所述当前状态包括真实角色手持武器的姿态以及虚拟角色的关节的旋转值，所述真实角色手持武器的姿态包括真实角色手持武器的空间位移坐标和旋转值。其中，所述在生成当前帧动画之前，对虚拟角色的肢体动作进行校准，以拟合成类人动作，包括：建立抵挡型关节的动力学模型；利用所述动力学模型修正Q-值网络模型输出的虚拟角色的抵挡动作的旋转角速度，具体如下表示：τint为动力学模型中关节内部力矩，为目标抵挡型关节的角度，q为当前抵挡型关节的角度，kp、kd分别为角度增益和角速度增益；关节旋转角加速度通过下式计算得到：其中，M(q)是骨骼质量矩阵，τext为动力学模型中关节外部力矩，是离心力；通过下式计算得到当前帧t的角速度q(t)，以修正Q-值网络模型输出的虚拟角色的抵挡动作的旋转角速度：其中q(t-1)、分别表示上一帧的角度、角速度、角加速度；利用上述求出的抵挡型关节的抵挡动作预测虚拟角色其他关节的相应动作。根据本专利技术第二方面，提供了一种与虚拟角色进行互动的动画生成装置，包括：模型建立及训练模块，用于建立深度Q-值网模型，并对所述深度Q-值网络模型进行训练；映射模块，用于将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；动画生成模块，用于将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q-值网络模型的输入，由所述深度Q-值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。根据本专利技术第三方面，提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于执行存储器中存储的可执行指令，以执行如下操作：建立深度Q-值网模型，并对所述深度Q-值网络模型进行训练；将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q-值网络模型的输入，由所述深度Q-值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。基于动画的逐帧生成是通过智能体与环境不断的交互过程中得到的。当智能体得到环境给出的当前状态，智能体基于当前状态，做决策需要选择动作。在动作与环境发生了交互之后，环境反馈给智能体下一帧的状态。本专利技术能够实时自动地生成虚拟角色的角色动画，该动画能够基于真人运动捕捉数据，做出实时的反馈，抵挡来自真人的攻击动作，而且产生的虚拟角色动画能够最大程度的模拟真实人类的应激反应，以类人的动作与真人玩家实时互动。附图说明图1是本专利技术中与虚拟角色进行互动的动画生成方法的流程图。图本文档来自技高网...

【技术保护点】
一种与虚拟角色进行互动的动画生成方法，其特征在于，包括如下步骤：建立深度Q‑值网模型，并对所述深度Q‑值网络模型进行训练；将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q‑值网络模型的输入，由所述深度Q‑值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。

【技术特征摘要】
1.一种与虚拟角色进行互动的动画生成方法，其特征在于，包括如下步骤：建立深度Q-值网模型，并对所述深度Q-值网络模型进行训练；将真实空间中的真实角色及其手持武器映射到虚拟空间；其中，虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体；将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q-值网络模型的输入，由所述深度Q-值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作，进而生成当前帧动画。2.如权利要求1所述的方法，其特征在于，所述方法还包括：在生成当前帧动画之前，对虚拟角色的肢体动作进行校准，以拟合成类人动作。3.如权利要求1或2所述的方法，其特征在于，所述将真实空间中的真实角色及其手持武器映射到虚拟空间，包括：在虚拟环境中建立几何实体，所述几何实体包括真实环境中将真实角色对应的几何实体和虚拟环境中与所述真实角色进行互动的虚拟角色对应的几何实体；利用图像采集装置获取真实环境中真实角色的当前图像；根据所述当前图像获得所述真实角色各个关节的空间位置，将真实角色持武器的手关节作为武器手持端的空间位置；根据所述当前图像获取所述真实角色所持武器的深度图，并根据所持武器的深度图得到武器的旋转向量；根据所述武器手持端的空间位置以及武器的旋转向量将真实角色所持武器的空间姿态映射到虚拟环境中。4.如权利要求1或2所述的方法，其特征在于，所述深度Q-值网模型的Q-值函数如下表示：Q(s，a)＝Eπ(Rt|st，at，π)Rt是未来回报的真实值，Eπ是在策略π下的期望，Eπ(Rt|st，at，π)表示在st，at，π条件下的Rt，如下表示：Rt=Σt′=tTγt′-trt′]]>其中，γt′-t为在未来t′-t时刻获得的环境奖励，0＜γ＜1，t为当前时刻，T为终止时刻，rt′表示在t′时刻的环境奖励。5.如权利要求4所述的方法，其特征在于，所述环境反馈包括三种情况：当真实角色手持武器与虚拟角色的武器发生碰撞的时候，虚拟角色抵挡成功，则环境奖励为正向反馈；当真实角色手持武器与虚拟角色发生碰撞，或者虚拟角色的武器与虚拟角色本身发生碰撞的时候，虚拟角色抵挡失败，则环境奖励为负向反馈；在没有检测到碰撞的时候，环境奖励为0。6.如权利要求1或2所述的方法，其特征在于，所述对所述深度Q-值网络模型进行训练，包括：以预设ε的概率在动作集中随机选择动作样本；初始化深度Q-值网络模型的参数；在第i次迭代中，目标Q值由当前帧的环境奖励反馈rt和下一帧状态的Q值乘以折损率共同决定的；利用目标Q值，使用最小二乘法计算目标误差函数值；使用随机梯度下降法更新所述深度Q-值网络模型的参数，并进行i+1次迭代，直...

【专利技术属性】
技术研发人员：王雨萌，车武军，徐毅，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11