基于无驱动源的虚拟人动作生成方法、装置和电子设备制造方法及图纸

本发明专利技术提供一种基于无驱动源的虚拟人动作生成方法、装置和电子设备，本发明专利技术实施例中，在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列，对于所述初始动作序列中的当前的动作编码，将随机噪声、当前的动作编码以及与所述当前的动作编码对应的历史动作序列输入预训练的解码器，得到当前的动作编码对应的目标动作数据，由于以动作编码为基础，随机噪声和历史动作序列参与，可以通过较低的成本生成目标动作数据，组成的目标动作序列具有高响应性和多样性，展示效果自然连贯更为真实。更为真实。更为真实。

【技术实现步骤摘要】
基于无驱动源的虚拟人动作生成方法、装置和电子设备


[0001]本专利技术涉及人工智能
，尤其涉及一种基于无驱动源的虚拟人动作生成方法、装置和电子设备。

技术介绍

[0002]在虚拟人应用场景中，驱动源并不总是存在，在没有驱动源的情况下，虚拟人也不能保持完全的静止，否则的话会让虚拟人看起来非常不自然。
[0003]现有技术中的第一种常见方案是保持固定韵律的运动，缺点是显而易见的，用户可以很快发现动作具有固定规律，从而产生不真实感。
[0004]现有技术中的第二种常见方案是通过插帧的方法，例如在说两句话的中间没有任何驱动源，可以通过在说第一句话时的最后一帧和说第二句话时的第一帧之间做一个平滑的连接来进行过度，但是在两句话之间有比较长的间隔的时候，虚拟人会有长时间静止，展示效果不真实。
[0005]现有技术的第三种常见方案是从动作库中直接选择虚拟人动作数据，在动作库容量比较小的时候也比较容易发现重复动作，而无限扩大动作库也会使得存储空间变大，对于存储成本的要求变高。

技术实现思路

[0006]本专利技术提供一种基于无驱动源的虚拟人动作生成方法、装置和电子设备，用以解决现有技术中无驱动源情况下生成的虚拟人动作不真实、重复和成本高的缺陷，实现在无驱动源的情况下生成真实、多样和低成本的虚拟人动作。
[0007]本专利技术提供一种基于无驱动源的虚拟人动作生成方法，包括：在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列；对于所述初始动作序列中的当前的动作编码，将随机噪声、当前的动作编码以及与所述当前的动作编码对应的历史动作序列输入预训练的解码器，得到当前的动作编码对应的目标动作数据；其中，所述历史动作序列为在所述初始动作序列中，当前的动作编码之前的动作编码对应的目标动作数据组成的序列；根据所述初始动作序列中的每个动作编码对应的所述目标动作数据，确定目标动作序列。
[0008]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，所述在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列，包括：在预设时长未检测到驱动信号的情况下，在预设的动作码本中进行均匀采样，得到多个动作编码；根据所述均匀采样的采样顺序，将所述多个动作编码进行排列，得到初始动作序
列。
[0009]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，所述在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列，包括：在预设时长未检测到驱动信号的情况下，获取历史目标动作序列；将所述历史目标动作序列和预设的动作码本，输入预训练的先验概率模型，得到先验概率分布；根据所述先验概率分布在所述预设的动作码本中进行先验采样，得到动作编码；根据所述动作编码更新所述历史目标动作序列，并返回重新执行将所述历史目标动作序列和预设的动作码本，输入预训练的先验概率模型，得到先验概率分布的步骤，直至得到预设数量的多个动作编码；根据所述先验采样的采样顺序，将所述多个动作编码进行排列，得到初始动作序列。
[0010]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，所述预设的动作码本通过如下方式得到：获取动作样本数据；将所述动作样本数据输入动作编码器进行编码，得到动作样本特征；将所述动作样本特征输入编码离散化模块，将所述动作样本特征映射至预设的初始码本中的码字，得到动作样本离散化编码以及包括动作样本离散化编码对应码字的待优化动作码本；将所述动作样本离散化编码输入动作解码器进行动作重建，得到动作样本重建数据；根据所述动作样本数据和所述动作样本重建数据，对所述动作编码器、所述编码离散化模块、所述动作解码器和所述待优化动作码本进行优化，得到目标动作编码器、目标编码离散化模块、目标动作解码器和动作码本；其中，所述动作码本包括动作编码。
[0011]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，所述根据所述动作样本数据和所述动作样本重建数据，对所述动作编码器、所述编码离散化模块、所述动作解码器和所述待优化动作码本进行优化，得到目标动作编码器、目标编码离散化模块、目标动作解码器和动作码本，包括：根据所述动作样本数据和所述动作样本重建数据确定聚类损失；根据所述聚类损失调整所述动作编码器、所述编码离散化模块和所述动作解码器的参数，并返回重新执行所述将所述动作样本数据输入动作编码器进行编码，得到动作样本特征的步骤；在所述聚类损失满足预设条件的情况下，将所述动作编码器、所述编码离散化模块、所述动作解码器和所述待优化动作码本，确定为目标动作编码器、目标编码离散化模块、目标动作解码器和动作码本。
[0012]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，所述预训练的解码器通过如下方式训练得到：获取基于所述动作码本生成的初始动作序列样本，所述初始动作序列样本包括多
个动作样本离散化编码；对于每个所述动作样本离散化编码，将随机噪声、当前的动作样本离散化编码以及与所述当前的动作样本离散化编码对应的历史动作序列样本输入初始解码器，得到所述当前的动作样本离散化编码对应的动作样本解码数据；其中，所述历史动作序列样本为在所述初始动作序列样本中，当前的动作样本离散化编码之前的动作样本离散化编码对应的动作样本解码数据组成的序列；将所述历史动作序列样本和所述动作样本解码数据输入判别器，确定真实性损失；根据所述动作样本解码数据、所述目标动作编码器和所述目标编码离散化模块确定响应性损失；将所述动作样本解码数据和所述历史动作序列样本，输入噪声判别器进行噪声识别得到识别噪声，根据所述识别噪声和所述随机噪声确定多样性损失；根据所述真实性损失、所述响应性损失和所述多样性损失，对所述初始解码器、所述判别器和所述噪声识别器进行优化，得到预训练的解码器、判别器和噪声识别器。
[0013]根据本专利技术提供的一种基于无驱动源的虚拟人动作生成方法，根据所述动作样本解码数据、所述目标动作编码器和所述目标编码离散化模块确定响应性损失，包括：将所述动作样本解码数据输入所述目标动作编码器，得到动作样本验证特征；将所述动作样本验证特征输入所述目标编码离散化模块，将所述动作样本验证特征映射至所述动作码本中的码字，得到动作样本离散化验证编码；根据所述动作样本离散化验证编码和所述动作样本离散化编码，计算响应性损失。
[0014]本专利技术还提供一种基于无驱动源的虚拟人动作生成装置，包括：采集单元，用于在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列；生成单元，用于对于所述初始动作序列中的每个动作编码，将随机噪声、当前的动作编码以及与所述当前的动作编码对应的历史动作序列输入解码器，得到当前的动作编码对应的目标动作数据；其中，所述历史动作序列为在所述初始动作序列中，当前的动作编码之前的动作编码对应的目标动作数据组成的序列；根据所述初始动作序列中的每个动作编码对应的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无驱动源的虚拟人动作生成方法，其特征在于，包括：在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列；对于所述初始动作序列中的当前的动作编码，将随机噪声、当前的动作编码以及与所述当前的动作编码对应的历史动作序列输入预训练的解码器，得到当前的动作编码对应的目标动作数据；其中，所述历史动作序列为在所述初始动作序列中，当前的动作编码之前的动作编码对应的目标动作数据组成的序列；根据所述初始动作序列中的每个动作编码对应的所述目标动作数据，确定目标动作序列。2.根据权利要求1所述的基于无驱动源的虚拟人动作生成方法，其特征在于，所述在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列，包括：在预设时长未检测到驱动信号的情况下，在预设的动作码本中进行均匀采样，得到多个动作编码；根据所述均匀采样的采样顺序，将所述多个动作编码进行排列，得到初始动作序列。3.根据权利要求1所述的基于无驱动源的虚拟人动作生成方法，其特征在于，所述在预设时长未检测到驱动信号的情况下，在预设的动作码本中采集多个动作编码，根据所述多个动作编码生成初始动作序列，包括：在预设时长未检测到驱动信号的情况下，获取历史目标动作序列；将所述历史目标动作序列和预设的动作码本，输入预训练的先验概率模型，得到先验概率分布；根据所述先验概率分布在所述预设的动作码本中进行先验采样，得到动作编码；根据所述动作编码更新所述历史目标动作序列，并返回重新执行将所述历史目标动作序列和预设的动作码本，输入预训练的先验概率模型，得到先验概率分布的步骤，直至得到预设数量的多个动作编码；根据所述先验采样的采样顺序，将所述多个动作编码进行排列，得到初始动作序列。4.根据权利要求1所述的基于无驱动源的虚拟人动作生成方法，其特征在于，所述预设的动作码本通过如下方式得到：获取动作样本数据；将所述动作样本数据输入动作编码器进行编码，得到动作样本特征；将所述动作样本特征输入编码离散化模块，将所述动作样本特征映射至预设的初始码本中的码字，得到动作样本离散化编码以及包括动作样本离散化编码对应码字的待优化动作码本；将所述动作样本离散化编码输入动作解码器进行动作重建，得到动作样本重建数据；根据所述动作样本数据和所述动作样本重建数据，对所述动作编码器、所述编码离散化模块、所述动作解码器和所述待优化动作码本进行优化，得到目标动作编码器、目标编码离散化模块、目标动作解码器和动作码本；其中，所述动作码本包括动作编码。5.根据权利要求4所述的基于无驱动源的虚拟人动作生成方法，其特征在于，所述根据所述动作样本数据和所述动作样本重建数据，对所述动作编码器、所述编码离散化模块、所
述动作解码器和所述待优化动作码本进行优化，得到目标动作编码器、目标编码离散化模块、目标动作解码器和动作码本，包括：根据所述动作样本数据和所述动作样本重建数据确定聚类损失；根据所述聚类损失调整所述动作编码器、所述编码离散化模块和所述动作解码器的参数，并...

【专利技术属性】
技术研发人员：戴彬，周子怡，李威远，王宝元，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：