基于文字的虚拟人模型驱动方法、装置和计算机设备制造方法及图纸

本申请属于人工智能的机器学习技术领域，可用于金融领域的投资教育、医疗领域的病理教学等场景，特别涉及一种基于文字的虚拟人模型驱动方法、装置和计算机设备。方法包括：获取待处理的文本；基于所述文本获得第一动作序列；基于每一所述第一姿态帧，对应的第一预设格式文件；分别判断每一所述第一预设格式文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况是否满足第一预设条件；若是，则将所述第一预设文件对应的第一姿态帧设为目标姿态帧；将所有所述目标姿态帧进行整合，获得目标动作序列；基于所述目标动作序列驱动所述预设虚拟人模型。上述方法、装置和计算机设备可简化虚拟人模型驱动的过程。简化虚拟人模型驱动的过程。简化虚拟人模型驱动的过程。

【技术实现步骤摘要】
基于文字的虚拟人模型驱动方法、装置和计算机设备


[0001]本申请涉及人工智能的机器学习
，具体而言，本申请涉及一种基于文字的虚拟人模型驱动方法、装置和计算机设备。

技术介绍

[0002]目前，虚拟人技术应用于诸多领域(如金融领域的投资教育、医疗领域的病理教学等虚拟人网络视频教学)，而虚拟人模型的生成与驱动是一个虚拟人产品是否能实现的最重要的两个环节，建模是生成虚拟人的肉体，驱动方法则是让虚拟人获得灵魂。现在主流的驱动方法有基于视觉的驱动方法、基于动作捕捉设备的驱动方法等，例如，基于视觉的驱动方法是依靠摄像头或者视频获取现实中人的动作数据，并将这些动作数据一帧帧映射到模型上，从而使模型运动，而基于动作捕捉设备的驱动方法则使用动作捕捉设备(如动捕服)将穿戴者的动作数据直接绑定到模型的骨骼上，从而驱动模型。由上可知，主流的驱动方法需要预先布置动作信息获取精度较高的硬件设备或预先准备相应的动作视频素材，无法方便、快捷地驱动虚拟人模型。

技术实现思路

[0003]本申请的主要目的为提供一种基于文字的虚拟人模型驱动方法、装置和计算机设备，旨在解决应用现有的虚拟人驱动方式驱动虚拟人模型的过程较为复杂的技术问题。
[0004]为了实现上述专利技术目的，本申请提供一种基于文字的虚拟人模型驱动方法，包括：
[0005]获取待处理的文本；
[0006]基于所述文本获得第一动作序列，其中，所述第一动作序列中包括多个第一姿态帧；
[0007]基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件，其中，所述第一预设格式文件中包括所述第一姿态帧的关节点坐标；
[0008]分别判断每一所述第一预设格式文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况是否满足第一预设条件；
[0009]若所述第一预设文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况满足第一预设条件，则将所述第一预设文件对应的第一姿态帧设为目标姿态帧；
[0010]将所有所述目标姿态帧进行整合，获得目标动作序列；
[0011]基于所述目标动作序列驱动所述预设虚拟人模型。
[0012]在一个实施例中，所述基于所述文本获得第一动作序列的步骤，包括；
[0013]将所述文本输入预训练的动作序列生成模型，生成初始动作序列，其中，所述初始动作序列包括多个初始姿态帧；
[0014]将所述文本和每一所述初始姿态帧分别输入预训练的CLIP模型，获得每一所述初始姿态帧与所述文本的相似度；
[0015]分别判断每一所述初始姿态帧与所述文本的相似度是否满足第二预设条件；
[0016]若所述初始姿态帧与所述文本的相似度满足第二预设条件，则将所述初始姿态帧设定为第一姿态帧；
[0017]将所有所述第一姿态帧进行整合，获得第一动作序列。
[0018]在一个实施例中，所述基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件的步骤，包括：
[0019]将每一所述第一姿态帧输入预训练的姿态解算模型，获得每一所述第一姿态帧对应的第一预设格式文件。
[0020]在一个实施例中，所述将所有所述目标姿态帧进行整合，获得目标动作序列的步骤，包括：
[0021]判断所有所述目标姿态帧中是否具有相似度满足第三预设条件的至少两个所述目标姿态帧；
[0022]若是，则进行去重处理，获得优化目标姿态帧集；
[0023]若否，则将所有所述目标姿态帧的集合设定为优化目标姿态帧集；
[0024]将所述目标姿态帧集中的目标姿态帧按照预设规则进行排序，获得目标动作序列。
[0025]在一个实施例中，在所述将所述文本输入预训练的动作序列生成模型的步骤之前，还包括：
[0026]对所述文本进行关键字抽取的预处理。
[0027]在一个实施例中，所述预训练的CLIP模型包括文本编码器和图像编码器，所述初始姿态帧与所述文本的相似度由如下公式获得：
[0028]S＝1
‑
norm(f
p
)*norm(f
T
),
[0029]其中，S为相似度，f
p
为所述姿态帧经由所述图像编码器输出的编码值，f
T
为所述文本经由所述文本编码器输出的编码值。
[0030]在一个实施例中，所述预训练的CLIP模型的训练损失由如下公式获得：
[0031][0032]其中，Loss为训练损失，L为训练样本序列的姿态帧的总数量，i为训练样本序列的第i个姿态帧，γ(i)为第i个姿态帧的正则化参数，S
i
为第i个姿态帧与所述文本的相似度。
[0033]本申请还提供一种基于文字的虚拟人模型驱动装置，包括：
[0034]文本获取模块，用于获取待处理的文本；
[0035]第一动作序列获取模块，用于基于所述文本获得第一动作序列，其中，所述第一动作序列中包括多个第一姿态帧；
[0036]第一预设格式文件获取模块，用于基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件，其中，所述第一预设格式文件中包括所述第一姿态帧的关节点坐标；
[0037]判断模块，用于分别判断每一所述第一预设格式文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况是否满足第一预设条件；
[0038]第一执行模块，用于当所述第一预设文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况满足第一预设条件时，将所述第一预设文件对应的第一姿态帧设为目标姿态帧；
[0039]目标动作序列获取模块，用于将所有所述目标姿态帧进行整合，获得目标动作序列；
[0040]虚拟人模型驱动模块，用于基于所述目标动作序列驱动所述预设虚拟人模型。
[0041]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例提供的基于文字的虚拟人模型驱动方法的步骤。
[0042]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例提供的基于文字的虚拟人模型驱动方法的步骤。
[0043]本申请所提供的一种基于文字的虚拟人模型驱动方法、装置和计算机设备，包括获取待处理的文本；基于所述文本获得第一动作序列，其中，所述第一动作序列中包括多个第一姿态帧；基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件，其中，所述第一预设格式文件中包括所述第一姿态帧的关节点坐标；分别判断每一所述第一预设格式文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况是否满足第一预设条件；若所述第一预设文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况满足第一预设条件，则将所述第一预设文件对应的第一姿态帧设为目标姿态帧；将所有所述目标姿态帧进行整合，获得目标动作序列；基于所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文字的虚拟人模型驱动方法，其特征在于，包括：获取待处理的文本；基于所述文本获得第一动作序列，其中，所述第一动作序列中包括多个第一姿态帧；基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件，其中，所述第一预设格式文件中包括所述第一姿态帧的关节点坐标；分别判断每一所述第一预设格式文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况是否满足第一预设条件；若所述第一预设文件中的关节点坐标与预设虚拟人模型的骨骼关节点对齐的情况满足第一预设条件，则将所述第一预设文件对应的第一姿态帧设为目标姿态帧；将所有所述目标姿态帧进行整合，获得目标动作序列；基于所述目标动作序列驱动所述预设虚拟人模型。2.根据权利要求1所述的基于文字的虚拟人模型驱动方法，其特征在于，所述基于所述文本获得第一动作序列的步骤，包括；将所述文本输入预训练的动作序列生成模型，生成初始动作序列，其中，所述初始动作序列包括多个初始姿态帧；将所述文本和每一所述初始姿态帧分别输入预训练的CLIP模型，获得每一所述初始姿态帧与所述文本的相似度；分别判断每一所述初始姿态帧与所述文本的相似度是否满足第二预设条件；若所述初始姿态帧与所述文本的相似度满足第二预设条件，则将所述初始姿态帧设定为第一姿态帧；将所有所述第一姿态帧进行整合，获得第一动作序列。3.根据权利要求1所述的基于文字的虚拟人模型驱动方法，其特征在于，所述基于每一所述第一姿态帧，获得每一所述第一姿态帧对应的第一预设格式文件的步骤，包括：将每一所述第一姿态帧输入预训练的姿态解算模型，获得每一所述第一姿态帧对应的第一预设格式文件。4.根据权利要求1所述的基于文字的虚拟人模型驱动方法，其特征在于，所述将所有所述目标姿态帧进行整合，获得目标动作序列的步骤，包括：判断所有所述目标姿态帧中是否具有相似度满足第三预设条件的至少两个所述目标姿态帧；若是，则进行去重处理，获得优化目标姿态帧集；若否，则将所有所述目标姿态帧的集合设定为优化目标姿态帧集；将所述目标姿态帧集中的目标姿态帧按照预设规则进行排序，获得目标动作序列。5.根据权利要求2所述的基于文字的虚拟人模型驱动方法，其特征在于，在所述将所述文本输入预训练的动作序列生成模型的步骤之前，还包括：对所述文本进行关键字抽取的预处理。6.根据权利要求2所述...

【专利技术属性】
技术研发人员：郑喜民，黄嘉铉，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：