本申请公开了一种虚拟人驱动方法、装置、设备及可读存储介质，涉及计算机图形学领域，包括：获取视频帧数据，所述视频帧数据包括至少一个人物；根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度；根据所述三维空间坐标和所述旋转角度构建驱动文件；基于所述驱动文件对虚拟人进行驱动。可见，本申请能够直接通过视频帧数据构建驱动虚拟人的驱动文件，实现仅通过视频就可驱动虚拟人，相比于现有技术中先通过动作捕捉装置录制动作，再使用FBX动作文件来驱动虚拟人的方法，大大降低了使用成本，提高了虚拟人的可交互性。提高了虚拟人的可交互性。提高了虚拟人的可交互性。
【技术实现步骤摘要】
一种虚拟人驱动方法、装置、设备及可读存储介质
[0001]本申请涉及计算机图形学领域，更具体地说，涉及一种虚拟人驱动方法、装置、设备及可读存储介质。
技术介绍
[0002]在实时人体动作的捕捉与迁移是计算机视觉与计算机图形学领域中一个重要且基础的问题，它在虚拟现实及混合现实等领域有着非常广泛的应用。例如，在混合现实中，通过引入虚拟角色模型，再利用实时获得的人体运动进行驱动，也即虚拟人驱动，可以获得更丰富的交互体验。正是由于人的运动在日常生活中无处不在，人体运动的捕捉具有极高的科研和应用价值。
[0003]现有的虚拟人驱动方法主要是先通过动作捕捉装置录制动作，再使用FBX动作文件来驱动虚拟人。然而该方法的使用成本较高，极大地限制了虚拟人的可交互性。
技术实现思路
[0004]本申请实施例提供了一种虚拟人驱动方法、装置、设备及可读存储介质，相比于现有技术中先通过动作捕捉装置录制动作，再使用FBX动作文件来驱动虚拟人的方法，大大降低了使用成本，提高了虚拟人的可交互性。
[0005]有鉴于此，本申请实施例提供了一种虚拟人驱动方法，所述方法包括：
[0006]获取视频帧数据，所述视频帧数据包括至少一个人物；
[0007]根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度；
[0008]根据所述三维空间坐标和所述旋转角度构建驱动文件；
[0009]基于所述驱动文件对虚拟人进行驱动。
[0010]可选的，所述姿态估计模型包括ROMP模型和Mediapipe模型；根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度，包括：
[0011]将所述视频帧数据输入所述ROMP模型中，得到所述人物的躯干关节点的旋转角度和所述根关节点的局部旋转角度，所述躯干关节点为所述人物的关节点中除所述根关节点以外的关节点；
[0012]将所述视频帧数据输入所述Mediapipe模型中，得到所述人物的关节点的初始三维空间坐标；
[0013]对所述初始三维空间坐标进行重定位，得到所述人物的关节点的目标三维空间坐标；
[0014]基于所述目标三维空间坐标构建以所述根关节点为原点的目标坐标系；
[0015]根据所述根关节点的局部旋转角度和所述目标坐标系构建所述根关节点的旋转矩阵；
[0016]将所述旋转矩阵转化为所述根关节点的欧拉角，得到所述根关节点的全局旋转角度，并将所述根关节点的全局旋转角度作为所述根关节点的旋转角度；
[0017]根据所述全局旋转角度和所述人物的关节点的原始三维空间坐标计算得到所述人物的关节点的三维空间坐标，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标。
[0018]可选的，根据所述三维空间坐标和所述旋转角度构建驱动文件，包括：
[0019]创建初始驱动文件，所述初始驱动文件包括人物的关节点的原始三维空间坐标和原始旋转角度，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标，所述原始旋转角度为零；
[0020]将所述原始三维空间坐标替换为所述人物的关节点的三维空间坐标；
[0021]对所述人物的关节点的旋转角度进行镜像处理，得到所述人物的关节点的镜像旋转角度；
[0022]将所述原始旋转角度替换为所述镜像旋转角度；
[0023]设定缩放值，得到所述驱动文件。
[0024]可选的，在所述根据所述三维空间坐标和所述旋转角度构建驱动文件之前，所述方法还包括：
[0025]分别对所述三维空间坐标和所述旋转角度进行滤波处理，得到过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度；
[0026]则，所述根据所述三维空间坐标和所述旋转角度构建驱动文件，具体为：
[0027]根据过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度构建驱动文件。
[0028]可选的，所述分别对所述三维空间坐标和所述旋转角度进行滤波处理，得到过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度，包括：
[0029]通过一欧元滤波器分别对所述三维空间坐标和所述旋转角度进行初次滤波处理，得到初次过滤后的三维空间坐标和初次过滤后的旋转角度；
[0030]通过加权均值滤波器分别对所述初次过滤后的三维空间坐标和所述初次过滤后的旋转角度进行再次过滤，得到过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度。
[0031]本申请实施例还提供了一种虚拟人驱动装置，所述装置包括：
[0032]获取单元，用于获取视频帧数据，所述视频帧数据包括至少一个人物；
[0033]确定单元，用于根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度；
[0034]构建单元，用于根据所述三维空间坐标和所述旋转角度构建驱动文件；
[0035]驱动单元，用于基于所述驱动文件对虚拟人进行驱动。
[0036]可选的，所述姿态估计模型包括ROMP模型和Mediapipe模型；所述确定单元具体用于：
[0037]将所述视频帧数据输入所述ROMP模型中，得到所述人物的躯干关节点的旋转角度和所述根关节点的局部旋转角度，所述躯干关节点为所述人物的关节点中除所述根关节点以外的关节点；
[0038]将所述视频帧数据输入所述Mediapipe模型中，得到所述人物的关节点的初始三维空间坐标；
[0039]对所述初始三维空间坐标进行重定位，得到所述人物的关节点的目标三维空间坐标；
[0040]基于所述目标三维空间坐标构建以所述根关节点为原点的目标坐标系；
[0041]根据所述根关节点的局部旋转角度和所述目标坐标系构建所述根关节点的旋转矩阵；
[0042]将所述旋转矩阵转化为所述根关节点的欧拉角，得到所述根关节点的全局旋转角度，并将所述根关节点的全局旋转角度作为所述根关节点的旋转角度；
[0043]根据所述全局旋转角度和所述人物的关节点的原始三维空间坐标计算得到所述人物的关节点的三维空间坐标，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标。
[0044]可选地，所述构建单元具体用于：
[0045]创建初始驱动文件，所述初始驱动文件包括人物的关节点的原始三维空间坐标和原始旋转角度，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标，所述原始旋转角度为零；
[0046]将所述原始三维空间坐标替换为所述人物的关节点的三维空间坐标；
[0047]对所述人物的关节点的旋转角度进行镜像处理，得到所述人物的关节点的镜像旋转角度；
[0048]将所述原始旋转角度替换为所述镜像旋转角度；
[0049]设定缩放值，得到所述驱动文件。
[0050]本申请实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟人驱动方法，其特征在于，所述方法包括：获取视频帧数据，所述视频帧数据包括至少一个人物；根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度；根据所述三维空间坐标和所述旋转角度构建驱动文件；基于所述驱动文件对虚拟人进行驱动。2.根据权利要求1所述的方法，其特征在于，所述姿态估计模型包括ROMP模型和Mediapipe模型；根据所述视频帧数据和姿态估计模型确定所述人物的关节点的三维空间坐标和所述人物的关节点的旋转角度，包括：将所述视频帧数据输入所述ROMP模型中，得到所述人物的躯干关节点的旋转角度和所述根关节点的局部旋转角度，所述躯干关节点为所述人物的关节点中除所述根关节点以外的关节点；将所述视频帧数据输入所述Mediapipe模型中，得到所述人物的关节点的初始三维空间坐标；对所述初始三维空间坐标进行重定位，得到所述人物的关节点的目标三维空间坐标；基于所述目标三维空间坐标构建以所述根关节点为原点的目标坐标系；根据所述根关节点的局部旋转角度和所述目标坐标系构建所述根关节点的旋转矩阵；将所述旋转矩阵转化为所述根关节点的欧拉角，得到所述根关节点的全局旋转角度，并将所述根关节点的全局旋转角度作为所述根关节点的旋转角度；根据所述全局旋转角度和所述人物的关节点的原始三维空间坐标计算得到所述人物的关节点的三维空间坐标，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标。3.根据权利要求1所述的方法，其特征在于，根据所述三维空间坐标和所述旋转角度构建驱动文件，包括：创建初始驱动文件，所述初始驱动文件包括人物的关节点的原始三维空间坐标和原始旋转角度，所述原始三维空间坐标为所述人物处于绑定姿势时的三维空间坐标，所述原始旋转角度为零；将所述原始三维空间坐标替换为所述人物的关节点的三维空间坐标；对所述人物的关节点的旋转角度进行镜像处理，得到所述人物的关节点的镜像旋转角度；将所述原始旋转角度替换为所述镜像旋转角度；设定缩放值，得到所述驱动文件。4.根据权利要求1所述的方法，其特征在于，在所述根据所述三维空间坐标和所述旋转角度构建驱动文件之前，所述方法还包括：分别对所述三维空间坐标和所述旋转角度进行滤波处理，得到过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度；则，所述根据所述三维空间坐标和所述旋转角度构建驱动文件，具体为：根据过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度构建驱动文件。
5.根据权利要求4所述的方法，其特征在于，所述分别对所述三维空间坐标和所述旋转角度进行滤波处理，得到过滤后的所述人物的关节点的三维空间坐标和过滤后的所述人物的关节点的旋转角度，包括：通过一欧元滤波器分别对所述...
【专利技术属性】
技术研发人员：杨惠，吴红，向钊豫，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。