【技术实现步骤摘要】
目标模型生成方法、动画生成方法、装置和电子设备
[0001]本公开涉及人工智能领域，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景。具体涉及一种目标模型生成方法、动画生成方法、装置和电子设备。
技术介绍
[0002]相关技术中，三维(3
‑
dimension，3D)动画主要是利用3ds max或Maya等三维建模软件制作完成，具体流程为制作模型，绘制贴图及纹理，骨骼搭建，蒙皮与绑定权重等制作动作。
技术实现思路
[0003]本公开提供了一种目标模型生成方法、动画生成方法、装置和电子设备。
[0004]根据本公开的第一方面，提供了一种目标模型生成方法，包括：
[0005]基于目标视频数据，生成第一姿态参数，其中，所述目标视频数据包括至少两个视频帧，所述第一姿态参数包括与所述至少两个视频帧一一对应的第一子参数，所述第一子参数包括所对应的视频帧中的第一角色模型的姿态参数；
[0006]基于所述目标视频数据，生成第二姿态参数，其中...
【技术保护点】
【技术特征摘要】
1.一种目标模型生成方法，包括：基于目标视频数据，生成第一姿态参数，其中，所述目标视频数据包括至少两个视频帧，所述第一姿态参数包括与所述至少两个视频帧一一对应的第一子参数，所述第一子参数包括所对应的视频帧中的第一角色模型的姿态参数；基于所述目标视频数据，生成第二姿态参数，其中，所述第二姿态参数包括与所述至少两个视频帧一一对应的第二子参数，所述第二子参数包括第二角色模型处于第一姿态时的姿态参数，所述第一姿态为所述第二子参数所对应的视频帧中的所述第一角色模型的姿态；将所述第一姿态参数输入预先构建的初始模型进行转换，得到第三姿态参数，所述第三姿态参数为用于将所述第二角色模型的姿态调整至所述第一姿态的姿态参数；基于所述第二姿态参数和所述第三姿态参数对所述初始模型进行参数优化，得到目标模型。2.根据权利要求1所述的方法，其中，所述第一角色模型为人体骨骼模型，所述第二角色模型为具有蒙皮的人体模型。3.根据权利要求1所述的方法，其中，所述基于所述第二姿态参数和所述第三姿态参数对所述初始模型进行参数优化，得到目标模型，包括：计算所述第二姿态参数与所述第三姿态参数之间的姿态差值信息，所述姿态差值信息用于指示：所述第二角色模型处于所述第二姿态参数所指示的姿态时与所述第二角色模型处于所述第三姿态参数所指示的姿态时之间的姿态差异；基于所述姿态差值信息对所述初始模型的蒙皮权重进行优化，得到所述目标模型。4.根据权利要求3所述的方法，其中，所述姿态差值信息包括多个子差值，其中，所述多个子差值与所述第二角色模型的多个关节点一一对应，所述基于所述姿态差值信息对所述初始模型的蒙皮权重进行优化，得到所述目标模型，包括：在所述多个子差值中，存在至少一个子差值大于预设阈值的情况下，对所述初始模型的蒙皮权重进行迭代更新至收敛，得到所述目标模型，其中，所述目标模型的收敛条件为所述多个子差值分别小于或等于所述预设阈值。5.根据权利要求1所述的方法，其中，所述基于目标视频数据，生成第一姿态参数，包括：基于人体姿态估计算法对所述至少两个视频帧的每个视频帧进行识别，得到每个视频帧所对应的关节点位置信息，所述关节点位置信息包括所对应的视频帧中的第一角色模型的各个关键点的位置坐标；基于反向动力学算法对所述每个视频帧所对应的关节点位置信息进行计算，得到所述至少两个第一子参数。6.根据权利要求1所述的方法，其中，所述基于目标视频数据，生成第二姿态参数，包括：基于多人皮肤线性SMPL模型对所述至少两个视频帧的每个视频帧进行识别，得到每个视频帧所对应的初始姿态参数，所述初始姿态参数用于表征所对应的视频帧中的第一角色模型的姿态；基于所述第一角色模型与所述第二角色模型之间的三角网格映射关系数据，将每个所
述初始姿态参数所指示的姿态映射至所述第二角色模型，得到所述至少两个第二子参数。7.根据权利要求6所述的方法，其中，所述SMPL模型包括重建损失函数，所述重建损失函数基于人体关节点的重投影配准误差生成。8.根据权利要求1所述的方法，其中，所述初始模型用于基于变形迁移DT算法建立所述第一角色模型的三角网格与所述第二角色模型的三角网格之间的对应关系。9.根据权利要求1所述的方法，其中，所述方法还包括：获取初始视频数据，所述初始视频数据的各个初始视频帧包括所述第一角色模型的图像内容；对所述初始视频数据中的每个初始视频帧的目标区域进行裁剪，得到至少两个目标区域的图像内容，所述目标区域为所述初始视频帧中包含所述第一角色模型的图像区域；基于所述至少两个目标区域的图像内容，生成所述至少两个视频帧，其中，所述目标区域位于所对应的视频帧中的居中位置。10.一种动画生成方法，包括：获取第一姿态参数，所述第一姿态参数为第一角色模型的姿态参数；将所述第一姿态参数输入目标模型进行转换，得到第二姿态参数，其中，所述第二姿态参数包括将所述第一姿态迁移至第二角色模型之后，所述第二角色模型的姿态参数，所述第一姿态为所述第一姿态参数所指示的所述第一角色模型的姿态；基于所述第二姿态参数调整所述第二角色模型的姿态，得到目标动画数据。11.根据权利要求10所述的方法，其中，所述目标模型为基于第三姿态参数和第四姿态参数对初始模型进行参数优化，得到的模型；所述第三姿态参数包括与至少两个视频帧一一对应的第一子参数，所述第一子参数包括所述第二角色模型处于第三姿态时的姿态参数，所述第三姿态为所述第一子参数所对应的视频帧中的第一角色模型的姿态；所述第四姿态参数为将第五姿态参数输入所述初始模型进行转换之后，得到的姿态参数；所述第四姿态参数为用于将所述第二角色模型的姿态调整至所述第三姿态的姿态参数，所述第五姿态参数包括与所述至少两个视频帧一一对应的至少两个第二子参数，所述第二子参数包括所对应的视频帧中的第一角色模型的姿态参数。12.一种目标模型生成装置，包括：第一生成模块，用于基于目标视频数据，生成第一姿态参数，其中，所述目标视频数据包括至少两个视频帧，所述第一姿态参数包括与所述至少两个视频帧一一对应的第一子参数，所述第一子参数包括所对应的视频帧中的第一角色模型的姿态参数；第二生成模块，还用于基于所述目标视频数据，生成第二姿态参数，其中，所述第二姿态参数包括与所述至少两个视频帧一一对应的第二子参数，所述第二子参数包括第二角色模型处于第一姿态时的姿态参数，所述第一姿态为所述第二子参数所对应的视频帧中的所述第一角色模型的姿态；第...
【专利技术属性】
技术研发人员：李杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。