本发明专利技术公开了一种基于参数化模型的动作捕捉方法及系统，人体检测模块将采集RGB视频或搭配深度信息的RGBD视频，获取目标人物及双手的位置边界框；根据目标人物边界框中的区域图像和目标人物双手边界框的区域图像，足部触地检测模块利用二分类算法模型获得人物双脚的二分类结果；人体姿态捕捉模块利用人体参数化三维模型，捕捉、估计人体各个关节点的旋转值；绝对位置估计模块通过绝对位置估计算法获得目标人物在相机坐标系中的3D坐标；数据优化模块根据人体各个关节点的旋转值、人体在相机坐标系中的坐标、人物双脚是否接地的二分类结果，通过均值滤波处理和逆运动学优化算法，获得优化后消除脚部滑动、漂浮的旋转值和人体在相机坐标系中的坐标。
【技术实现步骤摘要】
本专利技术涉及计算机视觉及人体动作捕捉，更具体的说是涉及一种基于参数化模型的动作捕捉方法及系统。
技术介绍
1、目前，人体动作捕捉方法是数字人、元宇宙亟需的技术，且已有较多成熟的方案，当前的人体动作捕捉技术已经能够在不穿戴任何设备，仅需摄像头的情况下，捕捉到较为精确的动作，相比需要穿戴设备的动作捕捉方法，降低了动作捕捉的成本。
2、但是，依靠摄像头进行动作捕捉的方法多数仅关注肢体部分，而忽略手部的动作，且动作捕捉的结果常常会出现脚部漂移、滑动的负面效果，影响观感。
3、因此，如何捕捉全身的动作同时消除脚部滑动，还原更加真实的动作是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于参数化模型的动作捕捉方法及系统以解决
技术介绍
中提到的部分技术问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于参数化模型的动作捕捉方法，包括以下步骤：
4、s1.采集rgb视频或搭配深度信息的rgbd视频；
5、s2.定位视频画面中目标人物的位置，同时定位目标人物双手的位置，获取目标人物及其双手的位置边界框；
6、s3.根据目标人物边界框中的区域图像，利用二分类算法模型，获得人物双脚的二分类结果，判断人物双脚与地面是否有接触；
7、根据目标人物边界框中的区域图像和目标人物双手边界框的区域图像，利用人体参数化三维模型，捕捉、估计人体各个关节点的旋转值；
8、根据目标人物边界框中的区域图像，通过绝对位置估计算法获得目标人物在相机坐标系中的3d坐标，估计目标人物的位移信息；
9、s4.根据人体各个关节点的旋转值、人体在相机坐标系中的坐标、人物双脚是否接地的二分类结果，通过均值滤波处理和逆运动学的优化算法，获得优化后消除脚部滑动、漂浮的旋转值和人体在相机坐标系中的坐标。
10、优选的，s2中获得目标人物及其双手的位置边界框是通过主流目标检测算法yolo实现。
11、优选的，步骤s3中二分类算法模型包括多层感知机mlp，其中包括一个输入层，三个隐藏层，一个输出层，五层网络均为全连接层，二分类算法模型的损失函数采用二分类交叉熵损失函数。
12、优选的，步骤s3中人体参数化三维模型包含一个编码器，一个空间特征金字塔网络，以及一个回归器；
13、输入的图像经过编码器输出包含丰富语义信息的特征图后，输入空间金字塔网络进一步提取特征，最后通过回归器输出人体参数化三维模型所需的输入参数和估计的相机参数，输入参数为各个骨骼点的旋转值，通过前向运动学和相机参数得到人体的3d关键点位置和2d关键点位置，并用于损失函数的计算，通过重建损失函数训练人体参数化三维模型。
14、优选的，训练人体参数化三维模型的重建损失函数具体为：
15、lreg＝λ2d||k-kgt||+λ3d||j-jgt||+λpara||θ-θgt||
16、其中，k表示2d关键点位置，j表示3d关键点位置，θ表示人体参数化三维模型输入参数和相机参数，λ表示不同部分的权重，||·||表示l2范数。
17、优选的，步骤s3中绝对位置估计算法包括主干网络和两个回归器，其中主干网络由多层卷积层构成，回归器主要由全连接层构成，图像经过主干网络提取特征，分别输入两个回归器，分别估计出相机参数和相对根节点的3d坐标，再通过估计的相机参数将相对根节点的3d坐标转换成相机坐标系的绝对3d坐标。
18、优选的，绝对位置估计算法的损失函数为l1范数，具体为：
19、l＝||r-rgt||1
20、其中，r表示相机坐标系的绝对3d坐标。
21、优选的，步骤s2中包括单人模式或多人模式，其中单人模式中，若画面出现多人，则只输出边界框占画面比重最大的一个；多视角模式，将不同视角中的同一人物的边界框通过匹配算法进行匹配，定位同一个人在不同视角中的位置；
22、步骤s3中，多视角模式时，将多个视角的二分类结果进行汇总，以各个视角中占多数的分类结果为人物双脚的二分类结果；将各个视角输出的旋转值通过多视角融合算法输出最终的旋转值；多个视角估计的3d坐标的均值为目标人物在相机坐标系中的3d坐标。
23、优选的，步骤s4的具体内容包括：
24、s41.将人体各个关节点的旋转值和人体在相机坐标系中的坐标，通过均值滤波处理，消除数据中的抖动信息；
25、s42.通过插值的方法，根据人体左右脚是否接触地面的二分类结果计算新的脚部关键点的位置；
26、s43.以新的脚部关键点的位置为约束，通过迭代地数值优化的方式优化人体各个关节点的旋转值。
27、一种基于参数化模型的动作捕捉系统，包括人体检测模块、足部触地检测模块、人体姿态捕捉模块、绝对位置估计模块和数据优化模块；
28、人体检测模块，用于将采集rgb视频或搭配深度信息的rgbd视频，定位视频画面中目标人物的位置，同时定位目标人物双手的位置，获取目标人物及其双手的位置边界框；
29、足部触地检测模块，根据目标人物边界框中的区域图像，利用二分类算法模型，获得人物双脚的二分类结果，判断人物双脚与地面是否有接触；
30、人体姿态捕捉模块，用于根据目标人物边界框中的区域图像和目标人物双手边界框的区域图像，利用人体参数化三维模型，捕捉、估计人体各个关节点的旋转值；
31、绝对位置估计模块，用于根据目标人物边界框中的区域图像，通过绝对位置估计算法获得目标人物在相机坐标系中的3d坐标，估计目标人物的位移信息；
32、数据优化模块，根据人体各个关节点的旋转值、人体在相机坐标系中的坐标、人物双脚是否接地的二分类结果，通过均值滤波处理和逆运动学的优化算法，获得优化后消除脚部滑动、漂浮的旋转值和人体在相机坐标系中的坐标。
33、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于参数化模型的动作捕捉方法及系统，具有以下优点：
34、通过价格低廉的家用rgb摄像头实现动作捕捉和驱动数字虚拟人的效果，部署简单、快捷；
35、提供了端到端的动作捕捉系统和数据优化方法，在实际操作中，仅需要输入rgb视频，即可获得经过优化的动作捕捉数据，达到更加真实的效果；
36、可选多视角方案使得动作捕捉结果更准确且稳定；
37、能够捕捉到手部的细节信息，结合身体的信息可以应用于更多实际场景；
38、数据优化方法能够进一步优化动作捕捉的结果，达到更加拟人、真实的驱动效果，处理速度快，且设置灵活，具有普适性，经过简单的修改即可应用于具有不同骨骼结构的虚拟数字人模型。
本文档来自技高网...
【技术保护点】
1.一种基于参数化模型的动作捕捉方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，S2中获得目标人物及其双手的位置边界框是通过主流目标检测算法YOLO实现。
3.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤S3中二分类算法模型包括多层感知机MLP，其中包括一个输入层，三个隐藏层，一个输出层，五层网络均为全连接层，二分类算法模型的损失函数采用二分类交叉熵损失函数。
4.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤S3中人体参数化三维模型包含一个编码器，一个空间特征金字塔网络，以及一个回归器；
5.根据权利要求4所述的一种基于参数化模型的动作捕捉方法，其特征在于，训练人体参数化三维模型的重建损失函数具体为：
6.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤S3中绝对位置估计算法包括主干网络和两个回归器，其中主干网络由多层卷积层构成，回归器主要由全连接层构成，图像经过主干网络提取特征，分别输入两个回归器，分别估计出相机参数和相对根节点的3D坐标，再通过估计的相机参数将相对根节点的3D坐标转换成相机坐标系的绝对3D坐标。
7.根据权利要求6所述的一种基于参数化模型的动作捕捉方法，其特征在于，绝对位置估计算法的损失函数为L1范数，具体为：
8.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤S2中包括单人模式或多人模式，其中单人模式中，若画面出现多人，则只输出边界框占画面比重最大的一个；多视角模式，将不同视角中的同一人物的边界框通过匹配算法进行匹配，定位同一个人在不同视角中的位置；
9.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤S4的具体内容包括：
10.一种基于参数化模型的动作捕捉系统，其特征在于，基于权利要求1-9任意一项所述的一种基于参数化模型的动作捕捉方法，包括人体检测模块、足部触地检测模块、人体姿态捕捉模块、绝对位置估计模块和数据优化模块；
...
【技术特征摘要】
1.一种基于参数化模型的动作捕捉方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，s2中获得目标人物及其双手的位置边界框是通过主流目标检测算法yolo实现。
3.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤s3中二分类算法模型包括多层感知机mlp，其中包括一个输入层，三个隐藏层，一个输出层，五层网络均为全连接层，二分类算法模型的损失函数采用二分类交叉熵损失函数。
4.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤s3中人体参数化三维模型包含一个编码器，一个空间特征金字塔网络，以及一个回归器；
5.根据权利要求4所述的一种基于参数化模型的动作捕捉方法，其特征在于，训练人体参数化三维模型的重建损失函数具体为：
6.根据权利要求1所述的一种基于参数化模型的动作捕捉方法，其特征在于，步骤s3中绝对位置估计算法包括主干网络和两个回归器，其中主干网络由多层卷积层构成...
【专利技术属性】
技术研发人员：陈靖涵，张鹏飞，苏江，
申请(专利权)人：暗物质北京智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。