一种基于三维模型的人体动作捕捉方法技术

本发明专利技术涉及动作捕捉技术领域，且公开了一种基于三维模型的人体动作捕捉方法，包括以下步骤：S1：对拍摄地进行场景布置；S2：被动形式人体动作捕捉或主动人体动作捕捉，通过3Dmash表示；S201：被动形式人体动捕，通过人体佩戴的传感器，且通过在周围部署的多个红外激光摄像头，主动向人体发射特定的红外激光，该激光打到光标上会反射，摄像头通过接受这些反射光计算每个光标的空间位置；S202：通过部署多个经过相机标定的摄像头，我们在每个摄像头上都进行2D人体姿态估计得到每个人体的关节点，通过多视角几何，能够计算出关节点的空间位置。通过被动形式人体动作捕捉或主动人体动作捕捉，来自由选择，以根据需求和预算，来实现对人体动作捕捉的方式。动作捕捉的方式。

【技术实现步骤摘要】
一种基于三维模型的人体动作捕捉方法


[0001]本专利技术涉及动作捕捉
，具体为一种基于三维模型的人体动作捕捉方法。

技术介绍

[0002]动作捕捉是指通过对物体在三维空间中的运动进行记录，并将其运动轨迹模拟到数字模型中。例如，通过检测，记录表演者的肢体在三维空间的运动轨迹，捕获表演者的姿态动作，将捕获的姿态动作转换为数字化的抽象动作，以控制软件应用中的虚拟模型做出和表演者相同的动作，生成动画序列。近年来，动作捕捉技术主要应用于影视动画以及游戏制作中。
[0003]现有技术中，动作捕捉通常包括以下两类：1)基于设备的动作捕捉技术，其需依赖于昂贵的动捕设备得以实现，具体而言，主要通过各种传感器设备对表演者的肢体关节点位移等信息进行测量，获取这些关节点的三维空间坐标，从而重构出表演者的姿态动作；2)基于视频的动作捕捉技术，主要采用单视角或多视角拍摄的人物运动视频，利用深度学习技术从视频中预测人体关节点的运动参数。
[0004]但第一种基于设备的动作捕捉方式成本过高，且需要专业人员操作，捕捉动作较为繁琐耗时。第二种基于视频的动作捕捉动作准确性不高，且前后帧不连续导致动作抖动不流畅。
[0005]针对现有技术中，动作捕捉技术在实现过程中的成本过高，并且在实现过程中准确性以及处理效率均不理想的问题，现有技术尚未提供有效的解决方案。

技术实现思路

[0006](一)解决的技术问题
[0007]针对现有技术的不足，本专利技术提供了一种基于三维模型的人体动作捕捉方法。
[0008](二)技术方案
[0009]为实现上述目的，本专利技术提供如下技术方案：一种基于三维模型的人体动作捕捉方法，包括以下步骤：
[0010]S1：对拍摄地进行场景布置；
[0011]S2：被动形式人体动作捕捉或主动人体动作捕捉，通过3D mash表示；
[0012]S201：被动形式人体动捕，通过人体佩戴的传感器，且通过在周围部署的多个红外激光摄像头，主动向人体发射特定的红外激光，该激光打到光标上会反射，摄像头通过接受这些反射光计算每个光标的空间位置；
[0013]S202：通过部署多个经过相机标定的摄像头，我们在每个摄像头上都进行2D人体姿态估计得到每个人体的关节点，通过多视角几何，我们能够计算出关节点的空间位置，通过这种技术，人体不需要佩戴传感器或者光标，能够实现比较轻松的动作采集；
[0014]S203：人体佩戴传感器，其可以通过自己发射特定的激光信息到周围部署的摄像头，实现多目定位，或可以通过牛顿力学原理计算初始位置记起的每个时刻的空间位置状
态；
[0015]S3：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模；
[0016]S4：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型；
[0017]S5：根据人体结构及人体动作的三维模型构建出人体动作骨架，建立人体动作的骨架数据库；
[0018]S6:获取视频数据，所述视频数据包括若干帧图像，每一帧图像中包含待捕捉人物的运动姿态动作数据；
[0019]S7：基于第一神经网络模型，提取每一帧图像中待捕捉人物的边框坐标数据；
[0020]基于第二神经网络模型，根据所述待捕捉人物的边框坐标数据，获取所述每一帧图像中的待捕捉人物的关键点二维坐标数据；
[0021]将所述二维坐标数据输入至三维动作方向预测模型，获取所述每一帧图像中的待捕捉人物的三维方向向量预测数据；
[0022]S8：根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；
[0023]三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；
[0024]使用前述的旋转四元数驱动三维动画模型；
[0025]对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。
[0026]优选的，所述S1中，包括对现场进行场景搭建、布置红外激光摄像头和传感器建立，人体穿搭佩戴传感器。
[0027]优选的，所述传感器包括惯性传感器IMU、红外光信标、RGB摄像头或RGBD摄像头。
[0028]优选的，所述S2中，人体穿搭佩戴传感器分为主动发送定位信号和不发送信号两种，所述201中，佩戴的是会反射特定红外激光的光标。
[0029]优选的，所述S8中，使用旋转四元数驱动三维动画模型的操作包括：
[0030]根据检测输出的人体的脊柱底根关键点确定动画模型的当前位置；
[0031]根据关键点计算得到的各骨骼的相对旋转四元数，从脊柱底根关键点开始，使用FK前向动力学方式驱动动画模型的各个骨骼绕关节旋转，再利用LBS线性混合蒙皮实现骨骼控制蒙皮变形，渲染姿势进行更新人体动画模型，得到一帧动画图像。
[0032]优选的，所述S7中，所述第一神经网络模型为对称空间变换网络神经模型，所述第二神经网络模型为堆叠式沙漏神经网络模型。
[0033]优选的，所述S2中，通过人体3D mesh表示时，但是这个mesh并不包括人体的细节，比如表情，手势，脚踝的转动等。
[0034]优选的，所述S2中，通过人体细节3D mesh表示时，这个mesh包含着人体的脸部表情，手势和脚踝转动等细节。
[0035](三)有益效果
[0036]与现有技术相比，本专利技术提供了一种基于三维模型的人体动作捕捉方法，具备以下有益效果：
[0037]1、该一种基于三维模型的人体动作捕捉方法，通过被动形式人体动作捕捉或主动人体动作捕捉，来自由选择，以根据需求和预算，来实现对人体动作捕捉的方式。
[0038]2、该一种基于三维模型的人体动作捕捉方法，通过在人体上暗转那个传感器作为标记点，在进行活动时，更容易对其进行动作捕捉，提高捕捉的精准性。
具体实施方式
[0039]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0040]所述实施例的示例中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0041]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0042本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维模型的人体动作捕捉方法，其特征在于，包括以下步骤：S1：对拍摄地进行场景布置；S2：被动形式人体动作捕捉或主动人体动作捕捉，通过3Dmash表示；S201：被动形式人体动捕，通过人体佩戴的传感器，且通过在周围部署的多个红外激光摄像头，主动向人体发射特定的红外激光，该激光打到光标上会反射，摄像头通过接受这些反射光计算每个光标的空间位置；S202：通过部署多个经过相机标定的摄像头，我们在每个摄像头上都进行2D人体姿态估计得到每个人体的关节点，通过多视角几何，我们能够计算出关节点的空间位置，通过这种技术，人体不需要佩戴传感器或者光标，能够实现比较轻松的动作采集；S203：人体佩戴传感器，其可以通过自己发射特定的激光信息到周围部署的摄像头，实现多目定位，或可以通过牛顿力学原理计算初始位置记起的每个时刻的空间位置状态；S3：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模；S4：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型；S5：根据人体结构及人体动作的三维模型构建出人体动作骨架，建立人体动作的骨架数据库；S6:获取视频数据，所述视频数据包括若干帧图像，每一帧图像中包含待捕捉人物的运动姿态动作数据；S7：基于第一神经网络模型，提取每一帧图像中待捕捉人物的边框坐标数据；基于第二神经网络模型，根据所述待捕捉人物的边框坐标数据，获取所述每一帧图像中的待捕捉人物的关键点二维坐标数据；将所述二维坐标数据输入至三维动作方向预测模型，获取所述每一帧图像中的待捕捉人物的三维方向向量预测数据；S8：根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；使用前述的旋...

【专利技术属性】
技术研发人员：池前程，
申请(专利权)人：武汉奥贝赛维数码科技有限公司，
类型：发明
国别省市：