一种动作捕捉方法及相关设备技术

本申请实施例提供了一种动作捕捉方法及相关设备，涉及人工智能领域。该方法包括：对拍摄对象进行多机位拍摄，获得多个拍摄视频，多个拍摄视频的拍摄视角不同。确定多个拍摄视频中每一个拍摄视频对应的拍摄对象的关键点的二维坐标。根据每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的多个三维姿态，其中，多个拍摄视频与多个三维姿态一一对应。根据多个三维姿态，确定多机位之间的相对位置信息。根据多机位之间的相对位置信息和每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的三维立体姿态。根据拍摄对象的三维立体姿态确定拍摄对象的动作状态。态。态。

【技术实现步骤摘要】
一种动作捕捉方法及相关设备


[0001]本申请涉及人工智能领域，尤其涉及一种动作捕捉方法及相关设备。

技术介绍

[0002]近几年来，随着机器学习尤其是深度学习领域相关技术的快速发展，基于图像的人体姿态估计技术也有了突破性的进展。人体姿态估计主要是对图像或者视频中人体关节进行定位，以便后续进行人体动作的捕捉和识别，通常可以广泛应用到很多影视和游戏的动画制作流程中。
[0003]现有的人体动作捕捉和识别的过程是，先利用拍摄设备拍摄单目视频。其中，单目视频的每一帧图像均是一台设备在一个拍摄视角下拍摄到的画面。然后利用单目视频中的二维画面进行三维立体重建，最终识别出拍摄对象在三维空间中的动作姿态。
[0004]在上述方法中，由于单目视频中的图像都是二维的，深度信息的缺失会使得最终获得的三维姿态的准确度和精度均无法达到要求。而利用专门的捕捉设备进行动作捕捉也会存在设备昂贵、场地要求极高、对拍摄对象约束性强等问题。因此如何简单且高效的进行人体动作捕捉成为亟需解决的问题。

技术实现思路

[0005]有鉴于此，本申请提供了一种动作捕捉方法，利用多个单目视频的不同拍摄视角来确定多机位之间的相对位置信息，然后根据多机位之间的相对位置以及多个单目视频提供的二维信息来构建拍摄对象的三维立体姿态。这样能够提高三维立体姿态的准确度和精确度，最终能够高效且精确的捕捉人体动作。
[0006]本申请实施例第一方面提供了一种动作捕捉方法，该方法包括：
[0007]对拍摄对象进行多机位拍摄，获得多个拍摄视频，多个拍摄视频的拍摄视角不同。
[0008]确定多个拍摄视频中每一个拍摄视频对应的拍摄对象的关键点的二维坐标。
[0009]根据每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的多个三维姿态，其中，多个拍摄视频与多个三维姿态一一对应。
[0010]根据多个三维姿态，确定多机位之间的相对位置信息。
[0011]根据多机位之间的相对位置信息和每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的三维立体姿态。
[0012]根据拍摄对象的三维立体姿态确定拍摄对象的动作状态。
[0013]在一个可选的实施方式中，根据多个三维姿态，确定多机位之间的相对位置信息，包括：
[0014]确定多个三维姿态中每一个三维姿态的拍摄视角。
[0015]对比每一个三维姿态的拍摄视角，确定每一个三维姿态的拍摄视角之间的旋转角度变化和位移变化。
[0016]根据旋转角度变化和位移变化，确定多机位之间的相对位置信息。
[0017]在一个可选的实施方式中，确定多个三维姿态中每一个三维姿态的拍摄视角，包括：
[0018]根据多个三维姿态，对多个拍摄视频的图像帧进行匹配。
[0019]根据匹配结果对多个拍摄视频进行图像帧对齐处理。
[0020]根据对齐处理后的多个拍摄视频，确定多个三维姿态中每一个三维姿态的拍摄视角。
[0021]在一个可选的实施方式中，根据匹配结果对多个拍摄视频进行图像帧对齐处理，包括：
[0022]根据匹配结果确定多个拍摄视频之间的图像帧相差帧数。
[0023]根据图像帧相差帧数，对多个拍摄视频进行图像帧对齐处理。
[0024]在一个可选的实施方式中，在确定多个拍摄视频中每一个拍摄视频对应的拍摄对象的关键点的二维坐标之前，该方法还包括：
[0025]对多个拍摄视频进行合法性检测。
[0026]确定多个拍摄视频中的每个拍摄视频合格。
[0027]在一个可选的实施方式中，该动作捕捉方法还包括：
[0028]根据预设约束条件对拍摄对象的三维立体姿态进行修正。
[0029]根据拍摄对象的三维立体姿态确定拍摄对象的动作状态，包括：
[0030]根据修正后的拍摄对象的三维立体姿态，确定拍摄对象的动作状态。
[0031]在一个可选的实施方式中，根据修正后的拍摄对象的三维立体姿态，确定拍摄对象的动作状态，包括：
[0032]根据修正后的拍摄对象的三维立体姿态，确定拍摄对象的关键点的位置信息。
[0033]将拍摄对象的关键点的位置信息转化为骨骼动作数据。
[0034]利用动作矫正算法对骨骼动作数据进行矫正。
[0035]根据矫正后的骨骼动作数据，确定拍摄对象的动作状态。
[0036]在一个可选的实施方式中，确定多个拍摄视频中每一个拍摄视频对应的拍摄对象的关键点的二维坐标，包括：
[0037]将多个拍摄视频中的每一个拍摄视频输入至二维姿态估计模型中，根据二维姿态估计模块的输出结果确定每一个拍摄视频对应的拍摄对象的关键点的二维坐标。
[0038]在一个可选的实施方式中，该动作捕捉方法还包括：
[0039]根据训练样本集对二维姿态估计模型进行训练。
[0040]其中，二维姿态估计模型的训练过程为：
[0041]获取训练样本集中的多组训练样本，多组训练样本中的每一组训练样本为携带有标注信息的多帧样本拍摄图像，标注信息为多帧样本拍摄图像中每一帧样本拍摄图像中的关键点的正确二维坐标。
[0042]将每一组训练样本输入至二维姿态估计模型中，得到每一组训练样本的输出结果。
[0043]根据每一组训练样本的输出结果和每一组训练样本的标注信息，调节二维姿态估计模型的模型参数。
[0044]当达到预设训练条件时，结束二维姿态估计模型的训练过程。
[0045]在一个可选的实施方式中，预设训练条件包括：训练次数达到预设次数或者每一组训练样本的输出结果达到预设精度。
[0046]本申请实施例第二方面提供了一种动作捕捉装置，该装置包括：
[0047]获取单元，用于对拍摄对象进行多机位拍摄，获得多个拍摄视频，多个拍摄视频的拍摄视角不同。
[0048]确定单元，用于确定多个拍摄视频中每一个拍摄视频对应的拍摄对象的关键点的二维坐标。
[0049]处理单元，用于根据每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的多个三维姿态，其中，多个拍摄视频与多个三维姿态一一对应。
[0050]确定单元，还用于根据多个三维姿态，确定多机位之间的相对位置信息。
[0051]处理单元，还用于根据多机位之间的相对位置信息和每一个拍摄视频对应的拍摄对象的关键点的二维坐标，构建拍摄对象的三维立体姿态。
[0052]识别单元，用于根据拍摄对象的三维立体姿态确定拍摄对象的动作状态。
[0053]在一个可选的实施方式中，确定单元，具体用于确定多个三维姿态中每一个三维姿态的拍摄视角。对比每一个三维姿态的拍摄视角，确定每一个三维姿态的拍摄视角之间的旋转角度变化和位移变化。根据旋转角度变化和位移变化，确定多机位之间的相对位置信息。
[0054]在一个可选的实施方式中，处理单元，还用于根据多个三维姿态，对多个拍摄视频的图像帧进行匹配。根据匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作捕捉方法，其特征在于，所述方法包括：对拍摄对象进行多机位拍摄，获得多个拍摄视频；所述多个拍摄视频的拍摄视角不同；确定所述多个拍摄视频中每一个拍摄视频对应的所述拍摄对象的关键点的二维坐标；根据所述每一个拍摄视频对应的所述拍摄对象的关键点的二维坐标，构建所述拍摄对象的多个三维姿态，其中，所述多个拍摄视频与所述多个三维姿态一一对应；根据所述多个三维姿态，确定所述多机位之间的相对位置信息；根据所述多机位之间的相对位置信息和所述每一个拍摄视频对应的所述拍摄对象的关键点的二维坐标，构建所述拍摄对象的三维立体姿态；根据所述拍摄对象的三维立体姿态确定所述拍摄对象的动作状态。2.根据权利要求1所述的动作捕捉方法，其特征在于，根据所述多个三维姿态，确定所述多机位之间的相对位置信息，包括：确定所述多个三维姿态中每一个三维姿态的拍摄视角；对比所述每一个三维姿态的拍摄视角，确定所述每一个三维姿态的拍摄视角之间的旋转角度变化和位移变化；根据所述旋转角度变化和位移变化，确定所述多机位之间的相对位置信息。3.根据权利要求2所述的动作捕捉方法，其特征在于，所述确定所述多个三维姿态中每一个三维姿态的拍摄视角，包括：根据所述多个三维姿态，对所述多个拍摄视频的图像帧进行匹配；根据匹配结果对所述多个拍摄视频进行图像帧对齐处理；根据对齐处理后的所述多个拍摄视频，确定所述多个三维姿态中每一个三维姿态的拍摄视角。4.根据权利要求3所述的动作捕捉方法，其特征在于，所述根据匹配结果对所述多个拍摄视频进行图像帧对齐处理，包括：根据匹配结果确定所述多个拍摄视频之间的图像帧相差帧数；根据所述图像帧相差帧数，对所述多个拍摄视频进行所述图像帧对齐处理。5.根据权利要求1至4任一项所述的动作捕捉方法，其特征在于，在确定所述多个拍摄视频中每一个拍摄视频对应的所述拍摄对象的关键点的二维坐标之前，所述方法还包括：对所述多个拍摄视频进行合法性检测；确定所述多个拍摄视频中的每个拍摄视频合格。6.根据权利要求1至5任一项所述的动作捕捉方法，其特征在于，所述动作捕捉方法还包括：根据预设约束条件对所述拍摄对象的三维立体姿态进行修正；所述根据所述拍摄对象的三维立体姿态确定所述拍摄对象的动作状态，包括：根据修正后的所述拍摄对象的三维立体姿态，确定所述拍摄对象的动作状态。7.根据权利要求6所述的动作捕捉方法，其特征在于，所述根据修正后的所述拍摄对象的三维立体姿态，确定所述拍摄对象的动作状态，包括：根据修正后的所述拍摄对象的三维立体姿态，确定所述拍摄对象的关键点的位置信息；将所述拍摄对象的关键点的位置信息转化为骨骼动作数据；
利用动作矫正算法对所述骨骼动作数据进行矫正；根据矫正后的所述骨骼动作数据，确定所述拍摄对象的所述动作状态。8.根据权利要求1至7任一项所述的动作捕...

【专利技术属性】
技术研发人员：刘书颖，刘宏达，吴文斌，谷统伟，林悦，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：