一种基于三目的无标记点视觉运动捕捉方法技术

该发明专利技术公开了一种基于三目的无标记点视觉运动捕捉方法，属于计算机视觉领域。与已有的vicon系统相比，提出的方法只需要3个视觉相机捕捉视频序列，仅需测试者穿上紧身的衣裤，无需在人体上贴反光标记；获得人体运动不只是关节点的运动，而是整个人体形状的运动。本发明专利技术洗现有技术相比，提高了性能、可靠性、降低了成本、简化了工艺。本发明专利技术的技术需要的硬件设备相机更少；现有技术通常捕获的动作为3维的点，而本发明专利技术捕获的为3D的网格，包含人体的体型和姿态。型和姿态。型和姿态。

【技术实现步骤摘要】
一种基于三目的无标记点视觉运动捕捉方法


[0001]本专利技术属于计算机视觉领域，特别是基于三目的无标记点视觉运动捕捉方法。

技术介绍

[0002]运动捕捉在影视动画制作等领域有着广泛的需求，通常利用惯性运动传感器和视觉传感器来实现。其中利用惯性运动传感器进行运动捕捉精度较低，利用光学传感器进行运动捕捉精度高。以vicon为代表的光学运动捕捉系统采用4路或6路以上的高速红外摄像机采集贴在人体关节点上的被动发光标记点，利用视觉测量的方法构建人体关节运动三维数据，已经在行业内得到了成熟的应用。为了获得准确完整的人体关节点信息，使用vicon系统必须在人体表面贴上反光球，且必须安装4路以上的高速红外摄像机。安装的红外相机越多，重建的人体运动越准确，受遮挡影响也越小，但成本也越高。除了利用红外摄像机捕捉人体运动，还有诸多方法利用深度传感器来实现人体运动重建。例如已有授权专利“一种基于单个Kinect的简易高效三维人体重建方法”(201610502690X)利用单个的Kinect RGBD传感器实现人体运动捕捉，公开专利“基于骨架跟踪的动态实时三维人体重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三目的无标记点视觉运动捕捉方法，该方法包括：步骤1：从水平的三个方向采集目标视频，这三个方向两两之间夹角相等；步骤2：从视频图像中提取每一帧中目标的轮廓；步骤3：建立深度神经网络预测人体形状与姿态；建立的神经网络结构包括两部分，分别为：轮廓特征提取和人体SMPL模型参数预测；其中轮廓特征提取采用深度残差网络、或U形网络、或叠层沙漏网络；人体SMPL参数模型，该参数模型中人体形状表示为10个形状参数和72个姿态参数，SMPL模型参数预测采用多层感知机或误差迭代网络；轮廓特征提取采用叠加的双层沙漏网络与深度残差网络的组合，人体SMPL模型参数预测采用误差迭代网络；叠加的双层沙漏网络中输出2D关节点分别为P0,P1，采用P
gt
作为中间监督信息，人体参数预测输出为人体体型参数向量人体姿态参数人体相对于三相机视野中心偏移量步骤4：训练深度神经网络；训练的目标函数如下：训练的目标函数如下：其中，λ
reg
,λ
p
,λ
β
,λ
θ
分别为2D关节点误差权重，骨架反投影误差权重，SMPL体型参数误差权重和SMPL姿态参数误差权重；表示三维关节点集合，表示3D关键点个数，Γ(
·
)表示人体的SMPL模型关键点映射函数；P0,P1分别是网络中间部分预测的2D关节点，P
gt

【专利技术属性】
技术研发人员：郑亚莉，郑旭，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：