【技术实现步骤摘要】
本专利技术属于计算机视觉、图像处理，尤其属于体育比赛技术分析图像处理，特别涉及一种从二维图像中获取人体骨骼关节三维信息的混合智能方法。
技术介绍
1、从运动人体中获取人体骨骼关节的三维信息，在影视制作、体感控制、体育比赛分析、步态分析、智能监控等领域有广泛的应用价值。其中，获取真实高水平比赛中运动员的骨骼关节三维信息，是开展技战术分析或比赛表现分析(performance analysis)的关键。在对羽毛球的技战术分析与诊断过程中，获取主力运动员与主要对手的骨骼关节三维信息，能够帮助教练员和运动员改进技术和战术，还能发现对手的弱点。
2、目前，获取人体骨骼关节三维信息主要有三条技术线路。第一，动作捕获系统(motion capture)，如vicon。它在运动场地周围架设多个红外摄像机，并在运动员关节点上使用标记(marker)，然后根据标记进行三维重建。它的优点是有很高的重建精度，可以用于影视制作。它的缺点是需要在场地安装复杂设备，且反光标记会影响运动员的比赛表现，所以它无法用于真实比赛。第二，多摄像机三维重建系统(multi-camera 3dreconstruction)，如apas(ariel performance analysis system)运动分析系统。它需要在场地安装多台摄像机，也可以不需要标记但需要人工打点。它不但能够分析我方运动员，而且可以分析竞争对手，这使得它在体育科研中得到广泛应用。第三，单目三维重建系统(monocular 3d reconstruction)。它从单台一路摄像机视频中
3、姿态估计(pose estimation)是近年来计算机视觉研究的热门方向。它使用机器学习方法，从二维图像序列中估计人体关节点的二维坐标，如openpose。它不需要标记，因此不会影响运动员的比赛表现。它在gpu的帮助下能够做到实时识别骨骼关节点。但是，它的缺点是只能得到运动员关节点的二维坐标，不能得到三维空间中的关节点的三维坐标。所以它无法用于体育比赛分析。
4、多摄像机姿态估计。为了克服姿态估计只能得到二维坐标的缺点，有研究者使用多个摄像机的姿态估计方法。它通过多个摄像机得到的多个视频流，然后对每个视频流独立完成二维姿态估计，再使用三角测量完成运动员骨骼关节的三维重建。它用机器学习方法代替操作人员完成对关节点的标记。所以，多摄像机姿态估计属于第二条技术路线(多摄像机三维重建系统)。它的缺点是难以处理人体复杂姿态下的遮挡问题(occlusion)，尤其是持拍手、非持拍手与身体躯干的相互遮挡，进而导致该方法在完成复杂技术动作的三维重建时存在极大误差。因此，这条技术路线尚未进入实用阶段。
技术实现思路
1、本专利技术根据现有技术的不足公开了一种从二维图像中获取人体骨骼关节三维信息的混合智能方法。本专利技术要解决的问题是提供一种能够避免视觉遮挡、准确性更高、重建误差小的单目重建人体骨骼关节三维信息的混合智能方法。
2、本专利技术通过以下技术方案实现：
3、从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：针对特定的运动员进行构建并应用于该特定运动员的运动技术分析，包括以下步骤：
4、步骤1：在比赛现场架设2台摄像机，拍摄2路视频，并使用三角测量法得到特定运动员的14个关节点，然后得到13条线段组成的人体生物学模型，设li,j是从第i个关节点到第j个关节点的线段长度；
5、步骤2：根据针孔相机模型，并根据从二维图像中羽毛球场(u，v)到三维球场模型(x，y，z)的n个对应关系，其中n＞5；计算得到3*4的透视矩阵p：
6、
7、步骤3：三维重建顺序以踝关节优先，然后顺序进行；使用获取运动球体三维信息的方法得到三维重建起点，即踝关节是将它的图像坐标投影到球场地平面的三维坐标，令第i个关节点是踝关节点1，开始执行步骤4；
8、步骤4：如果第j个关节点是脖子，跳转到步骤5；
9、假设两个关节点之间的骨骼长度在运动过程中固定不变；已知第i个关节点的三维坐标(xi，yi，zi)，已知第i个关节点到第j个关节点的线段长度li，j，已知第j个关节点的图像坐标(uj，vj)，得到下列方程组：
10、(ujm31-m11)x+(ujm32-m12)y+(ujm33-m13)z+(ujm34-m14)＝0 (2)
11、(vjm31-m21)x+(vjm32-m22)y+(vjm33-m23)z+(vjm34-m24)＝0 (3)
12、
13、求解上述非线性方程组(2)～(4)的解；
14、将最终解作为第j个点的三维坐标，完成第j个点的三维重建；如果j是最后一个点，则跳转到步骤6；反之，将第j个点作为第i个点，跳转到步骤4；
15、步骤5：在按顺序三维重建过程中，同时使用左髋关节和右髋关节来进行脖子的重建；
16、设第j个点是脖子，第i个关节点是右髋关节，第k个关节点是左髋关节；令li，j是从右髋关节i到脖子j的线段长度，lk，j是从左髋关节k到脖子j的线段长度，(uj，vj)是第j个关节点脖子的图像坐标；求解非线性方程组(2)(3)(5)的解：
17、
18、将最终解作为第j个点的三维坐标，将第j个点作为第i个点，跳转到步骤4；
19、步骤6：重复步骤4或步骤5，直到完成14个关节点的三维重建。
20、所述步骤4中，公式(2)和(3)是图像坐标(uj，vj)对应的三维直线，公式(3)是以第i个关节点为圆心且半径为li,j的三维球体；因此，非线性方程组(2)～(4)的解就是三维直线与三维球体的交点；它的解共有3种情况：无解、唯一解和两个解。
21、(a)当解的情况是“无解”时，扩大li,j的值，求解非线性方程组(2)～(4)直到最终解；
22、(b)当解的情况是“唯一解”时，它就是最终解；
23、(c)当解的情况是“两个解”时，显示两个解的三维图形，操作人员根据羽毛球运动经验和图像选择其中一个解作为最终解。
24、所述步骤5中，在非线性方程组(2)(3)(5)中，公式(2)和(3)代表图像坐标(uj,vj)对应的三维直线，公式(5)表示以右髋关节为圆心且半径为li,j的三维球体与以左髋关节为圆心且半径为lk,j的三维球体相交形成的三维圆；非线性方程组(2)(3)(5)的解是三维直线与三维圆的交点；非线性方程组(2)(3)(5)的解有3种情况：无解、唯一解和两个解；处理方法同步骤4。
25、进一步所述步骤3中：三维重建顺序以踝关节优先，顺序依次是右踝关节、右膝关节、右髋关节、左踝关节、左膝关节、左髋关节、脖子、右肩关节、右肘关本文档来自技高网...
【技术保护点】
1.从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：针对特定的运动员进行构建并应用于该特定运动员的运动技术分析，包括以下步骤：
2.根据权利要求1所述的从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：所述步骤4中，公式(2)和(3)是图像坐标(uj,vj)对应的三维直线，公式(3)是以第i个关节点为圆心且半径为Li,j的三维球体；因此，非线性方程组(2)～(4)的解就是三维直线与三维球体的交点；它的解共有3种情况：无解、唯一解和两个解。
3.根据权利要求2所述的从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：所述步骤5中，在非线性方程组(2)(3)(5)中，公式(2)和(3)代表图像坐标(uj,vj)对应的三维直线，公式(5)表示以右髋关节为圆心且半径为Li,j的三维球体与以左髋关节为圆心且半径为Lk,j的三维球体相交形成的三维圆；非线性方程组(2)(3)(5)的解是三维直线与三维圆的交点；非线性方程组(2)(3)(5)的解有3种情况：无解、唯一解和两个解；处理方法同步骤4。
4.根据权利要求1或
...【技术特征摘要】
1.从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：针对特定的运动员进行构建并应用于该特定运动员的运动技术分析，包括以下步骤：
2.根据权利要求1所述的从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：所述步骤4中，公式(2)和(3)是图像坐标(uj,vj)对应的三维直线，公式(3)是以第i个关节点为圆心且半径为li,j的三维球体；因此，非线性方程组(2)～(4)的解就是三维直线与三维球体的交点；它的解共有3种情况：无解、唯一解和两个解。
3.根据权利要求2所述的从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：所述步骤5中，在非线性方程组(2)(...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。