基于关键点聚类的多视点人体运动捕捉方法技术

本发明专利技术公开了一种基于关键点聚类的多视点人体运动捕捉方法。本发明专利技术的实现包括：检测多视点图像中的人体关键点；基于图像信息及几何关系建立人体关键点的关系图；基于关键点的关系图及聚类算法，对各个视点下的人体关键点进行关联，找到属于同一个人的关键点；基于关键点的关联结果，还原各个人体关键点的三维位置。本发明专利技术通过高效鲁棒的关键点聚类方法，建立不同视点图像中的人体关键点的关联，提高了多视点人体运动捕捉方法的效率与准确率。

【技术实现步骤摘要】
基于关键点聚类的多视点人体运动捕捉方法
本专利技术属于计算机
，尤其涉及一种基于关键点聚类的多视点人体运动捕捉方法。
技术介绍
在相关的多视点视频无标记多人重建技术中，一些方法使用自顶向下的方法先对人体进行检测，再对各个视点下的人体进行匹配，这种方法在场景中的人体相互遮挡的时候表现较差。近期还有方法通过对人体各段骨头分别进行关联，分别对各段骨头进行重建，再将属于同一个人的进行合并。这种方法没有充分考虑到人体的几何信息，使得关联过程不够高效。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种基于关键点聚类的多视点人体运动捕捉方法，并使用聚类结果进行三维人体重建。根据本专利技术的第一方面，提供了一种对人体关键点建立图模型的方法，包括：1.图模型的建立：本专利技术使用图模型来对人体关键点聚类问题进行建模。各个视点下的检测出的人体关键点视为图模型中的顶点，关键点之间的联系视为图模型的边。一个人体即可通过该图的子图来表示，一个子图中包含了多个顶点。一个子图完整地表示一个人当且仅当该子图包含了所有属于这个人的顶点，即该子图包含了这个人在各个视点下的所有检测到的关键点。人体关键点聚类问题即可描述为在该图中找到完整的人体子图的问题。多人场景下的关键点聚类问题即是找出所有这样的符合条件的子图。2.图模型顶点的构造：给定多视点的图像生成的关键点响应热度图，使用非极大值抑制的方法，得到各个类型的人体关键点的在图像上的候选位置。将所有视点下获得的所有关键点作为图模型的顶点，建立图模型。3.图模型边的构造：给定图模型的顶点，综合使用图像信息、几何信息构造顶点之间的有权值的边，边的权值表示这条边所连接的两个顶点的距离。即对于任意两个顶点来说，该距离越接近于零，则表示这两个顶点越倾向于属于同一个人；该距离越大，则表示这两个顶点越不可能属于同一个人。对于处于同一视点下的两个关键点，如果两个关键点在人体骨架树上不相邻，那么这两个顶点距离无穷大，如果两个关键点在人体骨架树上相邻，那么其距离由图像中两个关键点连接的图像置信度得到。对于不处于同一视点下的两个关键点，如果这两个关键点表示的不是人体的同一个类型的关节，那么其距离为无穷大；如果表示的是人体的同一个类型的关节，那么其距离通过空间几何信息得到，具体计算方式为：分别将两个二维关键点反投影到空间，构成两条射线，计算这两条射线的最短距离。根据本专利技术的第二方面，提供了一种人体关键点的图模型的聚类方法，包括：1.顶点关联：给定初始化的图模型，进行本专利技术提出的人体关键点图上的聚类。给定图的顶点和边，对所有边的距离进行升序排列。根据边的排序，从距离最小的边开始，依次选择未被连接过的顶点进行连接，将选中的边所连接的两个顶点合并为一个子图，直到边的距离大于给定的最大距离阈值。2.子图关联：对顶点进行连接之后，部分顶点已经被连成了包含有多个顶点的子图。与一般的图的聚类方法不同的是，本专利技术在聚类的过程中，使用子图与子图之间的距离，而不是仅考虑顶点与顶点之间的距离。第一步中的顶点可视为一个只包含一个顶点的子图。计算子图与子图之间的距离时，为两个子图包含的顶点之间的所有距离的均值。计算完成距离之后，同样对所有边的距离进行升序排列，依次选择边进行连接。3.迭代更新：整个图的聚类过程因此就分为距离计算与子图关联两个过程。在计算完成距离之后，对子图进行连接，再对连接之后的子图重新计算距离。在迭代过程中，由于计算距离时使用了更多的关键点，因此聚类过程比只考虑单个关键点之间的距离来进行连接更加鲁棒。直到无法再连接新的边的时候，迭代过程结束。根据本专利技术的第三方面，提供了一种重建跟踪方法，包括：1.对聚类结果的重建：对于每一个聚类出的人体，对其包含两个及以上的视点的关键点进行重建，得到其三维关键点位置。2.对重建结果的跟踪：对于前一帧的重建结果，将其当作只包含三维关键点的子图，加入当前帧的图模型的子图集合中。计算三维关键点的子图与当前帧的二维关键点的子图的距离时，计算方式为，三维关键点到二维关键点反投影到空间形成的直线的距离。三维关键点形成的子图同样可以与其他子图进行连接，完成聚类过程。本专利技术的有益效果是：本专利技术通过对多视点图像中的人体关键点进行关联来进行人体的三维姿态重建。为了实现关键点的关联，本专利技术提供了一种图模型的点与边的建立方法，同时提供了一种结合图像信息、几何信息、时序信息的迭代聚类方法。实现了多视点人体运动捕捉，提高了基于图像的运动捕捉的方法的准确率。与现有的基于关键点聚类的方法相比，本方法同时完成了关键点关联与人体结构组织两个过程，在聚类的过程同时考虑到了人体结构信息，聚类结果更加鲁棒。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的多视点人体运动捕捉流程示意图。图2是本专利技术实施例的初始化构造图模型的顶点与边的示意图。图3是本专利技术实施例的迭代过程中聚类结果的示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。如图1所示，本专利技术提供一种基于关键点聚类的多视点人体运动捕捉方法，基于从图像中得到的关键点位置，进行三维关键点重建。具体的步骤为：1.输入多个不同视点相机同步采集的图像，使用一个现存的深度神经网络，可以得到各个视点下的关键点位置分布热度图。根据关键点位置分布热度图，使用非极大值抑制方法，提取出图像中的可能的人体关键点的二维位置，即对于第c个相机，对于人体的第j种关节，图像中检测出来的第m个关键点的二维位置可记为其中j＝1,2,…,J,表示人体的J种不同的关节，c＝1,2,…,V表示总共V个相机。如图1(a)所示。2.对于从图像中检测出来的关键点，计算第u个视点下的第i种关节的第m个检测结果duim与第v个视点下的第j种关节的第n个检测结果dvjn之间的距离，建立人体关键点的图模型。此时图模型上的每一个顶点表示一个关键点，图模型上的边表示本方法所定义的关键点的距离。由于人体骨架有着特定的连接方式，例如左手手腕只与左手手肘进行连接，因此我们只需要考虑存在连接关系的组合，记所有的可能关节类型组合为P，同一个视点下的关键点中，可能连接的两个关键点的关节类型必须在可能的关节类型组合里，即(i,j)∈P。那么分类考虑需要计算距离的情况：如果u＝v,(i,j)∈P，则表示同一个视点下的可能处于同一段骨头的关键点的组合，基于现存的深度神经网络，本文档来自技高网...

【技术保护点】
1.一种基于关键点聚类的多视点人体运动捕捉方法，其特征在于，包括以下步骤：/nS1：检测多视点图像中的各个关节类型的人体关键点的二维位置；/nS2：将所有视点下获得的所有关键点作为图模型的顶点，综合图像信息和几何信息构造顶点之间的有权值的边，边的权值表示这条边所连接的两个顶点的距离，建立图模型；/n对于处于同一视点下的两个关键点，如果两个关键点在人体骨架树上不相邻，那么其距离无穷大，如果两个关键点在人体骨架树上相邻，那么其距离定义为图像中两个关键点连接的置信度的相反数；/n对于不处于同一视点下的两个关键点，如果两个关键点表示的不是人体同一种类型的关节，那么其距离无穷大，如果表示的是人体同一种类型的关节，那么其距离定义为两个关键点反投影到空间形成的射线之间的最短距离；/nS3：对多视点下的多人的关键点进行聚类，每个聚类结果为一个子图，子图里包含了至少一个关键点，第i个子图记为C

【技术特征摘要】
1.一种基于关键点聚类的多视点人体运动捕捉方法，其特征在于，包括以下步骤：
S1：检测多视点图像中的各个关节类型的人体关键点的二维位置；
S2：将所有视点下获得的所有关键点作为图模型的顶点，综合图像信息和几何信息构造顶点之间的有权值的边，边的权值表示这条边所连接的两个顶点的距离，建立图模型；
对于处于同一视点下的两个关键点，如果两个关键点在人体骨架树上不相邻，那么其距离无穷大，如果两个关键点在人体骨架树上相邻，那么其距离定义为图像中两个关键点连接的置信度的相反数；
对于不处于同一视点下的两个关键点，如果两个关键点表示的不是人体同一种类型的关节，那么其距离无穷大，如果表示的是人体同一种类型的关节，那么其距离定义为两个关键点反投影到空间形成的射线之间的最短距离；
S3：对多视点下的多人的关键点进行聚类，每个聚类结果为一个子图，子图里包含了至少一个关键点，第i个子图记为Ci；迭代过程的第t步的结果即为当前的子图集合，记为St；
3.0.聚类初始化：获得初始的图的节点和边；将每个节点作为一个子图，获得初始子图集合S0＝{C1，C2，...，CN}，N为集合中子图总数；
3.1.距离计算：在第t步迭代过程中，对子图集合St中的任意两个子图之间的距离进行计算；对于子图其距离计算公式为：



其中，表示子图C1中的第x个节点，该节点为第ux个视点下的，第ix种关节的第mx个检测结果；表示子图C2中的第y个节点，该节点为第vy个视点下的，第jy种关节的第ny个检测结果；D(·)表示关键点的距离计算，Ds(·)表示子图之间的距离计算函数；
3.2.子图连...

【专利技术属性】
技术研发人员：周晓巍，鲍虎军，帅青，方琦，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33