一种估计人体姿态的方法、装置及计算机可读介质制造方法及图纸

本发明专利技术涉及一种估计人体姿态的方法、装置及计算机可读介质，属于计算机图像处理技术领域。本发明专利技术首先由计算机通过获得源图像的序列并由此从相应的源图像段获得具有与图像背景分离的对象的序列来估计铰接式3D对象模型的人体姿态；然后将所述序列与参考轮廓序列进行匹配，以确定形成最佳匹配的一个或多个选定的参考轮廓序列；随后对于每一个所述参考序列轮廓，检索与所述参考轮廓之一相关联的参考人体姿态；以及从检索到的一个或多个参考人体姿态计算铰接式对象模型的人体姿态的估计。通过上述步骤得到的结果为初始人体姿态估计，然后可以在进一步的步骤中使用该初始人体姿态估计。本发明专利技术可在摄像机标定松散、运动员分辨率低和存在遮挡的非受控环境中运行。

【技术实现步骤摘要】
一种估计人体姿态的方法、装置及计算机可读介质
本专利技术属于计算机图像处理
，具体涉及一种估计人体姿态的方法、装置及计算机可读介质。
技术介绍
人体姿态估计或运动捕捉作为计算机视觉和图形学领域中的一个基本问题，在比赛和电影中的角色动画、比赛和监控的无控制器界面等领域都有广泛应用。鉴于问题的复杂性，目前尚无一个能够使其适用于所有应用领域的通用型解决方案。同样需要注意的是，所谓解决方案在很大程度上会依赖于相关条件以及对设置施加的约束。通常情况下，约束越多，就可以获得更为精确的人体姿态估计结果。但在现实世界的场景中，通常很难增加约束。而许多实际应用则都离不开场景。例如，可以简单的利用TV广播中已有的视频素材，展示如何使用精确的人体姿态估计结果来在体育比赛期间从任意视点对运动员进行高质量的渲染。除了在渲染领域中应用之外，在比赛期间对人体姿态估计还可以用于进行生物力学分析和合成，以及用于比赛统计，甚至将真实的比赛移植到电脑游戏之中。目前，商业运动捕捉系统通常使用遍布全身的光学标记来跟踪一个对象的时变性运动状态。尽管这类系统能够得到非常准确的人体姿态估计结果，可以捕捉到各种身体人体姿态以及面部表情。但是，这类方法只能在受控环境下工作，因此只应用于特定范围，适用范围严格受限。目前根据使用的“镜头”类型，无标记人体姿态重建(或运动捕捉)问题可大致被分为以下两类，即使用来自一个摄像机的视频序列，以及使用来自多个校准摄像机的“镜头”。由于单目视频序列对用户的限制较少，因此基于单目视频序列的人体姿态估计方法对于某些应用而更为方便，但它亦存在一些固有的问题，其中包括深度不确定性(模糊性)。尽管模糊性可以利用从运动到结构的方法来解决，这在视觉上却是一个非常困难的问题。来自运动算法的结构通常依赖于包含大量细节的高分辨率场景，而在运动场景中通常并不具备所需条件。另外，在人体姿态估计方法中，另一个急需解决的问题是遮挡。如果旨在进行人体姿态分析的“镜头”仅来自单一摄像机，那么则很难对其进行解析。并且通过增加摄像机的数量，则更有可能获得同一对象的无遮挡“镜头”。一般而言，摄像机的空间覆盖率越高，那么获得的镜头的质量就会越高。除此之外，目前体育转播已开始使用多个摄像机来进行图像获取。因此，人们可以利用这些信息来得到更精确的3D人体姿态估计结果。就目前已有技术而言，大多数多视角3D人体姿态估计方法都是利用跟踪算法来重建某一时刻处的人体姿态或根据某一时间下的人体姿态来重建另一时刻的人体姿态。其中，跟踪可以使用光流拟合和或立体视觉匹配来实现。然而，尽管这些方法可以提供较精确的人体姿态估计结果，但它们通常需要在受控环境下工作，且需要更多的高分辨率摄像机(通常至少四个)和良好的场景空间覆盖(通常是圆形覆盖)来解决由于遮挡造成的模糊性问题。当然，目前亦存在一些使用多视角轮廓或多视角立体方法来构建“代理几何体”的其他方法。在完成所述代理几何体构建之后，骨架会被装入此几何体。尽管这些方法能够提供非常好的效果，但它们亦存在一些关于设置方面的限制。这是因为它们需要精心搭建的摄影棚、许多高分辨率摄像机以及非常好的空间覆盖率。除此之外，还存在另一类基于图像分析和分割的算法。这些算法能够使用机器学习方法来区分身体部位。不过，此分析通常需要高分辨率的镜头，对于大多数应用场景而言是无法实现的条件。
技术实现思路
本专利技术针对以上问题，本专利技术的目的是提供一种可在摄像机标定松散、运动员分辨率低和存在遮挡的非受控环境中运行的数据驱动人体姿态估计方法、装置及计算机可读介质。为实现上述目的，本专利技术采取的技术方案如下。本专利技术的第一方面提供了一种估计人体姿态的方法，用于估计铰接式对象模型，其中所述铰接式对象模型为由一个或多个源摄像机记录得真实世界对象的基于计算机的3D模型，并且所述铰接式对象模型表示多个关节和链接所述关节的链接，并且其中所述铰接式对象模型的人体姿态由所述关节的空间位置来定义，所述方法包括以下步骤：获取摄像机(9)记录的真实世界对象(14)的视图的视频流；从所述视频流获得至少一个源图像序列(10)；处理所述至少一个序列的源图像，以针对每个图像提取对应的源图像片段，所述对应的源图像片段包括与所述图像背景分离的所述现实世界对象的视图，从而生成至少一个源图像片段序列；在计算机可读形式的数据库中维护一组参考轮廓序列，每个参考轮廓与铰接式对象模型相关联，并且与该铰接式对象模型的特定参考人体姿态相关联；对于所述至少一个源图像段序列的每个序列，将该序列与多个参考轮廓序列进行匹配，并确定与所述源图像段序列最匹配的一个或多个所选参考轮廓序列；其中两个序列的匹配由通过将每个源图像片段与在其序列内相同位置的参考轮廓进行匹配、计算指示它们匹配程度的匹配误差，以及根据源图像片段的匹配误差计算序列匹配误差来完成；对于每一个选定的参考轮廓序列，检索与其中一个参考轮廓相关联的参考人体姿态；以及根据检索到的一个或多个参考人体姿态来计算铰接式对象模型的人体姿态的估计结果；源图像序列中的一个图像被指定为感兴趣帧，并且由其生成的源图像段被指定为感兴趣的源图像段；序列匹配误差为两个序列匹配误差的加权和；感兴趣的源图像片段的匹配误差的权重最大，并且随源图像片段(在序列内)到感兴趣的源图像片段的距离而减小；以及检索与感兴趣的源图像段匹配的参考轮廓的参考人体姿态。通过上述步骤得到的估计结果为初始人体姿态估计，随后人们可以在相关扩展步骤中使用该初始人体姿态估计结果，例如，用于保证来自连续帧的人体姿态估计之间的局部一致性，以及保证在更长的帧序列上的全局一致性。优选地，源图像序列(10)的一个图像被指定为感兴趣帧(56)，并且从其生成的源图像段(13)被指定为感兴趣的源图像段；序列匹配误差是两个序列(51，52)匹配误差的加权和；感兴趣的源图像片段的匹配误差的权重最大，并且随源图像片段到感兴趣的源图像片段的距离而减小；并且检索与感兴趣的源图像片段匹配的参考轮廓的参考人体姿态。优选地，其中，获得并处理由至少两个源摄像机(9，9')同时记录的至少两个源图像序列(10)，并且通过选择在3D空间中最符合的检索到的参考人体姿态的组合，根据从至少两个源图像序列确定的检索到的参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。优选地，从至少一个连续源图像段序列确定的两个人体姿态之间建立局部一致性，每个人体姿态与至少一个源图像段(13)相关联，其中铰接式对象模型(4)的一个或两个人体姿态中的元素，即关节(2)和(或)链接(3)对应于可以以模糊方式标记的真实世界对象(14)的肢体：对于一对连续的源图像段中的每一个，根据相关联的人体姿态以及对于每个人体姿态的可能的模糊标签中的每一个，确定来自肢体的图像点在源图像段中的对应标签；为该对连续源图像片段中的第一个选择该人体姿态的标签；计算这对连续源图像段中的第一个和第二个之间的光流；本文档来自技高网...

【技术保护点】
1.一种估计人体姿态的方法，适用于铰接式对象模型(4)，所述铰接式对象模型(4)为由摄像机(9)观察的所述真实世界对象(14)的计算机3D模型(1)，并且所述铰接式对象模型(4)包括多个关节(2)和连杆(3)，其中铰接式对象模型(4)的人体姿态由关节(2)的空间位置定义，其特征在于该方法包括：/n获取摄像机(9)记录的真实世界对象(14)的视图的视频流；/n从所述视频流获得至少一个源图像序列(10)；/n处理所述至少一个序列(10)的源图像，以针对每个图像提取对应的源图像片段(13)，所述对应的源图像片段(13)包括与所述图像背景分离的所述现实世界对象(14)的视图，从而能够生成至少一个源图像片段(13)序列(51)；/n对于源图像片段(13)的至少一个序列的每个序列(51)，首先将该序列(51)与多个参考轮廓序列(13')进行匹配，并确定与源图像片段(13)的序列(51)最匹配的一个或多个选定的参考轮廓序列(13')；/n所述参考轮廓(13')的序列(52)存储于计算机可读形式数据库中，所述每个参考轮廓(13')均与铰接式对象模型(4)相关联，并且均与所述铰接式对象模型(4)的特定参考人体姿态相关联；/n两个序列(51、52)的匹配是通过将每个源图像段(13)与在其序列内相同位置的参考轮廓(13')进行匹配，并计算用来指示它们匹配程度的匹配误差，以及根据源图像段的匹配误差计算序列匹配误差来完成；/n对于这些选择的参考轮廓(13')序列中的每一个序列，检索与参考轮廓(13')之一相关联的参考人体姿态；以及/n根据检索到的一个或多个参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。/n...

【技术特征摘要】
1.一种估计人体姿态的方法，适用于铰接式对象模型(4)，所述铰接式对象模型(4)为由摄像机(9)观察的所述真实世界对象(14)的计算机3D模型(1)，并且所述铰接式对象模型(4)包括多个关节(2)和连杆(3)，其中铰接式对象模型(4)的人体姿态由关节(2)的空间位置定义，其特征在于该方法包括：
获取摄像机(9)记录的真实世界对象(14)的视图的视频流；
从所述视频流获得至少一个源图像序列(10)；
处理所述至少一个序列(10)的源图像，以针对每个图像提取对应的源图像片段(13)，所述对应的源图像片段(13)包括与所述图像背景分离的所述现实世界对象(14)的视图，从而能够生成至少一个源图像片段(13)序列(51)；
对于源图像片段(13)的至少一个序列的每个序列(51)，首先将该序列(51)与多个参考轮廓序列(13')进行匹配，并确定与源图像片段(13)的序列(51)最匹配的一个或多个选定的参考轮廓序列(13')；
所述参考轮廓(13')的序列(52)存储于计算机可读形式数据库中，所述每个参考轮廓(13')均与铰接式对象模型(4)相关联，并且均与所述铰接式对象模型(4)的特定参考人体姿态相关联；
两个序列(51、52)的匹配是通过将每个源图像段(13)与在其序列内相同位置的参考轮廓(13')进行匹配，并计算用来指示它们匹配程度的匹配误差，以及根据源图像段的匹配误差计算序列匹配误差来完成；
对于这些选择的参考轮廓(13')序列中的每一个序列，检索与参考轮廓(13')之一相关联的参考人体姿态；以及
根据检索到的一个或多个参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。


2.如权利要求1所述的方法，其特征在于：
源图像序列(10)的一个图像被指定为感兴趣帧(56)，并且从其生成的源图像段(13)被指定为感兴趣的源图像段；
序列匹配误差是两个序列(51，52)匹配误差的加权和；
感兴趣的源图像片段的匹配误差的权重最大，并且随源图像片段到感兴趣的源图像片段的距离而减小；并且检索与感兴趣的源图像片段匹配的参考轮廓的参考人体姿态。


3.如权利要求1所述的方法，其特征在于：
其中，获得并处理由至少两个源摄像机(9，9')同时记录的至少两个源图像序列(10)，并且通过选择在3D空间中最符合的检索到的参考人体姿态的组合，根据从至少两个源图像序列确定的检索到的参考人体姿态来获取铰接式对象模型(4)的人体姿态估计结果。


4.如权利要求1所述的方法，其特征在于：
从至少一个连续源图像段序列确定的两个人体姿态之间建立局部一致性，每个人体姿态与至少一个源图像段(13)相关联，其中铰接式对象模型(4)的一个或两个人体姿态中的元素，即关节(2)和/或链接(3)对...

【专利技术属性】
技术研发人员：曲毅，何晓光，屈莎，刘佳玉，王洪亮，杜浩宇，
申请(专利权)人：大连锐动科技有限公司，
类型：发明
国别省市：辽宁;21