本发明专利技术提供了一种人体姿态估计与跟踪系统，包括：姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。本发明专利技术所提供的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，本发明专利技术所提供的基于人体动力学建模的人体姿态估计和跟踪方法，即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。估计和跟踪的结果。估计和跟踪的结果。
【技术实现步骤摘要】
人体姿态估计与跟踪系统及人体姿态估计与跟踪的方法
[0001]本专利技术大致涉及图像识别
，尤其涉及一种人体姿态估计与跟踪系统，以及用于视频图像的人体姿态估计与跟踪的方法。
技术介绍
[0002]现有的人体姿态估计和追踪系统可以分为两大类：自上而下的方法和自下而上的方法。自下而上的方法首先生成一张图片中的所有人体关节点的候选，然后再将生成的关节点候选分组，每组为一个单独的人体。之后，这些分组好的关节点会进行跨帧关联以生成最终的人体姿态估计和跟踪的结果。自上而下的方法会首先进行人体检测，生成每个人的边界框。之后在每个边界框中进行关节点检测，生成每个人的人体姿态。对这些生成的人体姿态进行跨帧关联就可以得到人体姿态估计和跟踪的结果。
[0003]尽管这两类方法都取得了不错的结果，但是之前的工作提出的人体姿态估计和跟踪方法仍然容易出现漏检测的情况，尤其是在背景复杂和快速运动的场景下。产生这样的问题的一个很重要原因是因为这些方法都严重依赖于先检测再关联的流程：首先根据图像信息估计当前帧中的关节点或人体，然后对这些检测出来的结果进行帧内或者跨帧的数据关联，最后得到跟踪的结果。在一些具有挑战性的场景下(例如拥挤或模糊的场景)，因为缺乏充分的图像信息，人体关节点或者人体检测器不可避免的会出现漏检测的情况，进而导致之后的过程中无法对这些漏检测的人体关节点进行恢复。虽然之前也有一些工作提出了一些方法来纠正和改进这一缺陷，他们本质上仍然很大程度上取决于纯视觉上的信息，因此无法从根本上解决这些漏检测的情况。
[0004]
技术介绍
部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。
技术实现思路
[0005]有鉴于现有技术的至少一个缺陷，本专利技术提供一种人体姿态估计与跟踪系统，包括：
[0006]姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；
[0007]姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；
[0008]融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。
[0009]根据本专利技术的一个方面，其中所述姿态估计单元进一步配置成：
[0010]在当前帧图像中进行人体检测，生成至少一个人体边界框；
[0011]分别剪裁每个所述人体边界框，并将剪裁后的图片缩放至预设尺寸；
[0012]根据缩放后的图片输出人体关节点的特征图和热力图，根据所述热力图获得所述估计结果。
[0013]根据本专利技术的一个方面，其中所述姿态估计单元进一步配置成：
[0014]将所述缩放后的图片输入骨干网络，由所述骨干网络输出所述人体关节点的特征图和热力图。
[0015]根据本专利技术的一个方面，其中所述人体关节点的热力图的数量为人体关节点的数量。
[0016]根据本专利技术的一个方面，其中所述人体关节点的特征图包括：每一个人体关节点的视觉特征、位置特征和类型特征。
[0017]根据本专利技术的一个方面，其中所述人体关节点的视觉特征通过所述骨干网络获得。
[0018]根据本专利技术的一个方面，其中所述人体关节点的位置特征通过各个关节点对应的热力图中的最大值的位置、人体姿态的中心到对应的人体边界框的距离和图片缩放比例确定。
[0019]根据本专利技术的一个方面，其中所述类型特征通过可学习的嵌入特征矩阵得到。
[0020]根据本专利技术的一个方面，其中所述姿态预测单元进一步配置成：
[0021]将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对当前帧的人体姿态进行预测的结果。
[0022]根据本专利技术的一个方面，其中所述人体姿态跟踪序列包括人体姿态跟踪序列图，所述人体姿态跟踪序列图中的节点为当前帧之前的连续多帧中的人体关节点，所述人体姿态跟踪序列图中的连线为每一帧内的人体关节点之间的连接与相邻帧的对应人体关节点之间的连接。
[0023]根据本专利技术的一个方面，其中所述人体姿态跟踪序列图包括：每一个人体关节点的视觉特征、位置特征和类型特征。
[0024]根据本专利技术的一个方面，其中所述人体关节点的视觉特征、类型特征通过所述姿态估计单元对所述当前帧之前的连续多帧进行估计的过程中获得。
[0025]根据本专利技术的一个方面，其中所述人体关节点的位置特征根据人体姿态跟踪序列的最后一帧中的人体姿态的中心进行归一化后得到。
[0026]根据本专利技术的一个方面，其中所述融合单元进一步配置成：
[0027]将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果通过匈牙利算法进行一对一的映射，其中相似度基于所有人体关节点的位置进行计算。
[0028]根据本专利技术的一个方面，其中所述融合单元进一步配置成：
[0029]将所述预测结果中的第一人体关节点对应到所述估计结果中；
[0030]当所述估计结果中没有对应的人体关节点时，将所述第一人体关节点作为第二人体关节点映射到所述估计结果中。
[0031]根据本专利技术的一个方面，其中所述融合单元进一步配置成：
[0032]将所述估计结果的热力图中心与所述预测结果的热力图中心进行对齐，通过对热力图求平均将其融合在一起。
[0033]本专利技术还提供一种用于视频图像的人体姿态估计与跟踪的方法，通过如上文所述的人体姿态估计与跟踪系统完成。
[0034]本专利技术提供了一种人体姿态估计与跟踪系统，通过将当前帧之前的连续多帧的人
体姿态跟踪序列输入图神经网络，输出对于当前帧的人体姿态预测。之后，将预测的人体姿态和当前帧的人体姿态检测结果做匹配和融合，进而得到当前帧最终的人体姿态估计和跟踪结果。本专利技术所提供的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，本专利技术所提供的基于人体动力学建模的人体姿态估计和跟踪方法，即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。本专利技术不依赖于对人体关节点或者是人体边界框的检测，进而从更本质的角度解决了漏检测的问题。
附图说明
[0035]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0036]图1示出了本专利技术的一个实施方式的人体姿态估计与跟踪系统；
[0037]图2示出了本专利技术的一个实施方式的人体姿态估计与跟踪系统的工作过程；
[0038]图3示出了本专利技术的一个实施方式的姿态预测单元的工作过程；
[0039]图4示出了本专利技术的一个实施方式的对历史跟踪序列中的人体关节点特征进行信息聚合的过程；
[0040]图5示出了本专利技术的一个实施方式的人体姿态检测结果；
[0041]图6示出了本专利技术的一个实施方式的用于视频图像的人体姿态估计与跟踪的方法。
具体实施方式
[0042]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体姿态估计与跟踪系统，其特征在于，包括：姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。2.如权利要求1所述的人体姿态估计与跟踪系统，其中所述姿态估计单元进一步配置成：在当前帧图像中进行人体检测，生成至少一个人体边界框；分别剪裁每个所述人体边界框，并将剪裁后的包括每个所述人体的图片缩放至预设尺寸；根据缩放后的图片输出人体关节点的估计热力图，将所述估计热力图作为所述估计结果。3.如权利要求2所述的人体姿态估计与跟踪系统，其中所述姿态估计单元进一步配置成：将所述缩放后的图片输入骨干网络，由所述骨干网络输出所述人体关节点的估计热力图。4.如权利要求2或3所述的人体姿态估计与跟踪系统，其中所述人体关节点的估计热力图的数量为人体关节点的数量。5.如权利要求2所述的人体姿态估计与跟踪系统，其中，将所述缩放后的图片输入骨干网络，所述骨干网络输出所述人体关节点的特征图。6.如权利要求5所述的人体姿态估计与跟踪系统，其中所述人体关节点的特征图包括：每一个人体关节点的视觉特征、位置特征和类型特征。7.如权利要求6所述的人体姿态估计与跟踪系统，其中所述人体关节点的视觉特征通过所述骨干网络获得。8.如权利要求6所述的人体姿态估计与跟踪系统，其中所述人体关节点的位置特征通过各个关节点对应的估计热力图中的最大值的位置、人体姿态中心到对应的人体边界框的距离和图片缩放比例确定。9.如权利要求6所述的人体姿态估计与跟踪系统，其中所述类型特征通过可学习的嵌入特征矩阵得到。10.如权利要求1或2所述的人体姿态估计与跟踪系统，其中所述姿态预测单元进一步配置成：将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对当前帧的人体姿态进行预测的结果。11.如权利要求10所述的人体姿态估计与跟踪系统，其中所述人体姿态跟踪序列包括人体姿态跟踪序列图，...
【专利技术属性】
技术研发人员：杨一丁，任洲，李皓翔，周春銮，华刚，
申请(专利权)人：虫极科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。