基于面部朝向的身体左右肢体一致性跟踪判别方法及系统技术方案

本公开公开了基于面部朝向的身体左右肢体一致性跟踪判别方法及系统，获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

The method and system of body left and right limb consistency tracking based on face orientation

【技术实现步骤摘要】
基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
本公开涉及人体姿态跟踪
，特别是涉及基于面部朝向的身体左右肢体一致性跟踪判别方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。目前的人体姿态跟踪方法倾向于基于检测的方法，即首先在每一视频帧中估计人体姿态，然后在连续帧中整合姿态之间的时间和空间相关性，二维人体姿态跟踪在计算机视觉中是一个重要而且仍然具有挑战性的问题。为了获得更好的跟踪性能，许多研究通过构建稳健的人体表观模型或建模更复杂的人体结构来提高姿态估计的性能，也有研究人员建议通过层次化的人体结构来建模更真实的身体部件依赖关系。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：虽然这些方法对姿态估计是有效的，但是在跟踪过程中存在一个重要的影响跟踪效果的问题，那就是基于检测的跟踪方法通常使用图结构模型(PS)，忽视了左右身体肢体部件在连续视频帧中的一致性，仅仅依赖于肢体部件在图片坐标系中的相对位置，这经常会导致在跟踪中出现左右肢体混淆的问题。例如，对于一段视频帧序列，特别是当身体的所有部件都可见的时候，虽然所有身体部件姿态都可以被准确地检测出来，但是左右肢体经常被混淆，这种情况在视频序列中存在人体侧身运动的时候更易出现。目前在人体姿态的估计和跟踪中并未解决此问题。在视频序列中，二维人体姿态跟踪还有一个很大的挑战是人体的自遮挡。由于人体是一个中心对称结构，人体不同部件在二维图像呈现上经常发生相互遮挡的情况，例如肢体部件被躯干或其对称部件遮挡等。在遮挡情况下，姿态检测中还会出现“重复计数”问题，即使用相同的图像区域来确定两个对称肢体部件的位置。之前有方法将遮挡的时间推理融入到跟踪框架中，对人体姿态进行跟踪，这类方法迫使跟踪器在发生遮挡时寻找图像证据以支持平滑路径，对重复计数问题起到了一定的改善作用，但是该方法需要有很强的时序先验，应用方面会大大受限。
技术实现思路
为了解决现有技术的不足，本公开提供了基于面部朝向的身体左右肢体姿态跟踪判别方法及系统；第一方面，本公开提供了基于面部朝向的身体左右肢体一致性跟踪判别方法；基于面部朝向的身体左右肢体一致性跟踪判别方法，包括：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。第二方面，本公开还提供了基于面部朝向的身体左右肢体一致性跟踪判别系统；基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；面部朝向估计模块，其被配置为：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；人体姿态判别模块，其被配置为：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。与现有技术相比，本公开的有益效果是：本方法提出了一种基于面部朝向的身体左右肢体部件一致性跟踪判别框架，简单而且有效地提高二维人体姿态跟踪效能。所提出的面部朝向估计很好地融合进了图结构模型，可以在跟踪中有效地避免由于遮挡等造成的肢体左右判别不一致的问题；在人体姿态推断阶段，由于融入了面部朝向估计，两侧肢体会分别进行判别，这样不仅可以修正肢体在树形图结构模型中的左右判别误差，而且可以避免左右对称肢体的重复计数问题；所提出的方法尤其提高了较小肢体部位的跟踪精度，例如手臂和腿部，该框架对运动和方向变化较大的复杂视频序列具有较高的检测率。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为第一个实施例的方法流程图；图2(a)、图2(e)、图2(i)、图2(m)示例被跟踪目标不同朝向的头部矩形框区域；图2(b)、图2(f)、图2(j)、图2(n)示例头部区域由肤色检测器获得的肤色区域；图2(c)、图2(g)、图2(k)、图2(o)示例头部区域的肤色/非肤色区域的二值化结果；图2(d)、图2(h)、图2(l)、图2(p)示例一组预设的不同面部朝向的模板；图2(d)表示面部朝向前，图2(h)表示面部朝向后，图2(l)表示面部朝向左侧，图2(p)表示面部朝向右侧。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一，本实施例提供了基于面部朝向的身体左右肢体一致性跟踪判别方法；如图1所示，基于面部朝向的身体左右肢体一致性跟踪判别方法，包括：S1：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；S2：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；S3：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。作为一个或多个实施例，S1中，所述肢体部件，包括：头部、躯干、左大腿、左小腿、右大腿、右小腿、左上臂、左下臂、右上臂和右下臂；作为一个或多个实施例，S1中，所述部件检测器，是指：由机器学习方法训练得到的用于检测所有肢体部件的表观模型。所述部件检测器的训练过程为：构建一个分类器，构建训练集，所述训练集为已知肢体部件名称的图像；将训练集输本文档来自技高网...

【技术保护点】
1.基于面部朝向的身体左右肢体一致性跟踪判别方法，其特征是，包括：/n获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；/n根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；/n根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；/n最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。/n

【技术特征摘要】
1.基于面部朝向的身体左右肢体一致性跟踪判别方法，其特征是，包括：
获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；
根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；
根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；
最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。


2.如权利要求1所述的方法，其特征是，所述每个识别结果对应的置信度，是指每一部件检测器对每一帧进行滑窗扫描后给出的所有检测结果。


3.如权利要求1所述的方法，其特征是，估计被跟踪目标的面部朝向的具体步骤包括：
S201：将视频每一帧图像中被跟踪目标的头部区域利用矩形框进行标记；矩形框即为头部区域边界框；
S202：从头部区域边界框中，识别肤色区域；
S203：根据不同面部朝向的模板确定肤色区域在头部边界框中的位置；
根据肤色区域在头部边界框中的位置进行面部朝向判断：如果肤色区域在头部边界框中位于左下区域，则认为面部朝向右侧；如果肤色区域在头部边界框中位于右下区域，则认为面部朝向左侧。


4.如权利要求3所述的方法，其特征是，所述S202中，从头部区域边界框中，识别肤色区域；具体是采用基于YCrCb颜色空间的肤色检测器来生成头部区域边界框中所包含的皮肤区域的二值图像。


5.如权利要求1所述的方法，其特征是，根据面部朝向判断人体的面向位置的具体步骤包括：如果面部朝向左侧，则人体面向左侧；如果面部朝向后侧，则人体面向右侧。


6.如权利要求1所述的方法，其特征是，根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；具体步骤包括：
S301：如果根据面部朝向判断出人体面向右侧，则将左侧肢体部件赋予高优先级，即首先...

【专利技术属性】
技术研发人员：田京兰，王政元，蒋彦，冯志全，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37