关节体姿态检测系统和方法技术方案

一种用于从图像内容中检测关节体姿态的系统，包括用于捕获图像内容的成像模块，以及可操作以获得图像内容的自上而下视图并使用机器学习算法处理所述自上而下视图以检测关节体姿态的处理器，其中所述关节体姿态包括多个关节。所述处理包括：创建与关节体姿态的每个关节相对应的部位置信图，通过将部位置信图投射到图像内容的自上而下视图上生成热图，创建与每个身体部位相对应的部位亲和图，通过将部位亲和图投影到图像内容的自上而下视图上生成矢量图，以及使用热图和矢量图生成与关节体姿态相对应的身体框架。

【技术实现步骤摘要】
【国外来华专利技术】关节体姿态检测系统和方法
本公开大体上涉及关节体(articulatebody)姿态的检测；更具体地说，涉及一种从图像内容中检测关节体姿态的系统。此外，本公开还涉及用于从图像内容中检测关节体姿态的方法。
技术介绍
随着技术的进步，姿态估计越来越重要。姿态估计有助于各种应用，例如用于研究的人类活动分析、动物活动分析等等。此外，姿态估计通过检测商店扒手的非法活动(例如盗窃)来提供视频监视方面的帮助，从而提醒商店工作人员防止盗窃。此外，姿态估计被用于智能驾驶辅助系统、有需要的人的辅助生活系统、视频游戏、物理治疗等等。此外，姿态估计还积极用于体育、军事、医疗、机器人等领域。一般来说，姿态检测是一项具有挑战性的任务，因为每个人都拥有不同的身体结构、不同的身体形状、不同的皮肤颜色等等。此外，人身上不同类型的衣服也增加了姿态估计的复杂性。传统上，单人姿态估计方法被用来进行姿态估计。单人姿态估计方法包括人检测器，它逐一检测图像中的每个人，从而使其成为一个耗时的过程。此外，检测图像中的多人是很困难的，因为将人从图像的背景中分割出来是一项艰巨的任务。值得注意的是，随着人的数量增加，人体姿态实时估计的复杂性也会增加，从而使姿态估计的实时性能成为一个很大的挑战。此外，目前使用的姿态估计技术可能会导致误报，即它们可能会将非人类(例如，人类雕像)检测为人类。通常情况下，所使用的姿态估计技术采用水平视线相机设置，该设置提供需要进行姿态估计的区域的有限视图。因此，鉴于上述讨论，需要克服与姿态检测技术相关的前述缺点。<br>
技术实现思路
根据本公开的第一方面，提供了一种用于从图像内容中检测关节体姿态的系统。该系统可以包括用于捕获图像内容的成像模块，以及可通信地耦合到该成像模块的处理器。处理器可操作来获得图像内容的自上而下视图，并使用机器学习算法来处理该自上而下视图以检测与图像内容相对应的关节体姿态。该处理可以包括：创建与关节体姿态的每个关节相对应的部位置信图(partconfidencemap)；以及通过将所述部位置信图投影在图像内容的自上而下视图上来生成热图。该处理还可以包括：创建对应于与关节体姿态的每个关节相关联的每个身体部位的部位亲和图(partaffinitymap)；以及通过将所述部位亲和图投影在图像内容的自上而下的视图上来生成矢量图。该处理可以进一步包括：使用所述热图和矢量图来生成与关节体姿态相对应的身体框架，以检测关节体姿态。根据本公开的第二方面，提供了一种用于从图像内容中检测关节体姿态的方法。该方法包括获得图像内容的自上而下视图，并使用机器学习算法来处理该自上而下视图以检测与图像内容相对应的关节体姿态。该处理可以包括：创建与关节体姿态的每个关节相对应的部位置信图；以及通过将所述部位置信图投影在图像内容的自上而下视图上来生成热图。该处理还可以包括：创建对应于与关节体姿态的每个关节相关联的每个身体部位的部位亲和图；以及通过将所述部位亲和图投影在图像内容的自上而下的视图上来生成矢量图。该处理可以进一步包括：使用所述热图和矢量图来生成与关节体姿态相对应的身体框架，以检测关节体姿态。根据本公开的第三方面，提供了一种用于从图像内容中检测关节体姿态的计算机程序产品。计算机可编程产品包括一组指令，使得当由处理器执行时，使处理器获得图像内容的自上而下视图，并且使用机器学习算法处理所述自上而下视图以检测与图像内容相对应的关节体姿态，其中所述关节体姿态包括多个关节。该处理可以包括：创建与关节体姿态的每个关节相对应的部位置信图；以及通过将所述部位置信图投影在图像内容的自上而下视图上来生成热图。该处理还可以包括：创建对应于与关节体姿态的每个关节相关联的每个身体部位的部位亲和图；以及通过将所述部位亲和图投影在图像内容的自上而下的视图上来生成矢量图。该处理可以进一步包括：使用所述热图和矢量图来生成与关节体姿态相对应的身体框架，以检测关节体姿态。应当理解，本公开的特征易于以各种组合进行组合，而不脱离如所附权利要求所限定的本公开的范围。附图说明当结合附图阅读时，将更好地理解以上概述以及以下对说明性实施例的详细描述。为了说明本公开，在附图中示出了本公开的示例性构造。然而，本公开不限于本文公开的特定方法和手段。此外，本领域技术人员将理解，附图未按比例绘制。在可能的情况下，相似的元素用相同的数字表示。现在将参考以下附图仅以示例的方式描述本公开的实施例，其中：图1是根据本公开的实施例的用于从图像内容中检测关节体姿态的系统的框图；图2是根据本公开的示例性实施例的由用于检测关节体姿态的系统获得的图像内容的图示；图3是根据本公开的示例性实施例的为检测关节体姿态而创建的多个部位置信图的图示；图4A和图4B是根据本公开的示例性实施例的为检测关节体姿态而创建的多个部位亲和图的图示；图5是根据本公开的示例性实施例的、与图2所示图像内容中的关节体姿态相对应的身体框架的图示；和图6示出了根据本公开的实施例的用于从图像内容中检测关节体姿态的方法的步骤。在附图中，下划线数字被用来代表下划线数字所处的项目或下划线数字所邻近的项目。非下划线数字与一个项目有关，该项目由一条连接非下划线数字与该项目的线来确定。当一个数字没有下划线并伴有一个相关的箭头时，该非下划线数字被用来识别箭头所指向的一般项目。具体实施方式以下详细描述示出了本公开的实施例以及可以实现它们的方式。尽管已经公开了执行本公开的一些模式，但是本领域技术人员将认识到，用于执行或实践本公开的其他实施例也是可能的。本公开提供了一种从图像内容中检测关节体姿态的系统和方法，该系统和方法利用图像内容的自上而下视图，在自上而下视图所提供的扩展视图的帮助下，准确地检测关节体姿态。此外，考虑到图像内容中与每个人和/或动物身体相关联的不同身体结构、不同身体形状、不同肤色的影响，该系统能够检测图像内容中的多个人体、动物或两者的关节体姿态。此外，该系统提供了一个省时的过程，因为对多个关节体姿态的检测是同时进行的。此外，该系统能够通过精确地检测每个身体来降低实时关节体姿态检测所面临的复杂性，即使当实时身体的数量增加时也是如此。参考图1，示出了根据本公开的用于从图像内容中检测关节体姿态的系统100。系统100包括用于捕获图像内容的成像模块102。图像内容包括图像、视频和基于图形交换格式(GIF)的内容中的至少一种。成像模块102被配置成以一个或多个图像的形式捕获图像内容，其中图像包括至少一个可检测其姿态的身体。此外，图像内容可以是视频的形式，视频包括描述处于各种姿态的关节体的一系列帧。此外，图像内容可以包括GIF，所述GIF包括本质上重复的多个帧，其中所述多个帧包括至少一个关节体姿态。成像模块102包括成像设备、处理器和存储器。可选地，成像设备包括但不限于闭路电视(CCTV)摄像机、高清晰度(HD)摄像机、非HD摄像机、手持摄像机、摄像机、警车摄像机和无人机(UAV)上使用的摄像机。值得注意的是，可以在成像本文档来自技高网...

【技术保护点】
1.一种用于从图像内容中检测关节体姿态的系统，所述系统包括：/n用于捕获所述图像内容的成像模块；和/n可通信地耦合到所述成像模块的处理器，其中所述处理器可操作以：/n获得所述图像内容的自上而下视图；和/n使用机器学习算法处理所述自上而下视图以检测与所述图像内容相对应的所述关节体姿态，其中所述关节体姿态包括多个关节，其中所述处理包括：/n创建对应于所述关节体姿态的每个关节的部位置信图；/n通过将所述部位置信图投影到所述图像内容的所述自上而下视图上来生成热图；/n创建对应于与所述关节体姿态的每个关节相关联的每个身体部位的部位亲和图；/n通过将所述部位亲和图投影到所述图像内容的所述自上而下视图上来生成矢量图；和/n使用所述热图和所述矢量图来生成与所述关节体姿态相对应的身体框架，以检测所述关节体姿态。/n

【技术特征摘要】
【国外来华专利技术】20181203 US 16/207,2961.一种用于从图像内容中检测关节体姿态的系统，所述系统包括：
用于捕获所述图像内容的成像模块；和
可通信地耦合到所述成像模块的处理器，其中所述处理器可操作以：
获得所述图像内容的自上而下视图；和
使用机器学习算法处理所述自上而下视图以检测与所述图像内容相对应的所述关节体姿态，其中所述关节体姿态包括多个关节，其中所述处理包括：
创建对应于所述关节体姿态的每个关节的部位置信图；
通过将所述部位置信图投影到所述图像内容的所述自上而下视图上来生成热图；
创建对应于与所述关节体姿态的每个关节相关联的每个身体部位的部位亲和图；
通过将所述部位亲和图投影到所述图像内容的所述自上而下视图上来生成矢量图；和
使用所述热图和所述矢量图来生成与所述关节体姿态相对应的身体框架，以检测所述关节体姿态。


2.根据权利要求1所述的系统，其中所述成像模块包括成像设备、处理器和存储器。


3.根据权利要求1所述的系统，其中所述图像内容包括图像、视频和基于图形交换格式(GIF)的内容中的至少一种。


4.根据权利要求1所述的系统，其中所述系统还包括训练所述机器学习算法，所述系统可操作以：
从所述成像模块接收定义的部位置信图和定义的部位亲和图；
为多个sigma值创建所述部位置信图；
为多个阈值创建所述部位亲和图；
将针对所述多个sigma值的所述部位置信图与所述定义的部位置信图进行比较，以从所述多个sigma值中选择真实sigma值；
将针对所述多个阈值的所述部位亲和图与所述定义的部位亲和图进行比较，以从所述多个阈值中选择真实阈值；
使用所述真实sigma值的所述部位置信图生成所述热图，并使用所述真实阈值的所述部位亲和图生成所述矢量图；和
使用所述热图和所述矢量图来生成与所述关节体姿态相对应的所述身体框架，以检测所述关节体姿态。


5.根据权利要求1所述的系统，其中所述系统包括在处理所述图像内容之前降低所述图像内容的所述自上而下视图的分辨率。


6.根据权利要求1所述的系统，其中获得所述自上而下视图包括以下之一：
以所述自上而下视图的形式接收所述图像内容；或者
处理所述图像内容的多个视图以从中获得所述自上而下视图。


7.根据权利要求6所述的系统，其中所述图像内容的所述多个视图包括后视图、前视图、顶视图、底视图、左侧视图、右侧视图和透视视图。


8.根据权利要求1所述的系统，其中所述系统还包括用于查看检测到的所述关节体姿态的显示设备。


9.一种用于从图像内容中检测关节体姿态的方法，所述方法包括：
获得所述图像内容的自上而下视图；和
使用机器学习算法处理所述自上而下视图以检测与所述图像内容相对应的所述关节体姿态，其中所述关节体姿态包括多个关节，其中所述处理包括：
创建对应于所述关节体姿态的每个关节的部位置信图；
通过将所述部位置信图投影到所述图像内容的所述自上而下视图上来生成热图；
创建对应于与所述关节体姿态的每个关节相关联的每个身体部位的部位亲和图；
通过将所述部位亲和图投影到所述图像内容的所述自上而下视图上来生成矢量图；和
使用所述热图和所述矢量图来生成与所述关节体姿态相对应的身体框架，以检测所述关节体姿态。


10.根据权利要求9所述的方法，其中所述方法包括：使用卷积神经网络来创建所述部位置信图和所述部位亲和图。

【专利技术属性】
技术研发人员：D·佩斯卡鲁，
申请(专利权)人：埃尔森有限公司，
类型：发明
国别省市：爱尔兰;IE