检测人类对象的姿态的系统和方法技术方案

一种用于运动检测的系统可以包括：至少一个包括一组指令的存储介质；以及至少一个与所述至少一个存储介质通信的处理器。当执行一组指令时，至少一个处理器可以被配置为使系统从至少一个摄像机获取与空间的视频场景有关的数据；检测视频场景中的对象；将对象分为人类对象或非人类对象；当对象被分为人类对象时，追踪人类对象的运动；并根据人类对象的运动确定视频场景中人类对象的姿态。

【技术实现步骤摘要】
【国外来华专利技术】检测人类对象的姿态的系统和方法交叉引用本申请要求2018年4月27日提交的美国临时专利申请No.62/664,064的优先权，其全部内容通过引用合并于此。
本申请通常涉及监控系统中的运动检测，并且更具体地，涉及用于检测视频中人类对象姿态的系统和方法。
技术介绍
一些视频监控系统可以自动检测场景中感兴趣的事件和潜在威胁。例如，这样的系统可以检测和追踪进入或离开区域(例如，禁区，商店，办公楼)的对象。在其他应用中，还需要一些更细的粒度，例如，对人类对象的姿态或人类对象的姿态变化的检测。例如，在配备有远程教育系统的教室中，检测教室中学生和/或老师的姿态对于监控教室很重要。因此，期望提供一种基于视频监控来检测人类对象的姿态(或人类对象的姿态变化)的系统和方法。
技术实现思路
根据本申请的一方面，提供了一种运动检测的系统。该系统可以包括一个或以上存储介质和一个或以上处理器。所述一个或以上存储介质可以包含一组指令。所述一个或以上处理器用于与所述一个或以上存储介质通信。当执行所述指令时，至少一个处理器可以被配置为使系统从至少一个摄像机获取与空间的视频场景有关的数据；检测视频场景中的对象；将对象分为人类对象或非人类对象；当对象被分为人类对象时，追踪人类对象的运动；并根据人类对象的运动确定视频场景中人类对象的姿态。在一些实施例中，至少一个处理器可以进一步使系统在视频场景中检测人类对象的头部；追踪人类对象的头部的运动；确定人类对象的头部从视频场景的第一帧的第一位置到第二帧的第二位置的运动轨迹；确定运动轨迹的长度和方向；获取至少一个摄像机的相机标定模型；根据运动轨迹的长度和相机标定模型确定运动轨迹的物理长度；并根据运动轨迹的物理长度和运动轨迹的方向确定视频场景中人类对象的姿态。在一些实施例中，至少一个处理器可以进一步使系统判断运动轨迹的物理长度是否大于第一阈值；响应于确定运动轨迹的物理长度大于第一阈值，确定运动轨迹的方向是向上还是向下；如果运动轨迹的方向向下，则将视频场景的第二帧中的人类对象的姿态确定为坐立姿态，并将视频场景的第一帧中的人类对象的姿态确定为站立姿态；如果运动轨迹方向向上，则将视频场景第二帧中人类对象的姿态确定为站立姿态，将视频场景第一帧中人类对象的姿态确定为坐立姿态。在一些实施例中，至少一个处理器还可以使系统确定第一帧中第一位置处的人类对象的头部尺寸；根据相机标定模型，确定人类对象的头部在第一帧中的第一位置对应的人类对象的头部在空间中的第一物理位置；基于参考数据集、人类对象的头部在第一帧中的第一位置以及人类对象的头部在空间中的第一物理位置，获取第一帧中位于第一位置的平均头部尺寸，其中第一位置处的平均头部尺寸可以对应于处于坐立姿态时的至少两个人类对象的头部尺寸的平均值；确定平均头部尺寸和第一帧中头部尺寸的差值；确定差值是否大于第二阈值；响应于确定差值大于第二阈值，将第一帧中人类对象的姿态确定为站立姿态；以及响应于确定差值不大于第二阈值，将第一帧中人类对象的姿态确立为坐立姿态。在一些实施例中，可以基于学习过程生成相机标定模型，学习过程可以包括获取与空间的视频场景有关的样本数据，该样本数据与处于坐立姿态时的至少两个人类对象相关联；检测至少两个人类对象的至少两个头部；追踪至少两个头部的运动；确定至少两个人类对象在视频场景的样本帧中至少两个不同位置处处于坐立姿态时的至少两个平均头部尺寸；确定至少两个人类对象在空间中的至少两个相应物理位置处于坐立姿态时的至少两个平均物理头部尺寸；以及通过将样本帧中至少两个不同位置处的至少两个平均头部尺寸与空间中至少两个相应物理位置处的至少两个平均物理头部尺寸相关联来生成相机标定模型。在一些实施例中，至少一个处理器可以进一步使系统使用神经网络模型至少部分地的基于人类对象的行为来确定人类对象在空间中的角色。在一些实施例中，至少一个处理器还可以进一步被配置为使系统执行至少一项：确定与对象有关的运动特征；确定视频场景中背景变化；或确定与对象相关的人体特征。根据本申请的另一方面，提供一种可以在计算设备上实现的运动检测方法。该计算设备可以包括至少一个处理器和至少一个计算机可读存储介质。该方法可以包括从至少一个摄像机获取与空间的视频场景有关的数据；检测视频场景中的对象；将对象分为人类对象或非人类对象；当对象被分为人类对象时，追踪人类对象的运动；并根据人类对象的运动确定视频场景中人类对象的姿态。根据本申请的另一方面，提供了一种包含计算机程序产品的非临时性计算机可读介质。该计算机程序产品可以包括指令，该指令被配置为使计算设备从至少一个摄像机获取与空间的视频场景相关数据的指令；检测视频场景中的对象；将对象分为人类对象或非人类对象；当对象被分为人类对象时，追踪人类对象的运动；并根据人类对象的运动确定视频场景中人类对象的姿态。本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。附图说明本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：图1是根据本申请一些实施例所示的示例性视频监控系统的示意图；图2是根据本申请的一些实施例所示的用于处理视频数据的示例性流程的示意图；图3是根据本申请的一些实施例所示的示例性姿态确定模块的示意图；图4-A和图4-B是根据本申请的一些实施例所示的用于确定人类对象的姿态的示例性流程图；图5-A和图5-B是根据本申请的一些实施例所示的用于确定人类对象的姿态的示例性流程500的流程图；图6是根据本申请的一些实施例所示的示例性相机标定模型生成单元的示意图；图7是根据本申请的一些实施例所示的用于生成相机标定模型的示例性流程的流程图；图8是根据本申请的一些实施例所示的示例性视频监控系统的示意图；图9是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件部件的示意图；以及图10是根据本申请的一些实施例所示的示例性移动设备的示例性硬件和/或软件部件的示意图。具体实施方式以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所公开的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外本文档来自技高网...

【技术保护点】
1.一种运动检测系统，包括：/n至少一个存储介质，包括一组指令；/n至少一个与所述至少一个存储介质通信的处理器，其中当执行所述一组指令时，所述至少一个处理器被配置为使所述系统：/n从至少一个摄像机获取与空间的视频场景有关的数据；/n检测所述视频场景中的对象；/n将所述对象分为人类对象或非人类对象；/n当所述对象被分为人类对象时，/n追踪所述人类对象的运动；以及/n根据所述人类对象的所述运动确定所述视频场景中所述人类对象的姿态。/n

【技术特征摘要】
【国外来华专利技术】20180427 US 62/664,0641.一种运动检测系统，包括：
至少一个存储介质，包括一组指令；
至少一个与所述至少一个存储介质通信的处理器，其中当执行所述一组指令时，所述至少一个处理器被配置为使所述系统：
从至少一个摄像机获取与空间的视频场景有关的数据；
检测所述视频场景中的对象；
将所述对象分为人类对象或非人类对象；
当所述对象被分为人类对象时，
追踪所述人类对象的运动；以及
根据所述人类对象的所述运动确定所述视频场景中所述人类对象的姿态。


2.根据权利要求1所述的系统，其特征在于，为了根据所述人类对象的所述运动确定所述视频场景中所述人类对象的姿态，所述至少一个处理器进一步被配置为使所述系统：
检测所述视频场景中所述人类对象的头部；
追踪所述人类对象的所述头部的运动；
确定所述人类对象的所述头部从所述视频场景的第一帧的第一位置到第二帧的第二位置的运动轨迹；
确定所述运动轨迹的长度和方向；
获取所述至少一个摄像机的相机标定模型；
根据所述运动轨迹的长度和所述相机标定模型确定所述运动轨迹的物理长度；以及
根据所述运动轨迹的所述物理长度和所述运动轨迹的所述方向确定所述视频场景中所述人类对象的所述姿态。


3.根据权利要求2所述的系统，其特征在于，所述至少一个处理器进一步被配置为使所述系统：
确定所述运动轨迹的所述物理长度是否大于第一阈值；
响应于确定所述运动轨迹的所述物理长度大于所述第一阈值，
确定所述运动轨迹的所述方向是向上还是向下；
如果所述运动轨迹的所述方向向下，则将所述视频场景的所述第二帧中的所述人类对象的所述姿态确定为坐立姿态，并将所述视频场景的所述第一帧中的所述人类对象的所述姿态确定为站立姿态；以及
如果所述运动轨迹的所述方向向上，则将所述视频场景的所述第二帧中的所述人类对象的所述姿态确定为所述站立姿态，并将所述视频场景的所述第一帧中的所述人类对象的所述姿态确定为所述坐立姿态。


4.根据权利要求3所述的系统，其特征在于，响应于所述运动轨迹的所述物理长度不大于所述第一阈值的所述确定结果，所述至少一个处理器进一步被配置为使所述系统：
确定所述人类对象在所述第一帧中位于所述第一位置的头部尺寸；
根据所述相机标定模型，确定所述人类对象的所述头部在所述第一帧中的所述第一位置对应的所述人类对象的所述头部在所述空间中第一物理位置；
基于参考数据集、所述人类对象的所述头部在所述第一帧中的所述第一位置以及所述人类对象的所述头部在所述空间的所述第一物理位置，获取所述第一帧中位于所述第一位置的平均头部尺寸，其中所述第一位置处的所述平均头部尺寸对应于处于所述坐立姿态时的至少两个人类对象的所述头部尺寸的平均值；
确定所述平均头部尺寸和所述第一帧中所述头部尺寸的差值；
确定所述差值是否大于第二阈值；
响应于确定所述差值大于所述第二阈值，将所述第一帧中所述人类对象的所述姿态确定为所述站立姿态；以及
响应于确定所述差值不大于所述第二阈值，将所述第一帧中所述人类对象的所述姿态确定为所述坐立姿态。


5.根据权利要求2所述的系统，其中，所述相机标定模型是基于学习过程而生成的，所述学习过程包括：
获取与所述空间的所述视频场景有关的样本数据，所述样本数据与处于所述坐立姿态时的至少两个人类对象相关联；
检测所述至少两个人类对象的至少两个头部；
追踪所述至少两个头部的运动；
确定所述至少两个人类对象在所述视频场景的样本帧中的至少两个不同位置处处于所述坐立姿态时的至少两个平均头部尺寸；
确定所述至少两个人类对象在所述空间中的至少两个不同物理位置处处于所述坐立姿态时的至少两个平均物理头部尺寸；以及
通过将所述样本帧中的所述至少两个不同位置处的所述至少两个平均头部尺寸与所述空间中的所述至少两个不同物理位置处的所述至少两个平均物理头部尺寸相关联来生成所述相机标定模型。


6.根据权利要求1所述的系统，其特征在于，所述至少一个处理器进一步被配置为使所述系统：
使用神经网络模型至少部分地基于所述人类对象的行为确定所述人类对象在所述空间中的角色。


7.根据权利要求1所述的系统，其特征在于，为了检测所述视频场景中的所述对象，所述至少一个处理器进一步被配置为使所述系统执行以下至少一项：
确定与所述对象有关的运动特征；
确定所述视频场景中的背景变化；或者
确定与所述对象有关的外部特征。


8.根据权利要求1所述的系统，其特征在于，为了将所述对象分为人类对象或非人类对象，所述至少一个处理器进一步被配置为使所述系统确定与所述对象相关的人体特征。


9.一种在计算设备上实现的运动检测方法，所述计算设备包括至少一个处理器和至少一个计算机可读存储介质，所述方法包括：
从至少一个摄像机获取与空间的视频场景有关的数据；
检测所述视频场景中的对象；
将所述对象分为人类对象或非人类对象；
当所述对象被分为人类对象时，
追踪所述人类对象的运动；以及
根据所述人类对象的所述运动确定所述视频场景中的所述人类对象的姿态。


10.根据权利要求9所述的方法，其特征在于，根据所述人类对象的所述运动来确定所述视频场景中的所述人类对象的姿态包括：
检测所述视频场景中所述人类对象的头部；
追踪所述人类对象的所述头部的运动；
确定所述人类对象的所述头部从所述视频场景中第一帧的第一位置到第二帧的第二位置的运动轨迹；
确定所述运动轨迹的长度和方向；
获取所述至少一个摄像机的相机标定模型；
根据所述运动轨迹的长度和所述相机标定模型确定所述运动轨迹的物理长度；以及
根据所述运动轨迹的所述方向和所述运动轨迹的所述物理长度，确定所述视频场景中所述人类对象的所述姿态。


11.根据权利要求10所述的方法，还包括：
确定所述运动轨迹的所述物理长度是否大于第一阈值；
响应于确定所述运动轨迹的所述物理长度大...

【专利技术属性】
技术研发人员：张忠，
申请(专利权)人：上海趋视信息科技有限公司，
类型：发明
国别省市：上海;31