一种基于物理规律的人体异常行为检测方法技术

本发明专利技术公开了一种基于物理规律的人体异常行为检测方法，解决检测时视觉特征易受观测噪声影响的问题。本发明专利技术包括：通过视觉表示模块定位人体区域以及关节部位，分别得到粗粒度视觉特征以及细粒度视觉特征；通过物理直觉模块的粗粒度部分和细粒度部分分别对输入的粗粒度和细粒度视觉特征处理，输出模拟人体所受力以及人体各关节所受力，计算各关节点的加速度，更新人体姿态；将视觉表示模块与物理直觉模块相结合进行人体异常行为检测。本发明专利技术方法同时考虑了视觉线索和物理约束，从而能够得到人体行为的不受观测噪声影响的鲁棒表征，进行能更加准确合理地进行人体异常行为检测。能更加准确合理地进行人体异常行为检测。能更加准确合理地进行人体异常行为检测。

【技术实现步骤摘要】
一种基于物理规律的人体异常行为检测方法


[0001]本专利技术属于计算机视觉领域，涉及人体异常行为检测，具体涉及一种基于物理规律的人体异常行为检测方法。

技术介绍

[0002]人体异常视频检测是从视频中定位与常规模式不匹配的动作的任务。由于监控视频的不平衡性，几乎所有可用的训练数据集都没有异常注释，因为手动选择具有异常的小子集代价很高，并且实际场景中难以从有限观测数据中理解人类行为。因此该任务的难点主要由异常语义的不可预测性以及训练数据的缺乏造成。
[0003]现有许多弱监督或者无监督方法被用于从大量事件当中区分异常事件。现有方法训练基于编码器
‑
解码器的模型进行重建。正常行为的重建误差较小，异常行为会产生很高的重建误差。这类方法包括自编码器、隐回归模型和对抗学习模型。其他方法根据人体运动的连贯性确定异常。这些方法经过训练可以在正常行为中依据历史姿态预测未来姿态，通过在异常行为中较高的预测误差判断出异常。这种类型的典型方法包括骨架预测，基于LSTM(长短期记忆网络)或GAN(生成式对抗网络)的预测和时空双流模型。上述大多数方法都依赖于帧级、区域级或骨架级特征，然而，在相互遮挡的拥挤场景中不完整的观察可能会导致有噪声的特征，从而阻碍准确的重建和预测。
[0004]为了解决训练数据标注缺乏的问题，现有一些方法提出了基于聚类的策略来根据空间和时间特征的相似性区分动作。他们将视频映射到异常视频远离正常视频的高维特征空间。还有一些方法提出了基于元学习的方法，这些方法利用目标环境中的一些无标签样本来微调模型。其他弱监督方法包括基于注意力的方法，它们使模型关注到关键区域，同时减少背景的影响。此外，基于迁移学习的方法、基于多实例学习的方法、自监督方法、伪标签生成和分布分析方法也曾被提出。尽管这些方法取得了较好的效果，但仅使用视觉线索，而缺乏物理约束会导致在观测噪声下产生不符合物理规律的预测结果，因为预测的姿势可能在物理上是不合理的。
[0005]现有方法通过两种方式解决异常检测问题。第一种方法将注意力集中在多个视觉特征上。他们首先定位目标，然后解析目标动作。这些动作由多个互补线索表示，包括骨骼轨迹、外观、运动模式和移动方向。即使不同的视觉线索是互补的，它们对影响视觉特征的观测噪声也是敏感的。第二种方法利用了动作随时间的变化规律。然而，变化规律是从有限的训练数据中获取的。即使某些方法将这种随时间变化的规律分为固有属性部分和时变部分，这些方法也只在没有遮挡的理想训练数据上进行了验证。此外，现有在视频预测中利用物理规律的方法仅应用于简单的刚性物体。然而，人体是无数刚性和弹性物体的复杂组合。因此在将物理规律应用于人类行为的解析之前，有必要对自驱力和外力建模进行简化。

技术实现思路

[0006]基于上述问题，本专利技术提供了一种基于物理规律的人体异常行为检测方法，提供
了分层物理直觉(Physical Intuition，PI)模块与视觉表示(Visual Representation，VR)模块，二者结合来提取特征，即考虑了视觉线索也考虑了物理约束，从而能够得到不受观测噪声影响的鲁棒表征，进行能更加准确合理地进行人体异常行为检测。
[0007]本专利技术的一种基于物理规律的人体异常行为检测方法，包括以下步骤：
[0008]步骤1：通过视觉表示模块定位人体区域以及关节部位，分别得到粗粒度视觉特征向量表示以及细粒度视觉特征向量表示。粗粒度视觉特征向量表示包括定位的行人和周围物体外观特征向量，以及行人与周围物体的相对位置；细粒度视觉特征向量表示包括行人的关节点位置。
[0009]步骤2：构造物理直觉模块的输入数据。本专利技术利用物理直觉模块将人体建模为大量相连接的质点并对其进行受力分析。所述物理直觉模块分为粗粒度部分和细粒度部分；粗粒度部分将每个人视作一个质点，输入行人外观特征、行人邻域内的物体的外观特征I1，以及行人与邻域内的物体相对位置I2；细粒度部分将每个关节点视为一个质点，输入人体的关节点位置I3和关节点语义连接信息I4，关节点语义连接信息根据关节点之间是否有骨骼相连获取。物理直觉模块通过粗粒度部分输出的粗粒度作用力和细粒度部分输出的细粒度作用力模拟人体的受力。
[0010]步骤3：物理直觉模块的粗粒度部分和细粒度部分分别对输入数据处理。所述粗粒度部分对输入矩阵I1和I2处理输出行人粗粒度作用力，粗粒度作用力是行人的自驱力以及所受外力的合力；所述细粒度部分对入矩阵I3和I4处理输出行人细粒度作用力，细粒度作用力包含所有关节点受到的作用力；物理直觉模块利用粗粒度作用力和细粒度作用力模拟行人的受力，根据粗粒度部分和细粒度部分的输出计算行人各关节点的加速度；物理直觉模块在获得行人各关节点的加速度后更新各关节点的位置和人体姿态。
[0011]步骤4：优化物理直觉模块网络的权重参数。利用物理直觉模块得到的人体关节点位置来近似视觉表示模块获取的人体关节点位置，通过最小化近似误差来优化物理直觉模块的网络参数。
[0012]步骤5：将视觉表示模块与物理直觉模块相结合进行人体异常行为检测。
[0013]视觉表示模块与物理直觉模块，首先对训练视频中行人的行为进行推理，获得正常行为分布，行人的行为表示为人体各关节点位置；然后对实时采集的图像，获取人体各关节点的加速度，然后依据所服从的正常行为分布的概率分布来计算人体异常分数，根据得分检测人体异常行为。
[0014]相比现有技术，本专利技术方法的优点和积极效果在于：
[0015](1)本专利技术方法提出了利用行人全身及局部所受作用力的分布来进行异常检测，并通过分层PI模块(粗粒度全身作用力和细粒度局部作用力)实现，该模块在三维空间开展物理仿真，利用符合物理规律的运动参数拟合观测到目标的动态信息。由于PI模块的参数符合物理规律，因而不受遮挡等观测噪声影响，对不完全观测具有鲁棒性。本专利技术的PI模块能够对视觉VR模块的估计结果进行修正。
[0016](2)本专利技术方法针对PI模块设计提出了约束优化目标，便于PI模块通过梯度反向传播获得符合物理规律的人体动力学参数，同时将PI模块和VR模块进行结合，相比于传统仅使用视觉线索的方法，采用本专利技术方法能对人体运动产生物理上合理的、具有鉴别性的表征。
[0017](3)本专利技术方法依据PI模块判断出的人体所受作用力信息构建行为分布空间，并提出新的异常分数，经过试验检测，本专利技术方法能更好地进行异常行为检测，检测性能好，具有广泛的适用性。
附图说明
[0018]图1为本专利技术结合描述视觉特征的VR模块与包含物理约束的PI模块的架构图；
[0019]图2为本专利技术中PI模块中包含粗粒度与细粒度分析的网络架构图。
具体实施方式
[0020]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图对本专利技术作进一步的详细和深入描述。基于以下实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本专利技术的保护范围。
[0021]本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理规律的人体异常行为检测方法，其特征在于，包括如下步骤：步骤1：对输入的视频图像，通过视觉表示模块定位行人区域以及关节部位，分别得到粗粒度视觉特征向量表示以及细粒度视觉特征向量表示；所述粗粒度视觉特征向量包括定位的行人和周围物体的外观特征，以及行人与周围物体的相对位置；所述细粒度视觉特征向量表示包括人体的关节点位置；步骤2：构造物理直觉模块的输入数据；所述物理直觉模块分为粗粒度部分和细粒度部分；粗粒度部分将每个人视作一个质点，输入行人外观特征、行人邻域内的物体的外观特征I1，以及行人与邻域内的物体相对位置I2；细粒度部分将每个关节点视为一个质点，输入人体的关节点位置I3和关节点语义连接信息I4，关节点语义连接信息根据关节点之间是否有骨骼相连获取；步骤3：物理直觉模块的粗粒度部分和细粒度部分分别对输入数据处理；所述粗粒度部分对输入矩阵I1和I2处理输出行人粗粒度作用力，粗粒度作用力是行人的自驱力以及所受外力的合力；所述细粒度部分对入矩阵I3和I4处理输出行人细粒度作用力，细粒度作用力包含所有关节点受到的作用力；物理直觉模块利用粗粒度作用力和细粒度作用力模拟行人的受力，根据粗粒度部分和细粒度部分的输出计算行人各关节点的加速度；物理直觉模块在获得行人各关节点的加速度后更新各关节点的位置和人体姿态；步骤4：优化物理直觉模块的网络参数，使得物理直觉模块预测的人体姿态既符合人体物理约束又符合视觉观测；利用物理直觉模块得到的人体关节点位置来近似视觉表示模块获取的人体关节点位置，通过最小化近似误差来优化物理直觉模块的网络参数；步骤5：将视觉表示模块与物理直觉模块相结合进行人体异常行为检测；视觉表示模块与物理直觉模块，首先对训练视频中行人的行为进行推理，获得正常行为分布，行人的行为表示为人体各关节点位置；然后对实时采集的图像，获取人体各关节点的加速度，然后依据所服从的正常行为分布的概率分布来计算人体异常分数，根据得分检测人体异常行为。2.根据权利要求1所述的方法，其特征在于，所述的视觉表示模块包含：用于识别物体种类定位人体的检测器，以及定位人体关节位置的姿势估计器；所述检测器对输入的视频图像提取行人及周围物体的外观特征向量，计算行人与邻域内物体的相对位置，生成粗粒度视觉特征向量表示；所述姿势估计器定位各行人的人体关节点位置。3.根据权利要求1所述的方法，其特征在于，所述的步骤2中，设预测M个行人在t时刻的行为，则由视觉表示模块获取前(t
‑
1)个时刻的行人及其邻域内物体的外观特征I1，前(t
‑
1)个时刻所有行人与其邻域内物体之间的相对位置I2，设外观特征向量的维数为O，行人的邻域数量为Q，则视觉表示模块获取前(t
‑
1)个时刻的行人的人体关节点位置I3，其中，V表示识别的人体关节点数量，C
in
表示坐标系维度；关节点语义连接信息每个行人在每时刻对应有一个V
×
V的矩阵，矩阵中元素表示相应行与相应列对应的关节点是否有语义连接，取值0或1，0表示没有语义连接，1表示二者有语义连接，当关节点之间有骨骼相连表示有语义连接，否则表示没有语义连接。
4.根据权利要求1所述的方法，其特征在于，所述的步骤3中，所述的物理直觉模块，其中：粗粒度部分的网络包含两个分支，第一个分支为1
×
1卷积层组成，用于处理行人及其邻域内物体的外观特征，第二个分支中，首先用1
×
3空间卷积对邻域内物体之间的空间相互作用建模，再与输入矩阵I2加权求和，最后经3
×
1时间卷积提取运动特性；设粗粒度部分最终输出张量Z
coarse
，记录各行人在坐标轴三个方向上的受力；细粒度部分的网络包括实时相关层以及实时加权层；首先将输入矩阵I3存储的人体关节点位置转换为人体关节点之间的相对距离，再与矩阵I4一起输入细粒度部分的网络；首先经实时相关层处理，矩阵I3中包含的每个时刻对应一个输入通道，输入实时相关层的一个处理通道中，实时相关层中设置仅对应矩阵I4中元素值为1的节点权重为激活状态；实时相关层的输出再输入实时加权层处理，实时加权层为1
×
1卷积层并且将所有输入通道映射为2个输出通道，2个输出通道分别输出各行人的人体关节...

【专利技术属性】
技术研发人员：姜亚龙，李慧凝，李长康，李伟，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：