一种用于复杂多人场景的人体姿态判定方法及系统技术方案

本发明专利技术公开了一种用于复杂多人场景的人体姿态判定方法及系统。该方法首先将获得的人体关键点划分成若干集合，如：人体的上半身关键点集合和下半身关键点集合等；然后提取各集合中人体关键点几何分布的统计特征，如：最小外接矩形、凸包等；最后根据计算出的统计特征，如：最小外接矩形的旋转角度、凸包的水平夹角等，判定人体的姿态。本发明专利技术的优势在于能够在人体关键点位置不准确或者部分关键点缺失等情况下快速、准确的判定人体姿态，为异常行为如：跌倒、冲突等的检测提供准确信息。

【技术实现步骤摘要】
一种用于复杂多人场景的人体姿态判定方法及系统
本专利技术属于模式识别和人工智能
，具体涉及一种鲁棒的人体姿态判定方法，特别涉及一种用于复杂多人场景的人体姿态判定方法及系统。
技术介绍
视频监控设备广泛部署在了各种公共场所，如：幼儿园、养老院、车站、商场等。这些设备在日常运行中会产生海量的监控数据，仅靠人工监视视频场景的方式显然不切实际。监控场景中人体姿态的语义描述，即判定不同的人体姿态，可以帮助人们快速了解场景中个体的状态以及发生的事件，对实时检测意外和突发状况意义重大。传统的人工监控方式不仅效率低下，而且难以及时对于一些突发状况做出迅速的反应，随着人工智能以及模式识别技术的发展，出现了一些人体姿态的识别方法。根据是否将人体视为“连杆”模型，人体姿态识别方法大致可以分为两类：基于视频特征提取的方法和基于人体关键点提取的方法。下面将对这两类方法进行展开讨论。在基于视频特征提取的方法中，文献“Actionrecognitionbydensetrajectories[C].IEEEConferenceonComputerVisionandPatternRecognition”提出利用光流场跟踪密集的采样点来获得人体运动的轨迹，进而完成人体姿态的识别。该方法为获取人体运动轨迹需要实时跟踪采样点，而在出现行人交错的场景，这种跟踪很容易出错。文献“HumanposturerecognitionbasedonprojectionhistogramandSupportVectorMachine”利用椭圆拟合人体轮廓，然后沿着椭圆长轴和短轴方向构建直方图用于描述人体形状，最后采用支持向量机识别人体姿态。对于无法准确提取边界框的情况，比如：多人相互咬合或者遮挡，该方法提取的人体形状会发生严重变化，导致姿态识别性能急剧下降。文献“Abio-inspiredevent-basedsizeandpositioninvarianthumanposturerecognitionalgorithm”提出了一种基于简化线段Hausdorff距离的人体姿态识别方法。该方法把视频序列中两个连续的图像帧作为输入，通过比较两帧之间的差异得到活动对象，并将活动对象的轮廓分解为矢量线段。该方法简化了计算，提高了效率，但是无法检测到前后帧之间不动身体部位导致识别的准确率下降。文献“Posturerecognitioninvarianttobackground,clothtextures,bodysize,andcameradistanceusingmorphologicalgeometry”利用提取的人体轮廓的长度和宽度识别人体姿态，避免了穿着背景等细节信息的影响。由于人体轮廓长度和宽度只能对粗略的描述人体姿态，因此该方法识别姿态的准确率不高。基于视频特征提取的方法在判断人体姿态之前需要输入视频是对目标进行跟踪拍摄的或者首先通过跟踪算法提取目标的运动过程，导致此类方法很难适用于目标跟踪困难人数较多的复杂场景。在基于人体关键点提取的方法中，文献“RealtimeMulti-person2DPoseEstimationUsingPartAffinityFields”提出了一种同时预测身体部位位置和各部位位置关系的模型来提取人体关键点；文献“ACoarse-FineNetworkforKeypointLocalization”提出了一种由粗到精多级监督的网络CFN(Coarse-FineNetwork)用于提取人体关键点。这类方法无需跟踪目标，因此能够适用于多人场景中的人体姿态识别。文献“NeuralNetworkApproachfor2-DimensionPersonPoseEstimationWithEncodedMaskandKeypointDetection”利用卷积深度神经网络从图像分割蒙版中提取关键点，学习关键点之间的相互连接关系，实现了将图像分割与自底而上策略相结合来提取人体关键点。基于人体关键点提取的方法大多只是提取特征点，却没做出人体姿态的判定。然而在实际应用中，往往只得到人体的特征点是不够的，给出姿态的判定结果可以帮助人们快速地了解场景中个体的状态以及发生的事件，同时也是智能监控系统自动地对事态做出进一步分析和判断的重要依据。因此，出现了一些根据关键点信息判定人体姿态的方法。文献“Humanpostureclassificationusingskeletoninformation”利用人体关键点之间的距离以及关键点连线的夹角判定人体姿态。但是在实际应用中经常会出现提取的关键点存在误差以及由于遮挡造成的关键点缺失等问题，这会使得现有姿态判定方法性能的急剧下降甚至失效。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的问题，提供一种用于复杂多人场景的人体姿态判定方法及系统，从而快速的了解场景中每个个体的状态以及发生的事件。实现本专利技术目的的技术解决方案为：一种用于复杂多人场景的人体姿态判定方法，所述方法包括以下步骤：步骤1，检测人体关键点，并划分关键点集合；步骤2，提取各集合中人体关键点几何分布的统计特征；步骤3，根据统计特征判定人体姿态。进一步地，步骤1所述检测人体关键点，并划分关键点集合，具体过程包括：步骤1-1，构建样本训练集，该集合包括标注好人体关键点的若干人体图像；步骤1-2，利用所述样本训练集训练深度卷积神经网络；步骤1-3，利用训练好的深度卷积神经网络检测待检测人体图像中的关键点；步骤1-4，划分关键点集合，具体为：剔除非人体躯干的关键点，包括手部，形成全身关键点集合；将人体躯干关键点划分为上半身关键点集合、下半身关键点集合、左臂关键点集合和右臂关键点集合；将下半身关键点继续划分为左腿关键点集合、右腿关键点集合、左侧大腿关键点集合以及右侧大腿关键点集合。进一步地，步骤2所述提取各集合中人体关键点几何分布的统计特征，具体过程包括：步骤2-1-1，计算各关键点集合的凸包；步骤2-1-2，从构成凸包的关键点中找出距离最大的两个关键点；步骤2-1-3，计算所述两个关键点连线沿顺时针方向旋转与水平方向的夹角，作为该凸包的水平角度。进一步地，步骤3所述根据统计特征判定人体姿态，具体为：根据各关键点集合凸包的水平角度，判定手臂、腿部以及全身的姿态：假设全身关键点集合凸包的水平夹角为α0；上半身关键点集合凸包水平夹角为α1；下半身关键点集合凸包的水平夹角为α2；左臂关键点集合凸包的水平夹角为α3；右臂关键点集合凸包的水平夹角为α4；左腿关键点集合凸包的水平夹角为α5；右腿关键点集合凸包的水平夹角为α6；左侧大腿关键点集合凸包的水平夹角为α7；右侧大腿关键点集合凸包的水平夹角为α8；若|tanα3|∈(a3,b3)或|tanα4|∈(a3,b3)，则判定为抬臂姿态；若|tanα5|∈(a5,b5)或|tanα6|∈(a5,b5)，则判定为踢腿姿态；若|tanα0|∈(a0,b0)、|tanα1本文档来自技高网...

【技术保护点】
1.一种用于复杂多人场景的人体姿态判定方法，其特征在于，所述方法包括以下步骤：/n步骤1，检测人体关键点，并划分关键点集合；/n步骤2，提取各集合中人体关键点几何分布的统计特征；/n步骤3，根据统计特征判定人体姿态。/n

【技术特征摘要】
1.一种用于复杂多人场景的人体姿态判定方法，其特征在于，所述方法包括以下步骤：
步骤1，检测人体关键点，并划分关键点集合；
步骤2，提取各集合中人体关键点几何分布的统计特征；
步骤3，根据统计特征判定人体姿态。


2.根据权利要求1所述的用于复杂多人场景的人体姿态判定方法，其特征在于，步骤1所述检测人体关键点，并划分关键点集合，具体过程包括：
步骤1-1，构建样本训练集，该集合包括标注好人体关键点的若干人体图像；
步骤1-2，利用所述样本训练集训练深度卷积神经网络；
步骤1-3，利用训练好的深度卷积神经网络检测待检测人体图像中的关键点；
步骤1-4，划分关键点集合，具体为：
剔除非人体躯干的关键点，包括手部，形成全身关键点集合；
将人体躯干关键点划分为上半身关键点集合、下半身关键点集合、左臂关键点集合和右臂关键点集合；
将下半身关键点继续划分为左腿关键点集合、右腿关键点集合、左侧大腿关键点集合以及右侧大腿关键点集合。


3.根据权利要求1或2所述的用于复杂多人场景的人体姿态判定方法，其特征在于，步骤2所述提取各集合中人体关键点几何分布的统计特征，具体过程包括：
步骤2-1-1，计算各关键点集合的凸包；
步骤2-1-2，从构成凸包的关键点中找出距离最大的两个关键点；
步骤2-1-3，计算所述两个关键点连线沿顺时针方向旋转与水平方向的夹角，作为该凸包的水平角度。


4.根据权利要求3所述的用于复杂多人场景的人体姿态判定方法，其特征在于，步骤3所述根据统计特征判定人体姿态，具体为：根据各关键点集合凸包的水平角度，判定手臂、腿部以及全身的姿态：
假设全身关键点集合凸包的水平夹角为α0；上半身关键点集合凸包水平夹角为α1；下半身关键点集合凸包的水平夹角为α2；左臂关键点集合凸包的水平夹角为α3；右臂关键点集合凸包的水平夹角为α4；左腿关键点集合凸包的水平夹角为α5；右腿关键点集合凸包的水平夹角为α6；左侧大腿关键点集合凸包的水平夹角为α7；右侧大腿关键点集合凸包的水平夹角为α8；
若|tanα3|∈(a3,b3)或|tanα4|∈(a3,b3)，则判定为抬臂姿态；若|tanα5|∈(a5,b5)或|tanα6|∈(a5,b5)，则判定为踢腿姿态；若|tanα0|∈(a0,b0)、|tanα1|∈(a1,b1)且|tanα2|∈(a2,b2)，则判定为站立姿态；若|tanα7|∈[a7,b7]或|tanα8|∈[a7,b7]，则判定为蹲坐姿态；若|tanα0|∈[c0,d0]、|tanα1|∈[c1,d1]且|tanα2|∈[c2,d2]，则判定为平躺姿态。


5.根据权利要求1或2所述的用于复杂多人场景的人体姿态判定方法，其特征在于，步骤2所述提取各集合中人体关键点几何分布的统计特征，具体过程包括：
步骤2-2-1，计算各关键点集合的最小外接矩形；
步骤2-2-2，分别计算最小外接矩形的长边和短边沿顺时针方向旋转与水平方向构成的夹角；
步骤2-2-3，取两个夹角中的较小值作为最小外接矩形的旋转角度。


6.根据权利要求5所述的用于复杂多人场景的人体姿态判定方法，其特征在于，步骤3所述根据统计特征判定人体姿态，具体为：根据各关键点集合最小外接矩形的旋转角度，判定手臂、腿部以及全身的姿态：
假设全身关键点集合最小外接矩形的水平夹角为β0；上半身关键点集合最小外接矩形水平夹角为β1；下半身关键点集合最小外接矩形的水平夹角为β2；左臂关键点集合最小外接矩形的水平夹角为β3；右臂关键点集合最小外接矩形的水平夹角为β4；左腿关键点集合最小外接矩形的水平夹角为β5；右腿关键点集合最小外接矩形的水平夹角为β6；左侧大腿关键点集合最小外接矩形的水平夹角为β7；右侧大腿关键点集合最小外接矩形的水平夹角为β8；
若或则判定为抬臂姿态；若或则判定为踢腿姿态；若且则判定为站立姿态；若β1|∈[λ1,γ1]，则判定为弯腰姿态；若或则判定为蹲坐姿...

【专利技术属性】
技术研发人员：张新峰，杨文强，李斌，
申请(专利权)人：扬州大学，
类型：发明
国别省市：江苏;32