一种基于目标识别的人体姿态检测方法及系统技术方案

本发明专利技术公开一种基于目标识别的人体姿态检测方法及系统。本发明专利技术使用关键部位为对象目标，并基于肢体热图建立连接关系表达人体姿态特征，进而降低遮挡情况下的漏检率，而且本发明专利技术使用的姿态特征中已包含人体边界框，所以在后续同时需要人体姿态特征、人体目标特征、部位目标特征时，不需要额外搭载目标检测算法也能获取准确的、非回归拟合的预测边界框，提高了检测速度。了检测速度。了检测速度。

【技术实现步骤摘要】
一种基于目标识别的人体姿态检测方法及系统


[0001]本专利技术涉及目标识别
，特别是涉及一种基于目标识别的人体姿态检测方法及系统。

技术介绍

[0002]现有关于异常行为检测系统的研究往往将其目标场景设定在居家环境、商场大厅环境这种空旷的场景下，或者排队场景，室外环境这种对目标特征信息足以充分完成异常判断的场景，针对公交车厢场景进行的研究相对较少。如图1和图2所示，公交车厢场景相对于其他场景的场景特点是场景中的人体图像往往遮挡严重，后续需要进行的行为判断研究及其信息需求较多(指完成特征提取后可能需要利用这些特征进行跌倒判别、过界判别、人脸识别、快速移动判别、打斗判别、坐稳抓稳判别等等，其可能需要依据不同的特征，如抓稳需要手部的边界框、过界需要人体边界框、跌倒需要姿态信息、人脸识别需要头部边界框等等)。
[0003]在智能公交技术的研究过程中，依靠公交车厢内的监控摄像对车厢内发生的乘客异常行为进行检测是一项十分主要的工作。现有研究针对图像内的行为检测系统常分为三个阶段：其一是特征提取，即将复杂的图像信息提取为更精炼的信息，主要包括用传统图像处理方法检测的运动物体信息、边缘信息等(这部分主要是深度网络广泛应用前的方法，现有研究已经不涉及了)，用目标识别算法检测的人体目标信息(即人体的边界框)，用姿态估计算法检测的人体姿态信息(通常是人体关键点骨架)；其二是特征处理，不同研究根据其各自方法的需求往往需要对检测到的特征进行进一步的处理，如若需要依照视频判断行为需要进行帧间目标匹配，若用人体目标作为表征行为的特征需要对目标特征进行进一步提取(如计算边界框的宽高比、中心变化率、有效面积比等)等；其三是行为判断，即利用上述提取到的特征判断人体处于什么行为，常见方法有利用经验设计逻辑判断策略(如人体边界框宽高比极速增大可能代表人体摔倒了，此方法常用于简单场景单行为判断)、将训练SVM分类器进行判断、利用深度网络进行判断(如基于视频判断行为时，对象连续的姿态会组成一组序列信息，往往依靠残差网络或者记忆网络来完成分类任务)。
[0004]公交车厢场景下的异常行为检测对于公共安全保障与危险预警具有重要意义。而异常行为识别的前提首先要基于采集的图像或视频提取人体姿态特征信息。对公交车厢场景进行调研，其人体目标图像往往遮挡严重，此时采用传统的人体姿态估计算法，即使部分遮挡的人体目标也往往被漏检，造成较高的漏检率。
[0005]其中，现有的检测方法包括：
[0006]1、常见特定场景下进行姿态特征检测方法：部署常见的Bottom
‑
up(自底向上)人体姿态估计算法，其往往是以多种人体骨骼关键点及其所属关系构成的人体关键点骨架表示姿态信息，用深层卷积网络检测关键点，通过后处理阶段将属于同一人的关键点连接成骨架。最为常见的是OpenPose算法。
[0007]2、由于有时后续行为判别可能不止需求人体姿态特征还需要人体目标特征(即人
体边界框)，虽然姿态特征也可以根据骨架回归出一个人体边界框但其误差较大，该情况下现有研究会选择top
‑
down(自顶向下)的人体姿态估计算法(即先运行人体目标检测器，再将每个检测到的人体边界框截取图片，在其上进行单人姿态估计，这样做可以获取同时获取到准确的目标特征与姿态特征，而且漏检率较低，缺点是检测速度会随图片内人数的增大而大幅度减慢，以至于难以运用于实时的检测中)，或者同时运行一个Bottom
‑
up(自底向上)人体姿态估计算法与一个人体目标识别算法，将检测到的姿态特征与人体目标匹配(也能同时获取到准确的目标特征与姿态特征，虽然也是运行了两个网络甚至三个网络(匹配过程也可能需要深度网络来计算)，检测速度相较单Bottom
‑
up(自底向上)人体姿态估计算法要慢上不少，但比top
‑
down(自顶向下)的姿态估计算法要好)。
[0008]现有技术在研究特定场景下提取人体特征信息采取的方法往往是搭载一个Bottom
‑
up(自底向上)的人体姿态估计算法，其能检测到图片内的人体姿态特征并且实时性较好。但由于Bottom
‑
up(自底向上)的人体姿态估计算法其算法原理是先检测出图片上全部的关键点，再在后处理阶段利用一些辅助信息将属于同一个人的关键点回归连接成完整的人体骨架。其会产生如下两个问题：
[0009]其一，是由于后处理阶段若要实现可靠的回归连接，就需要人体目标有足够多的关键点被检测到，即若判断属于一个人的关键点少于指定的阈值就认定该些关键点为误检，直接抛弃不进行回归连接。此举主要是为了减低网络敏感性与过拟合，提高准确度，但在人体图像遮挡度较高的场景下，很多人体图像会由于被遮挡导致检测不出足够的关键点从而在后处理阶段被抛弃，漏检率大幅增加，其示意图如图3中的(a)和(b)所示。
[0010]其二，是在后续的行为判别时可能会需要多种信息，有时不止需要人体姿态信息也需要人体目标信息(比如在进行乘客摔倒检测与预测时，人体姿态信息可以用来表征动作，但也会需要人体目标信息来判断乘客是在过道区还是座椅区，需要手部目标信息判断乘客是否抓握住扶手等等)，满足此要现行研究主要有三种方法：一是利用人体姿态特征回归出的边界框来代表人体目标特征，但人体关键点位置在人体目标内部，其会出的边界框往往会比直接检测出的人体边界框小一些(从图3中也能看到这一问题)，虽然简单便捷但有时不足够表征人体目标。二是放弃选用Bottom
‑
up(自底向上)的人体姿态估计算法，转而选取top
‑
down(自顶向下)的人体姿态估计算法，因为后者是两步式检测，在第一步就检测了人体目标特征，但由于其算法设计上的问题，就很难实现实时多人检测了。三是同时搭载Bottom
‑
up(自底向上)的人体姿态估计算法与人体目标识别算法，这样就能同时检测出人体姿态特征于目标特征，再在检测阶段后对两类特征进行匹配，将同一人体所属的姿态特征于目标特征匹配在一起，其问题是两种检测算法的检测能力不同(在高度遮挡场景下，一般是目标识别要优于姿态估计)导致有些特征匹配不到另一个特征，只能选择抛弃这些特征，或者将后续判断设计成能兼容三种情况特征的算法，这往往会降低后续的判断能力，且多搭载了一个网络也会降低检测的速度。

技术实现思路

[0011]本专利技术的目的是提供一种基于目标识别的人体姿态检测方法及系统，以降低遮挡情况下的漏检率，并提高检测速度。
[0012]为实现上述目的，本专利技术提供了如下方案：
[0013]在一方面，本专利技术提供一种基于目标识别的人体姿态检测方法，所述方法基于人体姿态检测网络模型，所述人体姿态检测网络模型包括：特征提取网络、关键部位预测网络、肢体热图预测网络和后处理模块；所述特征提取网络的输出端分别与所述关键部位预测网络的输入端和所述肢体热图预测网络的输入端连接，所述关键部位预测网络的输出端和所述肢体热图预测网络的输出端均与所述后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标识别的人体姿态检测方法，其特征在于，所述方法基于人体姿态检测网络模型，所述人体姿态检测网络模型包括：特征提取网络、关键部位预测网络、肢体热图预测网络和后处理模块；所述特征提取网络的输出端分别与所述关键部位预测网络的输入端和所述肢体热图预测网络的输入端连接，所述关键部位预测网络的输出端和所述肢体热图预测网络的输出端均与所述后处理模块的输入端连接；所述方法包括如下步骤：获取目标场景下的待识别图片；利用所述特征提取网络对所述待识别图片进行特征提取，获得特征数据；根据所述特征数据，利用所述关键部位预测网络进行关键部位的预测，获得人体目标的关键部位及人体目标；所述关键部位包括头部、躯干、左手、右手、右脚和左脚；根据所述特征数据，利用所述肢体热图预测网络进行肢体热图的预测，获得人体目标的肢体热图；利用所述后处理模块，基于所述肢体热图对同一人体目标的关键部位进行回归连接，确定所述人体目标的姿态信息。2.根据权利要求1所述的基于目标识别的人体姿态检测方法，其特征在于，所述特征提取网络包括：20层的卷积层；所述关键部位预测网络包括：5层的卷积层，及5层的卷积层后连接的两层的全连接层；所述肢体热图预测网络为沙漏网络，所述沙漏网络包括5层的卷积层。3.根据权利要求1所述的基于目标识别的人体姿态检测方法，其特征在于，所述获取目标场景下的待识别图片，之前还包括：构建关键部位数据集和连接肢体数据集；基于所述关键部位数据集训练所述关键部位预测网络；基于所述连接肢体数据集训练所述肢体热图预测网络。4.根据权利要求3所述的基于目标识别的人体姿态检测方法，其特征在于，所述构建关键部位数据集和连接肢体数据集，具体包括：获取目标场景下的多个样本图片；在每个所述样本图片中标注出人体目标的人体边界框、头部边界框、躯干边界框、左手边界框、右手边界框、右脚边界框和左脚边界框，获得每个所述样本图片的关键部位标签；其中，所述躯干边界框为可倾斜的矩形，所述人体边界框、所述头部边界框、所述左手边界框、所述右手边界框、所述右脚边界框和所述左脚边界框均为不可倾斜的矩形；在每个所述样本图片中标注出人体目标的右上臂边界框、右下臂边界框、左上臂边界框、左下臂边界框、右大腿边界框、右小腿边界框、左大腿边界框和左小腿边界框，获得每个所述样本图片的连接肢体标签；其中，右上臂边界框、右下臂边界框、左上臂边界框、左下臂边界框、右大腿边界框、右小腿边界框、左大腿边界框和左小腿边界框均为可倾斜的矩形；将每个所述样本图片的关键部位标签转换为数组形式，获得关键部位数据集；将每个所述样本图片的连接肢体标签转换为由中心向边缘衰减的热图，获得右上臂热图、右下臂热图、左上臂热图、左下臂热图、右大腿热图、右小腿热图、左大腿热图和左小腿热图；将每个所述样本图像中同一人体目标的右上臂热图、右下臂热图、左上臂热图、左下臂
热图、右大腿热图、右小腿热图、左大腿热图和左小腿热图整合成右臂热图、左臂热图、右腿热图和左腿热图，获得连接肢体数据集。5.根据权利要求3所述的基于目标识别的人体姿态检测方法，其特征在于，用于训练关键部位预测网络的损失函数为：loss
keypart
＝λ1person_corr_loss+λ2person_confi_loss+λ3noperson_confi_loss+λ4part_corr_loss+λ5part_confi_loss+λ6nopart_confi_loss+λ7angle_loss其中，loss
keypart
表示用于训练关键部位预测网络的损失函数；person_corr_loss表示人体目标坐标损失，person_corr_loss表示人体目标坐标损失，x、y、w和h分别为预测得到的第i行第j列单元格的人体边界框的中心点横坐标、中心点纵坐标、宽度值和高度值，和分别为标注得到的第i行第j列单元格的人体边界框的中心点横坐标、中心点纵坐标、宽度值和高度值，表示第i行第j列单元格是否存在人体目标，当存在人体目标，的值为1，当不存在人体目标，的值为0；person_confi_loss为人体目标正样本置信度损失，person_confi_loss为人体目标正样本置信度损失，c为预测得到的第i行第j列单元格的人体边界框的置信度；noperson_confi_loss为人体目标负样本置信度损失，表示第i行第j列单元格是否不存在人体目标，当不存在人体目标的值为1，当存在人体目标的值为0；part_corr_loss为关键部位目标坐标损失，part_corr_loss为关键部位目标坐标损失，part_corr_loss为关键部位目标坐标损失，表示第i行第j列单元格是否存在第k个关键部位，当存在第k个关键部位，的值为1，当不存在第k个关键部位，的值为0，第k个关键部位为头部、躯干、左手、右手、右脚或左脚；x
k
、y
k
、w
k
和h
k
分别为预测得到的第i行第j列单元格的第k个关键部位边界框的中心点横坐标、中心点纵坐标、宽度值和高度值，和分别为标注得到的第i行第j列单元格的第k个关键部位边界框的中心点横坐标、中心点纵坐标、宽度值和高度值；part_confi_loss为关键部位目标正样本置信度损失，part_confi_loss为关键部位目标正样本置信度损失，其中，c
k
表示预测得到的第i行第j列单元格的第k个关键...

【专利技术属性】
技术研发人员：张晓平，孟祥鹏，王力，郑远鹏，吴宜通，冯辉，马新雨，张嘉林，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：