一种基于人体关节点的行人低头异常行为的检测方法技术

本发明专利技术公开了一种基于人体关节点的行人低头异常行为的检测方法，包括如下步骤：步骤一，获取视频流中的每帧图像，将视频流展开为图像序列，针对序列中的每一帧，采用人体检测算法检测视频帧中的每个行人，并裁剪人体区域框；步骤二，在生成的人体区域框内，采用人体姿态算法独立估计每个行人的姿态；步骤三，将估计的人体姿态映射回原图，微调人体区域框，直至生成准确的人体关节点的坐标信息；步骤四，重复步骤一、二、三，直至人体区域框位置不再发生变化；步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的人体关节点信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，正负样本构成训练集训练行为分类器，生成最优模型；步骤六，测试时，将生成的准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。本发明专利技术解决复杂环境中多个行人的异常行为检测容易出现的准确率低下的问题，实现在复杂场景中高准确率的多人实时检测的效果。

【技术实现步骤摘要】
一种基于人体关节点的行人低头异常行为的检测方法
本专利技术涉及交通安全管理
，具体涉及一种基于人体关节点的行人低头异常行为的检测方法。
技术介绍
手机的智能化发展让人们投入越来越多的精力，但当行人穿越人行横道或等待红绿灯时，如果低头看手机，容易分散其注意力，降低其对外界危险的反应速度。据世界卫生组织调查，全世界每年有超过27万行人死于路面交通事故，而途中使用手机是交通事故发生的最主要原因。世界各国纷纷采取各项措施整治低头族，却反响平平。因此，自动化检测识别行人的低头异常行为迫在眉睫。异常行为检测作为人体行为识别中的一个热点问题，目前已被广泛应用于智能交通、家居、安防监控等领域。根据其具体所使用的场景，不同的场景对异常行为有着不同的定义：例如，在密集人群中打架斗殴等被视为异常行为，在智能家居场景中老人、儿童摔倒被视为异常行为等，目前国内外学者针对上述异常行为检测已经有许多深入的研究。而针对行人低头使用手机这类异常行行为检测的方法，仅有北京交通大学提供的一种行人分心行为检测方法(CN108960029A)，其主要采用梯度和纹理特征集成方法对行人图像进行检测处理，以获取行人位置区域，然后在该区域内使用选择性搜索方法获取敏感部位图像，并对敏感部位图像进行特征提取，最后得到敏感特征矩阵，以此训练Adaboost分类器，并输出检测结果。上述方法主要是基于行人的表观图像特征，只能处理单人检测问题，当存在遮挡或更加复杂的场景时，易出现检测准确率低下等问题。
技术实现思路
本专利技术的目的在于解决复杂环境中多个行人的异常行为检测容易出现的准确率低下的问题，提供一种基于人体关节点的行人低头异常行为的检测方法，实现在复杂场景中高准确率的多人实时检测的效果。本专利技术采用的技术方案是：一种基于人体关节点的行人低头异常行为的检测方法，包括如下步骤：步骤一，获取视频流中的每帧图像，将视频流展开为图像序列，针对序列中的每一帧，采用人体检测算法检测视频帧中的每个行人，并裁剪人体区域框；步骤二，在生成的人体区域框内，采用人体姿态算法独立估计每个行人的姿态；步骤三，将估计的人体姿态映射回原图，微调人体区域框，直至生成准确的人体关节点的坐标信息；步骤四，重复步骤一、二、三，直至人体区域框位置不再发生变化；步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的人体关节点信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，正负样本构成训练集训练行为分类器，生成最优模型；步骤六，测试时，将生成的准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。优选地，步骤一中人体区域框的裁剪方法为：在采用人体检测算法得到多个检测框中，选择分值最高的检测框作为该行人的区域框，记录并保存区域框的左上、右下两个坐标值，根据该区域框将行人裁剪出来。优选地，步骤二中人体姿态的获取方法为：通过在每个关键点位置上放置一个高斯响应的方法构造响应图的真值，获取每个人17个关节点置信度最大的响应，该17个关节点从序号1到17分别是鼻子，右眼，左眼，右耳，左耳，右肩，左肩，右肘，左肘，右腕，左腕，右臀，左臀，右膝，左膝，右脚，左脚，并将视频帧名称及17个坐标值保存至相应的文本文件中。优选地，步骤三中区域框微调的方法为：参考关节点坐标，对先前检测出的区域框微调，使估计的人体姿态位于区域框的中间位置，得到高质量的准确区域框。优选地，步骤五中负样本的拟合流程为：获取人体一个手臂的关节点信息，包括肩、肘、腕三处关节点，其坐标位置分别记作P1(x1,y1)、P2(x2,y2)、P3(x3,y3)；将P2到P1的水平线l的距离记作h12，用l12、l23分别表示上臂、下臂的长度，其中，对应l12计算方式为：对应l23计算方式为：使用手机时，只是将手腕抬高，整条手臂的长度保持不变，因此拟合的过程即寻找抬高后的手腕坐标即P′(x′3,y′3)，其中将纵坐标定义如下：而横坐标x′3的计算分为手腕在手肘内侧和手腕在手肘外侧两种情况，两种情况原理相同；具体方式如下：当手腕在手肘内侧时，此时x2＞x3；如果在△P2OP′3中，x′3＝x2-Δx，其中：如果此时无法构成△P2OP′3，OP3′的长度用OP2近似代替，即则x′3＝x2-Δx；当手腕在手肘外侧时，此时x2≤x3；如果在△P2OP′3中，x′3＝x2+Δx，其中：如果此时无法构成△P2OP′3，OP′3的长度用OP2近似代替，即则x′3＝x2+Δx。本专利技术的优点和积极效果是：(1)本专利技术提供了一种基于人体关节点的行人低头异常行为的检测方法，根据现有多数行人使用手机姿态规律，在识别人体关节点的基础上，设计了一种将正常行人姿态拟合为手持电子设备的异常姿态，解决了当前使用手机这类数据集缺乏且需要大量人工采集标注问题；(2)本专利技术提供了一种基于人体关节点的行人低头异常行为的检测方法，充分利用头部与手臂信息，能够有效地实现复杂环境中多人异常行为检测，可以及时准确的为驾驶员、车载辅助驾驶以及无人驾驶系统提供必要的参考信息。附图说明图1为本专利技术实施例提供的一种算法简要流程图；图2为本专利技术实施例提供的一种全身关节点示意图及拟合结果示意图；图3为本专利技术实施例提供的一种手臂关节点拟合过程示意图；图4为本专利技术实施例提供的一种真实数据集正确识别结果。附图标记说明：P1-肩关节点坐标；P2-肘关节点坐标；P3-腕关节点坐标；P′3-抬高后的腕关节坐标；l-过P1点所作的水平线；l'-过P′3点所作的水平线；h12-P2到l的垂直距离；O-l'与OP2两条线的垂直交点；Δx-线段OP′3的长度；具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，本专利技术的实施方式不限于此。图1中的算法简要流程图包含六个步骤：步骤一，获取视频流中的每帧图像，采用人体检测模型定位该帧中每个行人的人体区域框，在得到的多个检测框中，选择分值最高的作为该行人的区域框，记录并保存区域框的左上、右下两个坐标值，并根据该区域框将行人裁剪出来，此时得到的区域框可能是不准确的；步骤二，在检测框的基础上，采用人体姿态网络模型独立估计每个区域框中的人体姿态，通过在每个关键点位置上放置一个高斯响应的方法，来构造响应图的真值，获取每个人17个关节点置信度最大的响应，该17个关节点从序号1到17分别是鼻子，右眼，左眼，右耳，左耳，右肩，左肩，右肘，左肘，右腕，左腕，右臀，左臀，右膝，左膝，右脚，左脚。如图2中(b)所示，并将视频帧名称及17个坐标值保存至相应的文本文件中。步骤三，将步骤二中估计的每个行人关节点坐标结果映射回原视频帧中，参考关节点坐标对先前检测出的区域框微调，使估计的人体姿态位于检测框的中间位置，以此得到高质量的准确区域框，更新步骤二中的坐标信息；步骤四，重复步骤一、二、三直至区域框位置不再发生变化。...

【技术保护点】
1.一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，包括如下步骤：/n步骤一，获取视频流中的每帧图像，将所述视频流展开为图像序列，针对所述图像序列中的每一帧，采用人体检测算法检测所述视频帧中的每个行人，并裁剪人体区域框；/n步骤二，在生成的所述人体区域框内，采用人体姿态算法独立估计每个行人的姿态；/n步骤三，将所述估计的人体姿态映射回原图，微调所述人体区域框，直至生成准确的人体关节点的坐标信息；/n步骤四，重复步骤一、二、三，直至所述人体区域框位置不再发生变化；/n步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的所述人体关节点的坐标信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，所述正负样本构成训练集训练行为分类器，生成最优模型；/n步骤六，测试时，将生成的所述准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。/n

【技术特征摘要】
1.一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，包括如下步骤：
步骤一，获取视频流中的每帧图像，将所述视频流展开为图像序列，针对所述图像序列中的每一帧，采用人体检测算法检测所述视频帧中的每个行人，并裁剪人体区域框；
步骤二，在生成的所述人体区域框内，采用人体姿态算法独立估计每个行人的姿态；
步骤三，将所述估计的人体姿态映射回原图，微调所述人体区域框，直至生成准确的人体关节点的坐标信息；
步骤四，重复步骤一、二、三，直至所述人体区域框位置不再发生变化；
步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的所述人体关节点的坐标信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，所述正负样本构成训练集训练行为分类器，生成最优模型；
步骤六，测试时，将生成的所述准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。


2.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤一中所述人体区域框的裁剪方法为：在采用所述人体检测算法得到多个检测框中，选择分值最高的检测框作为该行人的区域框，记录并保存所述区域框的左上、右下两个坐标值，根据所述区域框将行人裁剪出来。


3.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤二中所述人体姿态的获取方法为：通过在每个关键点位置上放置一个高斯响应的方法构造响应图的真值，获取每个人17个关节点置信度最大的响应，所述17个关节点从序号1到17分别是鼻子，右眼，左眼，右...

【专利技术属性】
技术研发人员：林春雨，管文华，赵耀，杨尚蓉，刘美琴，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11