一种行人过马路特殊姿态监测系统及方法技术方案

本发明专利技术公开了一种行人过马路特殊姿态监测系统及方法，系统包括：摄像头采集装置、算法处理装置、定向发声装置；算法处理装置包括人体骨架检测模块、行人姿态分类模块、行人特殊姿态判断模块、控制模块；摄像头采集装置采集斑马线区域的图像，人体骨架检测模块获取行人行为、人体骨架和各个关节点的位置对应关系；行人姿态分类模块利用分类器对行人姿态进行分类；行人特殊姿态判断模块根据分类结果判断是否为特殊姿态；控制模块根据特殊姿态行人的位置信息控制定向发声装置向目标方向发声示警。避免行人突发情况造成人员伤害或交通拥堵，可以有效通知目标周围人群并且减少对周围环境的干扰及噪声污染。环境的干扰及噪声污染。环境的干扰及噪声污染。

【技术实现步骤摘要】
一种行人过马路特殊姿态监测系统及方法


[0001]本专利技术属于交通安全设施领域，涉及一种行人过马路特殊姿态监测系统及方法。

技术介绍

[0002]目前对于斑马线区域行人的监测只能监测到行人是否存在闯红灯过马路的行为，由于斑马线区域人群密集路况复杂，可能出现儿童滞留斑马线区域玩耍、行人突发疾病等情况，从而造成人员伤害或交通拥堵的问题。目前针对这些情况缺少有效的监测机制。

技术实现思路

[0003]本专利技术目的是：提供一种行人过马路特殊姿态监测系统及方法，能够适用于复杂环境的行人过马路过程中特殊姿态的检测，且融合定向发声技术对特定方向的人员进行通知示警。
[0004]本专利技术的技术方案是：第一方面，一种行人过马路特殊姿态监测系统，包括：摄像头采集装置、算法处理装置、定向发声装置；所述算法处理装置包括人体骨架检测模块、行人姿态分类模块、行人特殊姿态判断模块、控制模块；所述摄像头采集装置用于采集斑马线区域的图像，输入至所述算法处理装置；所述人体骨架检测模块用于利用深度学习对图像中每个行人的关节点进行定位，获取行人定位、人体骨架和各个关节点的位置及对应关系，生成记录文件输入到所述行人姿态分类模块；所述行人姿态分类模块用于根据所述人体骨架检测模块获取的记录文件，利用训练好的分类器对行人姿态进行分类；所述行人特殊姿态判断模块用于根据所述行人姿态分类模块的分类结果判断是否处于特殊姿态；当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给所述控制模块；所述控制模块用于根据位置信息控制定向发声装置向目标方向发声示警；所述定向发声装置用于根据所述控制模块的控制向目标方向发声。
[0005]其进一步的技术方案是：所述行人特殊姿态判断模块还用于针对分类结果判断为特殊姿态的行人，结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人。
[0006]其进一步的技术方案是：姿态的分类结果至少包括走、站、蹲、卧、跪、弯腰；所述特殊姿态至少包括蹲、卧、跪、弯腰。
[0007]其进一步的技术方案是：所述定向发声装置包括可转向的扬声器或不同朝向的多个扬声器。
[0008]第二方面，一种行人过马路特殊姿态监测方法，应用于如第一方面所述的行人过马路特殊姿态监测系统中，包括：
S1，通过摄像头采集装置采集斑马线区域的图像，将采集到的图像输入至算法处理装置中；S2，通过算法处理装置中的人体骨架检测模块利用深度学习对图像中的每个行人的关节点进行定位，通过关节点之间的亲和度向量区分不同的人，并根据人体结构将每个人的关节点连接起来，获取行人定位、人体骨架及各个关节点的位置，根据从图像中检测到的每个人不同关节点的位置及对应关系生成记录文件；S3，通过算法处理模块中的行人姿态分类模块以所述人体骨架检测模块生成的记录文件作为样本，根据不同关节的相对位置，利用训练好的分类器对行人姿态进行分类；S4，通过算法处理模块中的行人特殊姿态判断模块根据所述行人姿态分类模块的分类结果判断行人是否处于特殊姿态，当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给控制模块；S5，通过控制模块根据位置信息控制定向发声装置向目标方向发声示警。
[0009]其进一步的技术方案是：步骤S4还包括：针对分类结果判断为特殊姿态的行人，通过所述行人特殊姿态判断模块结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像均为特殊姿态的行人确定为目标行人。
[0010]其进一步的技术方案是：若所述定向发声装置包括可转向的扬声器，则步骤S5包括：通过控制模块根据位置信息控制扬声器转向目标方向发声示警。
[0011]其进一步的技术方案是：若所述定向发声装置包括不同朝向的多个扬声器，则步骤S5包括：通过控制模块根据位置信息控制对应目标方向的扬声器发声示警。
[0012]本专利技术的优点是：通过计算机视觉及深度学习技术，判断出斑马线区域的行人是否为特殊姿态，对于特殊姿态的行人通过定向发声装置对行人所在方向定向发声，提醒当事人及周边行人，避免行人突发情况造成人员伤害或交通拥堵；另外，由于采用定向发声装置进行发声，可以有效通知目标周围人群并且减少对周围环境的干扰及噪声污染。
[0013]另外，通过对连续帧图像中的行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人，可以提高目标行人判定的准确性，排除干扰。
附图说明
[0014]下面结合附图及实施例对本专利技术作进一步描述：图1是本申请提供的行人过马路特殊姿态监测系统的结构框图；图2是本申请提供的行人过马路特殊姿态监测方法的流程图。
具体实施方式
[0015]实施例：本申请提供了一种行人过马路特殊姿态监测系统，基于行人特殊姿态检测和定向发声技术融合，如图1所示，该系统包括：摄像头采集装置10、算法处理装置20、定
向发声装置30；算法处理装置20包括人体骨架检测模块21、行人姿态分类模块22、行人特殊姿态判断模块23、控制模块24。
[0016]摄像头采集装置10用于采集斑马线区域的图像，输入至算法处理装置20。
[0017]摄像头采集装置10对准斑马线区域，采集斑马线区域图像，图像每秒输出不低于30帧。
[0018]人体骨架检测模块21用于利用深度学习对图像中每个行人的关节点进行定位，获取行人定位、人体骨架和各个关节点的位置及对应关系，生成记录文件输入到行人姿态分类模块22。
[0019]行人姿态分类模块22用于根据人体骨架检测模块21获取的记录文件，利用训练好的分类器对行人姿态进行分类。
[0020]姿态的分类结果至少包括走、站、蹲、卧、跪、弯腰；所述特殊姿态至少包括蹲、卧、跪、弯腰。
[0021]行人特殊姿态判断模块23用于根据行人姿态分类模块22的分类结果判断是否处于特殊姿态；当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给控制模块24。
[0022]行人特殊姿态判断模块23还用于针对分类结果判断为特殊姿态的行人，结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人。
[0023]控制模块24用于根据位置信息控制定向发声装置30向目标方向发声示警，及时通知周围人群。
[0024]定向发声装置30用于根据控制模块24的控制向目标方向发声。
[0025]可选的，定向发声装置30包括可转向的扬声器或不同朝向的多个扬声器。在实际应用中，定向发声装置30可以采用具备声学定向的发声装置。
[0026]本申请利用计算机视觉及深度学习技术，设计出行人特殊姿态检测功能，正常斑马线过马路行人的姿态应该为行走或站立，诸如蹲、卧、跪、弯腰等姿态，可以列为特殊姿态，对于连续多帧图像内都呈现为特殊姿态的行人，及时通过定向发声装置对行人所在方向定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人过马路特殊姿态监测系统，其特征在于，包括：摄像头采集装置、算法处理装置、定向发声装置；所述算法处理装置包括人体骨架检测模块、行人姿态分类模块、行人特殊姿态判断模块、控制模块；所述摄像头采集装置用于采集斑马线区域的图像，输入至所述算法处理装置；所述人体骨架检测模块用于利用深度学习对图像中每个行人的关节点进行定位，获取行人定位、人体骨架和各个关节点的位置及对应关系，生成记录文件输入到所述行人姿态分类模块；所述行人姿态分类模块用于根据所述人体骨架检测模块获取的记录文件，利用训练好的分类器对行人姿态进行分类；所述行人特殊姿态判断模块用于根据所述行人姿态分类模块的分类结果判断是否处于特殊姿态；当判断出现特殊姿态行人时，将对应的行人确定为目标行人，将目标行人的位置信息发送给所述控制模块；所述控制模块用于根据位置信息控制定向发声装置向目标方向发声示警；所述定向发声装置用于根据所述控制模块的控制向目标方向发声。2.根据权利要求1所述的行人过马路特殊姿态监测系统，其特征在于，所述行人特殊姿态判断模块还用于针对分类结果判断为特殊姿态的行人，结合之前连续帧图像中对应行人的姿态检测结果进一步判定是否为特殊姿态，将连续帧图像内均为特殊姿态的行人确定为目标行人。3.根据权利要求2所述的行人过马路特殊姿态监测系统，其特征在于，姿态的分类结果至少包括走、站、蹲、卧、跪、弯腰；所述特殊姿态至少包括蹲、卧、跪、弯腰。4.根据权利要求1至3任一所述的行人过马路特殊姿态监测系统，其特征在于，所述定向发声装置包括可转向的扬声器或不同朝向的多个扬声器。5.一种行人过马路特殊姿态监测方法，其特征在于，应用于如权利要求1至4任一所述的行人过马路特殊姿...

【专利技术属性】
技术研发人员：杨萌，张伟，陈煜宇，
申请(专利权)人：苏州清研微视电子科技有限公司，
类型：发明
国别省市：