一种基于实时视频流的机器人人员检测算法制造技术

本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。提高人员在危险情况下的察觉能力。提高人员在危险情况下的察觉能力。

【技术实现步骤摘要】
一种基于实时视频流的机器人人员检测算法


[0001]本申请涉及机器人
，特别涉及一种基于实时视频流的机器人人员检测算法。

技术介绍

[0002]在工业和安全领域，人员的安全和准确检测是至关重要的。传统的人员检测方法往往依赖于人工巡视，存在效率低、易疲劳、主观性高等问题。为了解决这些问题，使用计算机视觉和机器学习技术进行安全检测变得越来越普遍。
[0003]然而，传统方案是对录制好的现场视频进行安全判断识别，存在一些局限性。例如，无法实时管控现场工作人员，无法实时判断人物是否处于危险状态，无法在判断人物处于危险状态时及时采取报警操作。

技术实现思路

[0004]本申请的目的在于提供一种基于实时视频流的机器人人员检测算法，其能够改善上述问题。
[0005]本申请的实施例是这样实现的：
[0006]第一方面，本申请提供一种基于实时视频流的机器人人员检测算法，其包括：
[0007]S1：获取摄像头采集的实时拍摄画面，通过YOLO模型获取所述实时拍摄画面中的人物预测区域；
[0008]S2：提取所述人物预测区域内的人脸区域进行人脸识别；
[0009]S3：提取所述人物预测区域中目标颜色像素的聚集区域作为目标区域；
[0010]S4：根据所述目标区域与所述人脸区域的关系，判断所述人物预测区域内的人物是否处于危险状态；
[0011]S5：在人脸识别失败或判断所述人物预测区域内的人物处于危险状态的情况下执行报警操作。
[0012]其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
[0013]可以理解，本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。
[0014]在本申请可选的实施例中，所述报警操作包括以下至少一项：向扬声器发出报警信号，驱动所述扬声器发出报警音频；向显示器发出报警信号，驱动所述显示器显示报警信息；向指示灯发出报警信号，驱动所述指示灯点亮报警信号；通过通信设备向监控终端发出报警信息。
[0015]可以理解，本申请的报警操作分为两类，一类是通过现有的报警设备进行报警，比如扬声器、显示器、指示灯等；另一类是通过通信设备向监控终端发出报警信息，即监控人员可以从监控终端上查看实时拍摄画面和报警信息，监控人员可以再通过该通信设备进行机器人的控制，以采取对应的安全措施。
[0016]在本申请可选的实施例中，所述步骤S3包括：
[0017]S31：去除所述人物预测区域中已知的目标区域，得到待处理区域；
[0018]S32：随机选择所述待处理区域中属于所述目标颜色的像素作为目标像素，将所述目标像素划归进新建聚类区域；
[0019]S33：将与所述目标像素相邻的像素中属于所述目标颜色的像素也划归进所述新建聚类区域；
[0020]S34：继续分析与所述新建聚类区域中各个像素相邻的相邻像素，将所述相邻像素中属于所述目标颜色的像素继续划归进所述新建聚类区域，直到所述新建聚类区域内的像素不再增加为止；
[0021]S35：将所述新建聚类区域作为目标区域。
[0022]其中，所述目标颜色的数量包括至少一种。
[0023]可以理解，获取目标颜色像素的聚集区域的目的是为了识别出人物预测区域中的安全帽区域和安全服元素区域，因此，目标颜色即为安全帽和安全服所使用的的颜色，一般为黄色。本方法统计目标颜色像素的聚集区域，即初步判断出安全帽区域和安全服元素区域的备选区域，进一步的确认，需要根据目标颜色像素的聚集区域与所述人脸区域的位置关系和比例关系来确定。
[0024]在本申请可选的实施例中，所述步骤S4包括以下至少一项：
[0025]S41：在所述目标区域与所述人脸区域的位置关系和比例关系满足第一预设条件下，判断所述人物预测区域内的人物佩戴有安全帽；
[0026]S42：在所述目标区域与所述人脸区域的位置关系和比例关系第二预设条件下，判断所述人物预测区域内的人物穿有安全服；
[0027]S43：在判断出所述人物预测区域内的人物未佩戴安全帽或未穿有安全服的情况下，判断所述人物是否处于危险状态。
[0028]可以理解，本申请未采用传统思路上的图像识别模型进行安全帽和安全服的识别，而是通过对目标颜色像素聚集区域的统计以及这些聚集区域与人脸区域的位置关系和比例关系，确定人物预测区域中安全帽和安全服元素区域，这大大地减小了计算量和模型训练量，提升了识别效率。
[0029]在本申请可选的实施例中，所述第一预设条件包括：所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第一比例范围，以及，所述目标区域内存在与所述人脸区域内的像素相邻的N个临近像素，N大于第一阈值。
[0030]在本申请可选的实施例中，所述第二预设条件包括：所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第二比例范围，以及，所述目标区域与所述人脸区域中心点的最小距离小于第二阈值。
[0031]在本申请可选的实施例中，上述基于实时视频流的机器人人员检测算法还包括：
[0032]S6：在人脸识别通过的情况下，对所述实时拍摄画面进行手势识别；
[0033]S7：在识别到目标手势的情况下，点亮照明设备。
[0034]可以理解，在机器人通过人脸识别出目标人物为注册的工地施工人员之后，可以通过施工人员的手势为其开启照明设备，给其夜晚作业提供支持。
[0035]第二方面，本申请提供了一种检测机器人，包括机器人底盘、驱动电源、传感器、通信设备、报警设备、照明设备、工控主机，
[0036]所述工控主机包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面任一项所述的方法。
[0037]其中，工控主机的处理器可以是Intel i7处理器，工控主机使用主流的Linux操作系统进行机器人的控制和数据交互。
[0038]所述机器人底盘包括履带式差速线控底盘，具有极强的地形适应能力，能够适应工程建设场景各个建设时期的不同地形，具有优越的攀爬能力，胜任各种复杂环境。
[0039]所述通信设备用于与监控终端通信，检测机器人配备有支持弱网聚合的多网网卡，以支持在弱信号区域的稳定通讯。监控人员通过监控终端打开客户端程序直接查看监控界面以及进行机器人的控制。
[0040]所述传感器包括摄像头和避障激光雷达，其中，摄像头是检测机器人主要感知设备，此外，检测机器人还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时视频流的机器人人员检测算法，其特征在于，包括：S1：获取摄像头采集的实时拍摄画面，通过YOLO模型获取所述实时拍摄画面中的人物预测区域；S2：提取所述人物预测区域内的人脸区域进行人脸识别；S3：提取所述人物预测区域中目标颜色像素的聚集区域作为目标区域；S4：根据所述目标区域与所述人脸区域的关系，判断所述人物预测区域内的人物是否处于危险状态；S5：在人脸识别失败或判断所述人物预测区域内的人物处于危险状态的情况下执行报警操作。2.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，所述报警操作包括以下至少一项：向扬声器发出报警信号，驱动所述扬声器发出报警音频；向显示器发出报警信号，驱动所述显示器显示报警信息；向指示灯发出报警信号，驱动所述指示灯点亮报警信号；通过通信设备向监控终端发出报警信息。3.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，所述步骤S3包括：S31：去除所述人物预测区域中已知的目标区域，得到待处理区域；S32：随机选择所述待处理区域中属于所述目标颜色的像素作为目标像素，将所述目标像素划归进新建聚类区域；S33：将与所述目标像素相邻的像素中属于所述目标颜色的像素也划归进所述新建聚类区域；S34：继续分析与所述新建聚类区域中各个像素相邻的相邻像素，将所述相邻像素中属于所述目标颜色的像素继续划归进所述新建聚类区域，直到所述新建聚类区域内的像素不再增加为止；S35：将所述新建聚类区域作为目标区域。4.根据权利要求3所述的基于实时视频流的机器人人员检测算法，其特征在于，所述目标颜色的数量包括至少一种。5.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，所述步骤S4包括以下至少一项：S41：在所述目标区域与所述人脸区域的位置关系和比例关系满...

【专利技术属性】
技术研发人员：李刚，郭建飞，张连冰，李士坤，李岭昌，谢碧辉，舒阳，杨哲，何磊，曹丰智，冯诗婕，杨时雨，
申请(专利权)人：中铁建大湾区建设有限公司，
类型：发明
国别省市：