【技术实现步骤摘要】
本专利技术属于人工智能，涉及一种基于深度学习的危险动作识别方法。
技术介绍
1、在水泥生产发运作业环节中，设备种类众多，场景复杂，同时外来发运车辆、船只众多，人员类型复杂，时长出现外来人员危险作业、做出危险动作的情况，如氨水房、纸袋库人员点火吸烟，发运船只盖棚上人员行走等。为了减少外来人员危险动作发生频次，提高外来人员安全意识，同时也降低厂内安全巡检人员工作难度。而对于某些复杂的图像场景，目标检测仍然不能完全满足检测需求。在工业作业中，我们需要保证员工按照要求进行规范的作业行为，从而避免产生安全隐患和产品质量隐患；此外，员工的危险动作，例如翻越护栏、水泥运输船盖棚上作业等对其自身安全造成威胁的举动需要被及时制止。本专利技术在基于深度学习技术的基础上提出一种危险动作识别方法。
技术实现思路
1、本专利技术的目的是提供一种基于深度学习的危险动作识别方法，用于解决现有技术分析角度不够全面，对于发运船只盖棚上人员行走等危险行为检测不够准确的技术问题。
2、所述的一种基于深度学习的危险动作识别方法，包括下列步骤：
3、步骤一、采集图像后，采用目标检测算法对当前帧进行检测，分别识别人员和香烟；识别出人员后进入步骤二和步骤四，当同时识别出人员和香烟后进入步骤五；未识别出人员时，当前检测结束，开始进行下一帧的识别；
4、步骤二、采用unet图像分割算法对当前帧进行处理以检测是否包含危险区域；
5、步骤三、根据前两步的检测结果，判断人员标签对应的边界框
6、步骤四、采用人体骨骼点检测算法对识别出的人员进行检测，判断是否人员发生摔倒，并据此产生预警结果发送到告警平台；
7、步骤五、对识别出的人员进一步进行人体部位的检测，识别该人员的脸部和手部，
8、步骤六、判断香烟对应的边界框位置是否被包含在脸部或手部对应的边界框内部，并据此产生预警结果传至告警平台。
9、优选的，所述步骤一采用目标检测算法中的yolov7算法进行人员检测，检测后再对当前帧的检测结果进行遍历，判断模型检测结果中是否包含人员标签并判断检测结果的置信度是否高于设置的置信度阈值，若不能同时满足，当前检测结束，进行下一帧检测；若同时满足，则进入步骤二和步骤四。
10、优选的，所述步骤一中，采用训练后的yolov7算法对当前帧进行检测以识别香烟，之后对当前帧的检测结果进行遍历，判断结果中是否含有香烟标签，同时判断香烟标签对应的置信度是否高于设定的置信度阈值，若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，则看当前帧对人员的检测结果，如果同时包含人员标签并判断检测结果的置信度高于设置的置信度阈值进入步骤五。
11、优选的，所述步骤二中，采用unet图像分割算法对当前帧进行处理，识别危险区域，检测后再对当前帧的检测结果进行遍历，判断当前帧图像分割结果中是否包含危险区域，若结果为否，当前帧危险区域作业检测结束，进行下一帧检测；若结果为是，进入步骤三。
12、优选的，所述步骤三中，根据目标检测算法和unet图像分割算法二者的检测结果，判断人员标签对应的边界框坐标是否包含在危险区域内，若结果为否，当前帧危险区域作业检测结束，进行下一帧检测；若结果为是，将结果传至告警平台。
13、优选的，所述步骤四中，采用人体骨骼点检测算法对识别出的人员进行检测，确定头部骨骼点坐标与腰部骨骼点坐标，再计算头部骨骼点坐标与腰部骨骼点坐标差值是否小于设定阈值，所述阈值根据摔倒检测点位模拟摔倒测试得出，若结果为否，当前检测结束；若结果为是，将结果传至告警平台。
14、优选的，所述步骤五中，在进行人体部位的检测后，判断当前帧的模型检测结果中是否含有脸部标签或手部标签，同时判断其中是否有与脸部标签或手部标签对应的边界框位置被包含在任一人员标签对应边界框内部；若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，进入步骤六。
15、优选的，所述步骤六中，判断当前帧检测到的香烟标签对应的边界框位置是否被包含在脸部标签或者手部标签对应的边界框内部；若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，将结果传至告警平台。
16、优选的，所述步骤六中，若含有多个脸部标签或手部标签，则遍历各个标签，满足任意一个脸部标签或手部标签即可。
17、优选的，所述危险区域为发运船只上的危险区域，包括发运船只上的盖棚区域和横梁区域。
18、本专利技术具有以下优点：本专利技术通过一套系统即可同时对发运船只上危险区域是否有人员行走、严禁明火区域是否有人员点火吸烟、以及是否发生人员摔倒发生危险等危险动作和状态实现及时可靠的识别。针对危险动作和状态是否发生情况较少，缺少样本训练的问题，本方案首先对人员、香烟、人体部位和危险区域的识别分割，这些主体易于获取样本图片，训练后识别的可靠性好。在识别上述标签并确定相应边界框后，利用整体的检测预警流程，通过对检测结果的处理，筛除一部分由于yolov7算法对应小目标检测精度不够高导致的误检数据，从而在不明显提升训练计算量和时间的情况下，保证检测结果可靠，并能将该方法同时用于包括吸烟检测、水泥运输船盖棚/横梁作业检测及人员摔倒等多方面检测，大大减少了采用的模型数量，缩短了检测训练的时间。同时本方案还针对盖棚、横梁对应区域不规则、易变化的特点和人体骨骼点检测目标与常规检测对象有明显差异的特点，分别采用不同的模型进行检测，大大提高了相应标签检测的可靠性和准确性。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的危险动作识别方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的一种基于深度学习的危险动作识别方法，其特征在于：所述步骤一采用目标检测算法中的YOLOv7算法进行人员检测，检测后再对当前帧的检测结果进行遍历，判断模型检测结果中是否包含人员标签并判断检测结果的置信度是否高于设置的置信度阈值，若不能同时满足，当前检测结束，进行下一帧检测；若同时满足，则进入步骤二和步骤四。
3.根据权利要求2所述的一种基于深度学习的危险动作识别方法，其特征在于：所述步骤一中，采用训练后的YOLOv7算法对当前帧进行检测以识别香烟，之后对当前帧的检测结果进行遍历，判断结果中是否含有香烟标签，同时判断香烟标签对应的置信度是否高于设定的置信度阈值，若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，则看当前帧对人员的检测结果，如果同时包含人员标签并判断检测结果的置信度高于设置的置信度阈值进入步骤五。
4.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤二中，采用UNet图像分割算法对当前帧进行处理，识别
5.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤三中，根据目标检测算法和UNet图像分割算法二者的检测结果，判断人员标签对应的边界框坐标是否包含在危险区域内，若结果为否，当前帧危险区域作业检测结束，进行下一帧检测；若结果为是，将结果传至告警平台。
6.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤四中，采用人体骨骼点检测算法对识别出的人员进行检测，确定头部骨骼点坐标与腰部骨骼点坐标，再计算头部骨骼点坐标与腰部骨骼点坐标差值是否小于设定阈值，所述阈值根据摔倒检测点位模拟摔倒测试得出，若结果为否，当前检测结束；若结果为是，将结果传至告警平台。
7.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤五中，在进行人体部位的检测后，判断当前帧的模型检测结果中是否含有脸部标签或手部标签，同时判断其中是否有与脸部标签或手部标签对应的边界框位置被包含在任一人员标签对应边界框内部；若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，进入步骤六。
8.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤六中，判断当前帧检测到的香烟标签对应的边界框位置是否被包含在脸部标签或者手部标签对应的边界框内部；若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，将结果传至告警平台。
9.根据权利要求8所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤六中，若含有多个脸部标签或手部标签，则遍历各个标签，满足任意一个脸部标签或手部标签即可。
10.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述危险区域为发运船只上的危险区域，包括发运船只上的盖棚区域和横梁区域。
...【技术特征摘要】
1.一种基于深度学习的危险动作识别方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的一种基于深度学习的危险动作识别方法，其特征在于：所述步骤一采用目标检测算法中的yolov7算法进行人员检测，检测后再对当前帧的检测结果进行遍历，判断模型检测结果中是否包含人员标签并判断检测结果的置信度是否高于设置的置信度阈值，若不能同时满足，当前检测结束，进行下一帧检测；若同时满足，则进入步骤二和步骤四。
3.根据权利要求2所述的一种基于深度学习的危险动作识别方法，其特征在于：所述步骤一中，采用训练后的yolov7算法对当前帧进行检测以识别香烟，之后对当前帧的检测结果进行遍历，判断结果中是否含有香烟标签，同时判断香烟标签对应的置信度是否高于设定的置信度阈值，若不能同时满足，当前帧抽烟检测结束，进行下一帧检测；若同时满足，则看当前帧对人员的检测结果，如果同时包含人员标签并判断检测结果的置信度高于设置的置信度阈值进入步骤五。
4.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤二中，采用unet图像分割算法对当前帧进行处理，识别危险区域，检测后再对当前帧的检测结果进行遍历，判断当前帧图像分割结果中是否包含危险区域，若结果为否，当前帧危险区域作业检测结束，进行下一帧检测；若结果为是，进入步骤三。
5.根据权利要求1所述的一种基于深度学习的危险动作识别方法，包括下列步骤：所述步骤三中，根据目标检测算法和unet图像分割算法二者的检测结果，判断人员标签对应的边界框坐标是否包含在危险区域内，若结果为否，当前...
【专利技术属性】
技术研发人员：汪阳，王润生，李占宇，
申请(专利权)人：安徽海螺信息技术工程有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。