一种工序循环的自动监测方法、装置和系统制造方法及图纸

本发明专利技术公开了一种工序循环的自动监测方法、装置和系统，包括：获取隧道洞口监控区域的视频流，并将视频流进行预处理，得到多帧帧图片；判断多帧帧图片中是否发生动态事件，若发生，将发生动态事件的帧图片标记；基于opencv的人脸检测和基于深度学习的deepsort对标记后的帧图片进行作业人员跟踪预测；AM‑softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。本发明专利技术通过检测识别在一定时间范围内有同一工种的若干作业人员进出隧道，识别作业人员信息，自动记录工序作业开始或结束的时间，全程无需人工记录作业人员进出隧道的情况，提高了工序管理的效率。

【技术实现步骤摘要】
一种工序循环的自动监测方法、装置和系统
本专利技术属于目标行人跟踪
，具体涉及一种工序循环的自动监测方法、装置和系统。
技术介绍
随着国家交通建设的大力发展，伴随我国施工事业的不断发展以及施工技术的不断创新，隧道等作业工程越来越多，其造价高、工期长、跨度大，施工过程中的工序管理是增强工程施工质量的重要环节，主要对工程施工进度和工程施工质量进行查验比对，以保证施工计划的进行和保证施工工程质量。现有技术中，隧道建设工序管理过程的数据收集、整理和汇总均采用人工记录和比对试验，例如在对出入隧道作业的作业人员进行管理时，通常采用人工记录的方式记录某工种的作业人员进入隧道进行作业的时间，以及该工种的作业人员离开隧道的时间，并将该工种作业人员进入隧道进行作业到离开隧道的时间间隔记录为一个工序循环，以实现工序管理。然而，这种采用人工记录工序数据的方式不仅大大增加了工序管理过程中的人力、物力、财力和时间的消耗，而且由于人的参与，也会不可避免的出现类似计算、统计和分析等各类错误，导致数据失真，影响施工质量和进度。
技术实现思路
本专利技术的目的是提供一种工序循环的自动监测方法、装置和系统，用以解决现有技术中存在的至少一个问题。为了实现上述目的，本专利技术采用以下技术方案：第一方面，本专利技术提供一种工序循环的自动监测方法，所述方法包括：获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。在一种可能的设计中，所述方法还包括：获取同一工种的若干作业人员进入隧道和离开隧道的时间间隔；将所述时间间隔记录为一次工序循环的时间。在一种可能的设计中，所述判断多帧所述帧图片中是否发生动态事件，包括：采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。在一种可能的设计中，所述采用两帧差帧法判断多帧所述帧图片中是否发生动态事件，包括：对相邻帧的相同位置的像素值做差获得差分图像；对所述差分图像进行二值化，当所述差分图像的像素值变化大于预设阈值时，则所述相邻帧中发生了动态事件。在一种可能的设计中，基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测，包括：将标记后的帧图片输入所述基于opencv的人脸检测模型进行快速人脸检测；将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，更新跟踪结果并输出。在一种可能的设计中，将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，包括：分别对所述检测到人脸的帧图片中目标检测框的作业人员ID编号初始化；采用卡尔曼滤波算法对所述目标检测框的位置进行预测得到目标下一时刻的状态参数；基于卷积神经网络在所述目标检测框中进行物体外观特征提取，并基于匈牙利级联匹配算法将所述目标检测框、跟踪目标对象下一时刻状态参数以及提取到的物体外观特征进行匹配关联。第二方面，本专利技术提供一种工序循环的自动监测装置，所述装置包括：图像处理模块，用于获取隧道洞口监控区域的视频流，并将所述视频流进行预处理，得到多帧帧图片；动态事件判断模块，用于判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；目标跟踪预测模块，用于基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪；人脸信息识别模块，用于基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；工序起止记录模块，用于当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。在一种可能的设计中，所述装置还包括：时间间隔获取单元，用于获取同一工种的若干作业人员进入隧道和离开隧道所代表的工序开始或结束的时间间隔；工序循环记录单元，用于将所述时间间隔记录为一次工序循环的时间。第三方面，本专利技术提供一种工序循环的自动监测装置，所述装置包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的工序循环的自动监测方法。第四方面，本专利技术提供一种工序循环的自动监测系统，包括图像采集装置和人脸检测跟踪识别子系统，所述图像采集装置将采集的隧道洞口监控区域的视频流发送至人脸检测跟踪识别系统，所述人脸检测跟踪识别系统通过基于opencv的人脸检测模型和基于深度学习的deepsort模型对作业人员进行跟踪预测，并通过基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别。有益效果：本专利技术采集视频流后，通过判断多帧帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；然后基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；然后基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；最后当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，标志着该工种的当次工序开始或结束。本专利技术能够自动获取隧道作业人员进出隧道的图像，当通过人脸检测跟踪识别到在一定时间范围内有同一工种的若干作业人员进出隧道的，则自动记录当次工序作业开始或结束，全程无需人工记录作业人员进出隧道的情况，极大地提高了工序管理的效率，为实现隧道施工管理的智能化提供支持。附图说明图1为本专利技术提供的工序循环的自动监测方法的流程图；图2为本专利技术提供的工序循环的自动监测装置的结构示意图；图3为本专利技术提供的另一工序循环的自动监测装置的结构示意图；图4为本专利技术提供的工序循环的自动监测系统的结构示意图。具体实施方式为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，本申请实施例第一方面提供的工序循环的自动监测方法，包括但不限于有如本文档来自技高网...

【技术保护点】
1.一种工序循环的自动监测方法，其特征在于，所述方法包括：/n获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；/n判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；/n基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；/n基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；/n当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。/n

【技术特征摘要】
1.一种工序循环的自动监测方法，其特征在于，所述方法包括：
获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；
判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；
基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；
基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；
当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。


2.根据权利要求1所述的工序循环的自动监测方法，其特征在于，所述方法还包括：
获取同一工种的若干作业人员进入隧道和离开隧道的时间间隔；
将所述时间间隔记录为一次工序循环的时间。


3.根据权利要求1所述的工序循环的自动监测方法，其特征在于，所述判断多帧所述帧图片中是否发生动态事件，包括：
采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。


4.根据权利要求3所述的工序循环的自动监测方法，其特征在于，所述采用两帧差帧法判断多帧所述帧图片中是否发生动态事件，包括：
对相邻帧的相同位置的像素值做差获得差分图像；
对所述差分图像进行二值化，当所述差分图像的像素值变化大于预设阈值时，则所述相邻帧中发生了动态事件。


5.根据权利要求1所述的工序循环的自动监测方法，其特征在于，基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测，包括：
将标记后的帧图片输入所述基于opencv的人脸检测模型进行快速人脸检测；
将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，更新跟踪结果并输出。


6.根据权利要求5所述的工序循环的自动监测方法，其特征在于，将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，包括：

【专利技术属性】
技术研发人员：张森，黄学涛，潘延超，吴宏扬，叶龙剑，黄思源，罗智，林飞，张可非，高松贺，蔡贵军，李柯，
申请(专利权)人：四川隧唐科技股份有限公司，
类型：发明
国别省市：四川;51