一种基于图像识别的施工警戒区监测预警系统及方法技术方案

本发明专利技术提供一种基于图像识别的施工警戒区监测预警系统及方法，该系统包括图像输入模块、图像拼接模块、交互标定模块、行人检测模块、视觉入侵模块、特征提取模块和决策模块，结合视觉入侵检测、目标检测和重识别技术，通过在施工警戒区周围或者危险施工设备周围设置摄像头实时采集获取周围环境信息和进出人物信息，作业人员可以随时更换预警触发区域以及作业人员登记信息，实时更新预警触发区域中是否有人员入侵信号，当存在人员入侵信号时，则激活那么会发出警报以提醒违规人员禁止进入该区域，保证施工警戒区域的安全性。

【技术实现步骤摘要】
一种基于图像识别的施工警戒区监测预警系统及方法
本专利技术涉及信息监测预警
，尤其涉及一种基于图像识别的施工警戒区监测预警系统及方法。
技术介绍
在工程施工区域内，例如在国家及行业标准或指南要求的吊装作业(包括架桥机塔吊)、机械作业、液压滑模、爆破作业、主塔施工、料仓墙体外围、张拉作业应设置警戒区的区域，和挂篮、移动模架施工等高处作业下方应设置施工警戒区的区域，通常会设置铁丝网围栏以阻挡无关技术人员进入施工区域，防止不安全事件发生。但是对于一个很大范围的施工区域，直接设置围栏不仅会影响施工人员进出，也会出现漏检的情况。同时由于施工区域大且随着工程进程推进，施工区域需要变化，采用铁丝网围栏的方式会造成资源和人力浪费，因此需要寻找一种更安全有效的、方便的监测预警方法。
技术实现思路
本专利技术的目的在于提供一种基于图像识别的施工警戒区监测预警系统及方法，从而解决现有技术中存在的前述问题。为了实现上述目的，本专利技术采用的技术方案如下：一种基于图像识别的施工警戒区监测预警系统，包括设置在施工警戒区外侧的多个摄像机、互联网和终端设备，还包括图像输入模块、图像拼接模块、交互标定模块、行人检测模块、视觉入侵模块、特征提取模块和决策模块，所述图像输入模块用于获取公路工程施工警戒区周边各个摄像机的同步视频图像，并将收集到的同步视频图像发送给所述图形拼接模块，所述拼接模块用于将多个同步视频图像拼接得到作业区域内的全景图像；所述交互标定模块用于在全景图像上进行交互标定预警触发区域，同时激活所述视觉入侵模块：所述视觉入侵模块激活后，获取标定的预警触发区域，实时观测预警触发区域内的视频图像信息，若所述预警触发区域内有入侵信息向行人检测模块发出预警；所述行人检测模块接收到所述视觉入侵模块发来的预警后，对所述预警触发区域内的入侵行人目标进行检测，确定入侵行人基本信息；所述特征提取模块用于提取预警触发区域中入侵行人的特征，并将提取到的特征信息传递给所述决策模块，所述决策模块将获取得到的特征信息与系统中记载的作业人员特征信息进行对比，判断是否需要发出警示信息。优选地，所述图像输入模块包括初始化状态的输入处理和运作状态下的输入处理；所述初始化状态的输入处理是将各个摄像机的视频图像直接传输给图像拼接模块时，输入模块按照摄像机顺序编号提取同一时刻不同机位的视频帧，确保相邻编号的视频帧内容可拼接；所述运作状态下的输入处理是指对于已经设定预警触发区域后，将覆盖预警触发区域边界的视频帧实时传入所述视觉入侵模块；对于已经激活入侵响应的区域，将该区域的全部视频帧直接传入所述行人检测模块。优选地，所述图像拼接模块包括视频特征提取子模块，视频特征匹配子模块和矩阵回归子模块，所述视频特征提取子模块采用高分辨率网络提取相邻两个摄像机同一时刻输入的视频图像特征；所述视频匹配子模块首先对提取得到的两个视频图像特征进行L2标准化处理，然后对两个标准化处理之后的视频图像特征进行特征匹配继而得到相似性得分矩阵；所述矩阵回归子模块采用卷积神经网络对相似性得分矩阵进行处理得到全局单应性矩阵，根据全局单应性矩阵，通过映射变化将图像进行视觉对齐，完成两张图像拼接。优选地，所述交互标定模块用于通过用户标定的多个顶点坐标，根据图像拼接模块计算得到的单应性矩阵映射到原始多个视频帧中，将多个顶点连线所围成的区域作为预警触发区域。优选地，所述视觉入侵模块通过调用vibi函数实现视觉入侵检测，具体包括：1)通过设计GetImMask模块获取预警触发区域，预警触发区域可以根据实际需要进行设置，包括横线、竖线斜线、矩形框和不规则四边形构成的区域；2)通过vibe方法类及其成员函数，对预警触发区域内的视频数据实现资源初始化、动态背景建模、背景更新、实时前景获取等功能；3)通过isOverLapWithBorder模块，实现对与预警触发区域边界线或区域不邻接的检出框的滤除，去除误检；4)通过dup_rect_eliminate模块，消除检测框绘制时会重复出现或有重叠的检测框。优选地，所述特征提取模块通过构建孪生神经网络的方式训练生成用于提取特征的卷积神经网络，具体包括三元组数据构建、损失设计和人物特征提取网络；所述三元组数据构建用于构建作业人员特征的三元组数据训练集，每组三元组数据包括一对“相似”图像和一个“不相似”图像，即将采集的同一个作业人员处于不同时刻不同摄像机位的图像记为一类样本ai,将采集的其他作业人员的图像记为一类样本aj,每次选择数据构建三元组数据时，会在ai内随机抽取两张图像和在aj中抽取一张图像构建三元组，并计算cos相似度度量距离；所述损失设计具体为：选择一组三元组训练数据，包括从样本ai中抽取的正样本图片a和正样本图片p，从样本aj中抽取负样本图片n，计算三元组损失：Lt＝(D(a,p)-D(a,n)+margin)+其中margin是边界超参数，D(a,p)表示图片a和图片p之间的相似度距离，D(a,n)表示图片a和图片n之间的相似度距离；所述人物特征提取网络子模块采用三分支输入结构网络输入样本特征数据，统一输入样本特征图的尺寸大小，并对样本数据进行类别划分和样本识别，获取得到人物特征。本专利技术的另一个目的在于提供一种基于图像识别的施工警戒区监测预警方法，具体包括以下骤：S1，部署摄像机组覆盖工程施工作业及周边警示区域；通过多个摄像机采集的图像输入到图像拼接模块中拼接得到作业区域的全景图像；S2，通过交互标定模块在获取得到的全景图像上标记预警触发区域，同时对允许进入该预警触发区域的作业人员记录特征和人数；S3,视觉入侵模块实时监测预警触发区域内的视频图像，当有入侵人员进入预警触发区域内，发出预警信号激活行人检测模块；S4,当行人检测模块得到视觉入侵模块的预警后,对预警触发区域内的行人目标进行检测，统计行人数目，并从视频图像中截取出行人所在区域，同时依据报警位置信息，确定入侵行人所在区域具体位置；S5，特征提取模块将获取得到的入侵行人图像进行特征提取，提取得到特征与步骤S2中已记载的作业人员特征的度量距离，从而确定预警触发区域内是否存在非作业人员，并给出相应的警示信号。优选地，步骤S3中具体包括：S31，所述视觉入侵模块获取实时视频流，并对视频数据流拆分得到单帧图像，通过GetImMask模块获取预警触发区域；S32，对获取得到的预警触发区域分别进行越界检测和区域检测；所述越界检测在于检测预警触发区域边界线的上/下/左/右是否存在人员入侵信号，若存在，则发出报警信号；若没有，则回到步骤S31,再次获取单帧图像；所述区域检测是指预警触发区域内部是否具有人员入侵信号，若存在，则发出报警信号；若没有，则回到步骤S31,再次获取单帧图像。优选地，步骤S4中还包括：当入侵行人数目大于已记载的作业人员人数，则直接发出警示信息；步骤S4和S5可采本文档来自技高网...

【技术保护点】
1.一种基于图像识别的施工警戒区监测预警系统，包括设置在施工警戒区外侧的多个摄像机、互联网和终端设备，其特征在于，还包括图像输入模块、图像拼接模块、交互标定模块、行人检测模块、视觉入侵模块、特征提取模块和决策模块，/n所述图像输入模块用于获取公路工程施工警戒区周边各个摄像机的同步视频图像，并将收集到的同步视频图像发送给所述图形拼接模块，所述拼接模块用于将多个同步视频图像拼接得到作业区域内的全景图像；/n所述交互标定模块用于在全景图像上进行交互标定预警触发区域，同时激活所述视觉入侵模块：/n所述视觉入侵模块激活后，获取标定的预警触发区域，实时观测预警触发区域内的视频图像信息，若所述预警触发区域内有入侵信息向行人检测模块发出预警；/n所述行人检测模块接收到所述视觉入侵模块发来的预警后，对所述预警触发区域内的入侵行人目标进行检测，确定入侵行人位置信息；/n所述特征提取模块用于提取预警触发区域中入侵行人的特征，并将提取到的特征信息传递给所述决策模块，所述决策模块将获取得到的特征信息与系统中记载的作业人员特征信息进行对比，判断是否需要发出警示信息。/n

【技术特征摘要】
1.一种基于图像识别的施工警戒区监测预警系统，包括设置在施工警戒区外侧的多个摄像机、互联网和终端设备，其特征在于，还包括图像输入模块、图像拼接模块、交互标定模块、行人检测模块、视觉入侵模块、特征提取模块和决策模块，
所述图像输入模块用于获取公路工程施工警戒区周边各个摄像机的同步视频图像，并将收集到的同步视频图像发送给所述图形拼接模块，所述拼接模块用于将多个同步视频图像拼接得到作业区域内的全景图像；
所述交互标定模块用于在全景图像上进行交互标定预警触发区域，同时激活所述视觉入侵模块：
所述视觉入侵模块激活后，获取标定的预警触发区域，实时观测预警触发区域内的视频图像信息，若所述预警触发区域内有入侵信息向行人检测模块发出预警；
所述行人检测模块接收到所述视觉入侵模块发来的预警后，对所述预警触发区域内的入侵行人目标进行检测，确定入侵行人位置信息；
所述特征提取模块用于提取预警触发区域中入侵行人的特征，并将提取到的特征信息传递给所述决策模块，所述决策模块将获取得到的特征信息与系统中记载的作业人员特征信息进行对比，判断是否需要发出警示信息。


2.根据权利要求1所述的基于图像识别的施工警戒区监测预警系统，其特征在于，所述图像输入模块包括初始化状态的输入处理和运作状态下的输入处理；
所述初始化状态的输入处理是将各个摄像机的视频图像直接传输给图像拼接模块时，输入模块按照摄像机顺序编号提取同一时刻不同机位的视频帧，确保相邻编号的视频帧内容可拼接；
所述运作状态下的输入处理是指对于已经设定预警触发区域后，将覆盖预警触发区域边界的视频帧实时传入所述视觉入侵模块；对于已经激活入侵响应的区域，将该区域的全部视频帧直接传入所述行人检测模块。


3.根据权利要求1所述的基于图像识别的施工警戒区监测预警系统，其特征在于，所述图像拼接模块包括视频特征提取子模块，视频特征匹配子模块和矩阵回归子模块，所述视频特征提取子模块采用高分辨率网络提取相邻两个摄像机同一时刻输入的视频图像特征；所述视频匹配子模块首先对提取得到的两个视频图像特征进行L2标准化处理，然后对两个标准化处理之后的视频图像特征进行特征匹配继而得到相似性得分矩阵；所述矩阵回归子模块采用卷积神经网络对相似性得分矩阵进行处理得到全局单应性矩阵，根据全局单应性矩阵，通过映射变化将图像进行视觉对齐，完成两张图像拼接。


4.根据权利要求1所述的基于图像识别的施工警戒区监测预警系统，其特征在于，所述交互标定模块用于通过用户标定的多个顶点坐标，根据图像拼接模块计算得到的单应性矩阵映射到原始多个视频帧中，将多个顶点连线所围成的区域作为预警触发区域。


5.根据权利要求1所述的基于图像识别的施工警戒区监测预警系统，其特征在于，所述视觉入侵模块通过调用vibi函数实现视觉入侵检测，具体包括：
1)通过设计GetImMask模块获取预警触发区域；
2)通过vibe方法类及其成员函数，对预警触发区域内的视频数据实现资源初始化、动态背景建模、背景更新、实时前景获取；
3)通过isOverLapWithBorder模块，实现对与预警触发区域边界线或区域不邻接的检出框的滤除，去除误检；
4)通过dup_rect_eliminate模块，消除检测框绘制时重复出现或有重叠的检测框。


6.根据权利要求1所述的基于图像识别的施工警戒区监测预警系统，其特征在于，所述特征提取模块通过构建孪生神经网络的方式训练生成用于提取特征的卷积神经网络，具体包括三元组数据构建、损失设计和人物特征提取网络；
所述三元组数据构建用于构建作业人员特征的三元组数据训练集，每组三元组数据包括一对“相似”图像和一个“不相似”图像，即将采集的同一个作业人员处于不同时刻不同摄像机位的图像记为一类样本ai,将采集的其他作业人员的图像记为一类样本aj,每次选择数据构建三元组数据时，会在ai内随机抽取两张图像和在aj中抽取一张图像构建三元组，并计算cos相似度度量距离；
所述损失设计具体为：

【专利技术属性】
技术研发人员：刘伟，李春阳，李伟，陈磊，杨弘卿，
申请(专利权)人：交通运输部公路科学研究所，刘伟，
类型：发明
国别省市：北京;11