一种基于时间序列及CNN的不安全行为识别方法及系统技术方案

本发明专利技术公开了一种基于时间序列及CNN的不安全行为识别方法及系统，通过将不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。本发明专利技术能够为建筑工程施工全过程中不安全行为的实时侦查和矫正提供支持。

An unsafe behavior recognition method and system based on time series and CNN

The invention discloses a method and system of unsafe behavior and time series identification method based on CNN, training and learning through the original data of unsafe behavior in the training set of video input convolutional neural network, the output space layer features vector from the last layer of the pool of convolutional neural network; spatial feature vector as the time recursive neural network input, using time recursive neural network learning time series which contains time series dependence and spatial learning behavior that gets the average pool feature vector; the average pool features to input the softmax layer, deep convolutional neural network hybrid learning model and time recurrent neural network, softmax classifier the use of softmax classifier; video monitoring on the construction site for online identification, identify the unsafe behavior of construction site . The invention can provide support for the real time investigation and correction of unsafe behavior in the whole process of construction engineering.

【技术实现步骤摘要】
一种基于时间序列及CNN的不安全行为识别方法及系统
本专利技术属于建筑工程信息化领域，更具体地，涉及一种基于时间序列及卷积神经网络的不安全行为识别方法及系统。
技术介绍
由于施工环境的动态性和复杂性，保障建筑工人在施工作业中的安全是一个普遍而富有挑战的问题。尽管有法律法规的不断完善，监管力度的持续加大，行业从业人员的不懈努力来改善这一问题，建筑过程中的事故和死亡人数仍旧居高不下。据海因里希统计，施工中约有88％的事故是由不安全行为造成的。因此，为避免安全事故造成严重的人员伤亡和财产损失，针对施工中不安全行为的识别，国内外研究学者做了大量的研究。最初不安全行为的识别基于人工观察，能够较准确地识别施工中的不安全行为并提出矫正措施，但是由于完全依赖于人工，存在耗时、耗费人力、具有主观性等缺陷。为解决以上缺陷，许多研究学者应用传感技术(如：RFID，UWB，GPS)定位和跟踪施工对象，从而识别不安全行为，但需要在每个检测对象上安装检测设备，一定程度上会影响工人的正常作业；并且，设备数量多，不利于维护管理。基于此，随着计算机视觉视觉的发展，研究学者开始将目光转向模式识别方法，但识别不安全行为的本文档来自技高网...

【技术保护点】
一种基于时间序列及CNN的不安全行为识别方法，其特征在于，包括如下步骤：步骤1：将施工现场不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；步骤2：将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；步骤3：将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；步骤4：利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。

【技术特征摘要】
1.一种基于时间序列及CNN的不安全行为识别方法，其特征在于，包括如下步骤：步骤1：将施工现场不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；步骤2：将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；步骤3：将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；步骤4：利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。2.如权利要求1所述的一种基于时间序列及CNN的不安全行为识别方法，其特征在于，步骤1中，卷积神经网络的训练方法如下：1.1、将原始视频数据输入卷积神经网络，在卷积神经网络中，后一层对前一层的输出进行卷积运算和激活操作，以提取前一层的行为空间特征，激活函数如公式(1)所示：xl＝f(Wlxl-1+bl)(1)其中，xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；Wl是l层的权值；bl为l层的偏差；f(·)为sigmoid激活函数。1.2、通过池化层对步骤2.1提取出的前一层的行为空间特征进行池化操作；1.3、对卷积神经网络逐层重复步骤1.1、1.2，直至通过全连接层，最终从最后一层池化层输出空间特征向量，得到训练集视频中的行为空间特征。3.如权利要求2所述的一种基于时间序列及卷积神经网络的不安全行为识别方法，其特征在于，步骤2中时间递归神经网络的训练方法如下：2.1、将步骤1.3中卷积神经网络输出的空间特征向量作为时间递归神经网络的输入值，对于当前时间t，通过公式(2)更新单元格状态：其中，f(·)为sigmoid激活函数；At代表图像的输入；It、Ft、Ot分别表示单元格在t时刻的输入、遗忘和输出，Gt表示生成的新的候选向量，Ct表示单元格在t时刻的状态；Ht为时间递归神经网络的隐藏层，表示当前t时刻整个图像的含义；Bi、Bf、Bo和Bg均为偏移矢量，分别表示输入It、遗忘Ft、输出Ot和候选向量Gt的偏差；Uai、Uaf、Uao和Uag分别代表It、Ft、Ot、Gt的输入连接权重矩阵，Vhi、Vhf、Vho和Vhg分别代表It、Ft、Ot、Gt的循环连接权重矩阵；t-1表示t时刻的上一时刻。2.2、卷积神经网络输出的空间特征向量经过步骤2.1处理后，生成包含n个表征的表征序列{m1,m2,...,mn}，将该表征序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：2.3、将平均池化特征向量F输入softmax层，得到softmax分类器。4.一种基于时间序列及CNN的不安全行为识别系统，其特征在于，包括：空间特征向量提取模块、平均池化特征向量提取模块、深度混合学习模块和在线识别...

【专利技术属性】
技术研发人员：骆汉宾，丁烈云，方伟立，钟波涛，刘佳静，张永成，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42