变电站作业人员典型违章行为检测方法及系统技术方案

本发明专利技术公开了一种变电站作业人员典型违章行为检测方法及系统。本发明专利技术的检测方法包括离线准备阶段和在线应用阶段，在离线准备阶段中，收集拍摄作业人员的典型违章行为的视频片段，同时提出一种新的多分支时空模块，并以该模块为基础设计一种用于视频动作分类的模型架构，用其对收集到的数据进行训练；在线应用阶段中，动态通过摄像头获取作业场景的视频流，实时检测违章行为的发生并给出明确警示。本发明专利技术引入了视频特征的表示方法，解决了作业人员行为分析的难题，可作为变电站视频监控系统的扩展功能。统的扩展功能。统的扩展功能。

【技术实现步骤摘要】
变电站作业人员典型违章行为检测方法及系统


[0001]本专利技术属于视频行为识别领域，具体地说是一种基于视频监控的变电站作业人员典型违章行为检测方法及系统。

技术介绍

[0002]在变电站施工场景中，经常发生因施工人员的不安全行为造成的事故，因此对施工人员违规行为的检测至关重要。在施工人员的违规行为中，抽烟和跨越围栏属于典型的违章行为。
[0003]针对这种情况，目前企业主要以配备管理人员来监督施工人员，但这种方法不仅效率低下，不能做到全面实时，而且需要耗费大量的人力成本。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服上述现有技术存在的缺陷，提供一种基于视频监控的变电站作业人员典型违章行为的检测方法及系统，其在离线准备阶段中，收集拍摄作业人员的典型违章行为的视频片段(如抽烟、跨越栏杆等)并进行面向视频处理的模型构建和训练，在线应用阶段中，动态通过摄像头获取作业场景的视频流，实时检测违章行为的发生并给出明确警示。
[0005]为此，本专利技术采用以下的技术方案：变电站作业人员典型违章行为检测方法，其包括：
[0006]步骤1，采集正常作业行为和违章作业行为视频数据；
[0007]步骤2，对步骤1采集的数据按类别进行标注，并提取视频帧图像；
[0008]步骤3，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
[0009]步骤4，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
[0010]步骤5，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行翻越围栏带和抽烟违章行为的实时检测，并给出明确警示。
[0011]进一步地，所述步骤1中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个，抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本。
[0012]进一步地，所述步骤2中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
[0013]进一步地，所述步骤4中视频分类网络步骤如下：
[0014]步骤41，采用7
×7×
7的卷积层和最大池化层对输入的视频进行处理，这两个层可以增加网络对视频信息处理时的感受野，输出特征图信息；
[0015]步骤42，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；
[0016]步骤43，采用2
×7×
7平均池化层和1
×1×
1卷积层将步骤42提取到的特征图转化为预测结果输出。
[0017]进一步地，所述步骤42用到的MBSTM模块包含4条分支，具体为：
[0018]1)分支1，对当前MBSTM模块的输入信息进行1
×1×
1卷积C，其公式为：X
t+1，1
＝C(X
t
)，
[0019]其中，X
t
表示第t层网络的输入，X
t+1，1
表示第t层网络在分支1上的输出；
[0020]2)分支2，先对输入信息进行一个3
×3×
3的最大值池化P处理，之后再进行1
×1×
1的卷积操作C，使输出变成所需要的维度，其公式为：X
t+1，2
＝C(P(X
t
))，
[0021]其中，X
t
表示第t层网络的输入，X
t+1，2
表示第t层网络在分支2上的输出；
[0022]3)分支3，先对当前MBSTM模块的输入信息进行一个1
×1×
1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1
×1×
1卷积操作后的输入信息进行1
×3×
3空间卷积S和3
×1×
1时间卷积T的并行操作，其中1
×3×
3卷积使1
×1×
1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3
×
3的卷积，3
×1×
1卷积使1
×1×
1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1
×1×
1的卷积结构C2使输出信息达到所需要的维度，
[0023]其公式为：X
t+1，3
＝C2(S(C1(X
t
)))+C2(T(C1(X
t
)))，
[0024]其中，X
t
表示第t层网络的输入，X
t+1，3
表示第t层网络在分支3上的输出；
[0025]4)分支4，先对输入信息进行一个1
×1×
1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1
×3×
3的空间卷积S和3
×1×
1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1
×1×
1的卷积结构C2使输出信息达到所需要的维度，
[0026]其公式为：X
t+1，4
＝C2(T(S(C1(X
t
))))，
[0027]其中，X
t
表示第t层网络的输入，X
t+，14
表示第t层网络在分支4上的输出；
[0028]拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，
[0029]公式为：X
t+1
＝X
t+1，1
+X
t+1，2
+X
t+1，3
+X
t+1，4
。
[0030]进一步地，所述步骤5中检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类别概率实时显示在视频的左上角处；选取检测的跨越围栏带、抽烟及正常作业三类行为中概率最大的类别作为最终识别类别，并将该类别的字体放大显示。
[0031]本专利技术采用的另一种技术方案为：变电站作业人员典型违章行为检测系统，其包括：
[0032]视频数据采集单元，采集正常作业行为和违章作业行为视频数据；
[0033]视频帧图像提取单元，对视频数据采集单元采集的数据按类别进行标注，并提取视频帧图像；
[0034]帧图像缩放单元，读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.变电站作业人员典型违章行为检测方法，其特征在于，包括：步骤1，采集正常作业行为和违章作业行为视频数据；步骤2，对步骤1采集的数据按类别进行标注，并提取视频帧图像；步骤3，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；步骤4，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；步骤5，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行翻越围栏带和抽烟违章行为的实时检测，并给出明确警示。2.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤1中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个，抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本。3.根据权利要求2所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤2中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。4.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤4中视频分类网络步骤如下：步骤41，采用7
×7×
7的卷积层和最大池化层对输入的视频进行处理，输出特征图信息；步骤42，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；步骤43，采用2
×7×
7平均池化层和1
×1×
1卷积层将步骤42提取到的特征图转化为预测结果输出。5.根据权利要求4所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤42用到的MBSTM模块包含4条分支，具体为：1)分支1，对当前MBSTM模块的输入信息进行1
×1×
1卷积C，其公式为：X
t+1，1
＝C(X
t
)，其中，X
t
表示第t层网络的输入，X
t+1，1
表示第t层网络在分支1上的输出；2)分支2，先对输入信息进行一个3
×3×
3的最大值池化P处理，之后再进行1
×1×
1的卷积操作C，使输出变成所需要的维度，其公式为：X
t+1，2
＝C(P(X
t
))，其中，X
t
表示第t层网络的输入，X
t+1，2
表示第t层网络在分支2上的输出；3)分支3，先对当前MBSTM模块的输入信息进行一个1
×1×
1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1
×1×
1卷积操作后的输入信息进行1
×3×
3空间卷积S和3
×1×
1时间卷积T的并行操作，其中1
×3×
3卷积使1
×1×
1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3
×
3的卷积，3
×1×
1卷积使1
×1×
1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1
×1×
1的卷积结构C2使输出信息达到所需要的维度，其公式为：X
t+1，3
＝C2(S(C1(X
t
)))+C2(T(C1(X
t
)))，
其中，X
t
表示第t层网络的输入，X
t+1，3
表示第t层网络在分支3上的输出；4)分支4，先对输入信息进行一个1
×1×
1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1
×3×
3的空间卷积S和3
×1×
1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1
×1×
1的卷积结构C2使输出信息达到所需要的维度，其公式为：X
t+1，4
＝C2(T(S(C1(X
t
))))，其中，X
t
表示第t层网络的输入，X
t+1，4
表示第t层网络在分支4上的输出；拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，公式为：X
t+1
＝X
t+1，1
+X
t+1，2
+X
t+1，3
+X
t+1，4
。6.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤5中检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类...

【专利技术属性】
技术研发人员：王刘旺，姚影，吕磅，孙昌华，孙歆，
申请(专利权)人：国网浙江省电力有限公司电力科学研究院，
类型：发明
国别省市：