一种新能源电站用深度视频检测方法及系统技术方案

本发明专利技术公开了一种新能源电站用深度视频检测方法及系统，根据异常行为从AVA数据集中获取数据构建异常行为数据集，并对异常行为数据集进行扩充与标注；设计基于交互聚合结构的AlphAction模型；根据不同迭代步的损失函数调节超参数，利用异常行为数据集对基于交互聚合结构的AlphAction模型进行训练；利用训练好的基于交互聚合结构的AlphAction模型实现深度视频检测；本发明专利技术能够及时有效的对新能源发电站的8种异常行为进行检测和预警分析，在提高企业运行效率的同时降低了生产安全。企业运行效率的同时降低了生产安全。企业运行效率的同时降低了生产安全。

【技术实现步骤摘要】
一种新能源电站用深度视频检测方法及系统


[0001]本专利技术属于视频检测
，具体涉及一种新能源电站用深度视频检测方法及系统。

技术介绍

[0002]近年来，随着各个国家、区域生态环境保护意识的不断增强，对绿色清洁可持续能源的不断提倡，新能源行业得到快速的发展。伴随着新能源企业投资运营的风电和光伏电站不断增多，电站生产运维管理集约化程度不断增强，少人值守、无人值守的电站不断增多，导致单个巡检队伍、巡检人员负责的巡检工作面积、工作区域和内容不断增多，面对的场区环境和需处理的事务越来越复杂，一些风险不断地累积，使得企业的安全生产存在较大隐患。
[0003]新能源发电厂常见问题包括电站不同危险区域被非授权人员误入、巡检路线偏离、巡检人员偶发异常行为(打架、翻越、奔跑、徘徊、摔倒、跳跃、抽烟等)、巡检过程中过度接近高危装置、检维修前后人员未及时清场等等。目前，大多数企业的重要生产场地都安装有视频监护设备，但一旦管理规模扩大，仅仅靠人力监控和录像事后分析是不足以及时有效的消除和控制风险。因此，本专利技术针对巡检人员行为进行建模分析，采用目标检测的系列前沿算法基于场内的视频监护设备，实时检测巡检人员行为是否异常，使得电站巡检工作更加智能化。
[0004]对给定视频进行异常行为检测时，有两个主要的问题。一是如何在视频中正确的找到交互并使用这些交互进行动作检测；二是长期的时间交互非常重要，如何进行追踪。首先要明确视频中的交互关系大多包括人
‑
人交互，人
‑
物交互和人
‑
物
‑
人交互三种，并且异常行为通常不会从视频开始持续到结束，只会出现在某一个小片段。因此，需要采用异步交互聚合网络进行异常行为识别检测。
[0005]对于给定的视频V，直接检测整个视频是不可能的，因此将该视频分割成连续的短视频片段[v1,v2,
…
,v
T
]，对于第t
th
的片段v
t
，其中，d维特征通过深度
[0006]网络骨架模型提取，即：其中，为网络参数。对于每个片段的中间帧，采用一个检测器得到该帧中的人体的包围框和物体的包围框，之后基于检测到的包围框应用注意力机制从提取的特征f
t
中剪裁出人的特征和物的特征。
[0007]由于每个片段只包含较短的语义，缺少了全局事件信息。除了提取物的空间相关特征外，还需要建模时间交互以保持追踪人的行为的记忆特征。由于记忆特征包括了连续片段中人的行为特征。因此，通过级联拼接方式，得到M
t
＝[P
t
‑
L
,
…
,P
t
,
…
,P
t+L
]，其中P
t
表示t时刻的人的特征，并且时间交互的感受野(注意力机制的响应激活区域)为2L+1。
[0008]近年来，对于新能源电站中一些危险的工作场景，如何有效地保障工作人员的安全仍然是现在的一大挑战。目前主流的安全管理系统仍然以人力为主，即监管人员通过观察摄像头中的视频画面进行判断以及预警。这样的方法不仅浪费人力，而且不能保证24小时时刻的监督。而传统的非学习算法虽然可以在一定程度上用机器代替人工，但其识别的
精确率和召回率都比较低，因为它无法针对具体的场景准确地识别出人员的异常行为。因此，引入深度学习的框架是发展的趋势，早期的深度模型(如SlowFast网络)虽然可以做到自适应地学习不同行为的特征，但其大多只能针对一种类型的交互(如只针对人与人的行为(如打架)，而不能识别人与物的行为(如抽烟))，并且无法追踪长期时间的交互作用。

技术实现思路

[0009]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种新能源电站用深度视频检测方法及系统，用于解决电站复杂场景中多类异常行为识别困难的技术问题。
[0010]本专利技术采用以下技术方案：
[0011]一种新能源电站用深度视频检测方法，包括以下步骤：
[0012]S1、对新能源电站的视频数据中的异常行为进行标注和扩充，再与AVA数据集中的异常行为数据合并构建异常行为数据集；
[0013]S2、设计基于交互聚合结构的AlphAction模型，用于提取视频中人
‑
人交互、人
‑
物交互和人
‑
物
‑
人交互；
[0014]S3、根据不同迭代步的损失函数调节超参数，利用步骤S1得到的异常行为数据集对步骤S2得到的基于交互聚合结构的AlphAction模型进行训练；
[0015]S4、利用步骤S3训练好的基于交互聚合结构的AlphAction模型实现深度视频检测。
[0016]具体的，步骤S1中，构建异常行为数据集具体如下：
[0017]S1011、对AVA数据集中的类别进行编号，生成包含80个动作类别的动作词汇表，动作词汇表中包括14个姿态类别，49个人物交互类别，17个人与人交互类别；
[0018]S1012、筛选步骤S1011得到的动作词汇表中包含file和television，且时长超过30分钟的视频信息，删掉黑白、分辨率小于等于360p和动画视频；
[0019]S1013、从步骤S1012得到的视频中截选15～30分钟的视频，并采用1FPS的频率进行采样，每个视频获得900个关键帧；关键帧中每个人分别采用候选包围框进行定位，再使用Faster RCNN中候选框提取的RPN网络对关键帧生成初始包围框，再采用标注工具label image对关键帧中遗漏的边界框进行手工标注，得到关键帧中人的包围框位置坐标；
[0020]S1014、对步骤S1013采样得到的15～30分钟连续视频片段，连接相邻帧中的异常行为人，获得行为人的真实轨迹；再使用人嵌入计算相邻关键帧中边界框的成对相似度，用匈牙利算法求解最优匹配，对标注遗漏或不正确的进行人为修改，得到关键帧中人的id信息；S1015、由3个注释者分别对步骤S1013中每个视频的900个关键帧进行注释，当一个动作标签至少被两个人验证通过时为正确，每个人标注的标签包括1个姿势标签，3个人物交互标签和3个人
‑
物
‑
人交互标签，得到关键帧中人的行为的类别编号，与步骤S1012得到的视频信息、步骤S1013得到的包围框位置坐标和步骤S1014得到的id信息共同构成异常行为数据集。
[0021]进一步的，异常行为包括打架、翻越、奔跑、徘徊、摔倒、跳跃、抽烟和站立。
[0022]具体的，步骤S2具体为：
[0023]S201、采用Yolov3网络提取关键帧中的人体框和物体框，采用SlowFast网络提取
视频片段特征；
[0024]S202、基于步骤S201中的视频片段特征和关键帧中的人体框和物体框，采用ROI Align提取视频中人和物的短期特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新能源电站用深度视频检测方法，其特征在于，包括以下步骤：S1、对新能源电站的视频数据中的异常行为进行标注和扩充，再与AVA数据集中的异常行为数据合并构建异常行为数据集；S2、设计基于交互聚合结构的AlphAction模型，用于提取视频中人
‑
人交互、人
‑
物交互和人
‑
物
‑
人交互；S3、根据不同迭代步的损失函数调节超参数，利用步骤S1得到的异常行为数据集对步骤S2得到的基于交互聚合结构的AlphAction模型进行训练；S4、利用步骤S3训练好的基于交互聚合结构的AlphAction模型实现深度视频检测。2.根据权利要求1所述的新能源电站用深度视频检测方法，其特征在于，步骤S1中，构建异常行为数据集具体如下：S1011、对AVA数据集中的类别进行编号，生成包含80个动作类别的动作词汇表，动作词汇表中包括14个姿态类别，49个人物交互类别，17个人与人交互类别；S1012、筛选步骤S1011得到的动作词汇表中包含file和television，且时长超过30分钟的视频信息，删掉黑白、分辨率小于等于360p和动画的视频；S1013、从步骤S1012得到的视频中截选15～30分钟的视频，并采用1FPS的频率进行采样，每个视频获得900个关键帧；关键帧中每个人分别采用候选包围框进行定位，再使用Faster RCNN中候选框提取的RPN网络对关键帧生成初始包围框，再采用标注工具label image对关键帧中遗漏的边界框进行手工标注，得到关键帧中人的包围框位置坐标；S1014、对步骤S1013采样得到的15～30分钟连续视频片段，连接相邻帧中的异常行为人，获得行为人的真实轨迹；再使用人嵌入计算相邻关键帧中边界框的成对相似度，用匈牙利算法求解最优匹配，对标注遗漏或不正确的进行人为修改，得到关键帧中人的id信息；S1015、由3个注释者分别对步骤S1013中每个视频的900个关键帧进行注释，当一个动作标签至少被两个人验证通过时为正确，每个人标注的标签包括1个姿势标签，3个人物交互标签和3个人
‑
物
‑
人交互标签，得到关键帧中人的行为的类别编号，与步骤S1012得到的视频信息、步骤S1013得到的包围框位置坐标和步骤S1014得到的id信息共同构成异常行为数据集。3.根据权利要求2所述的新能源电站用深度视频检测方法，其特征在于，异常行为包括打架、翻越、奔跑、徘徊、摔倒、跳跃、抽烟和站立。4.根据权利要求1所述的新能源电站用深度视频检测方法，其特征在于，步骤S2具体为：S201、采用Yolov3网络提取关键帧中的人体框和物体框，采用SlowFast网络提取视频片段特征；S202、基于步骤S201中的视频片段特征和关键帧中的人体框和物体框，采用ROIAlign提取视频中人和物的短期特征；S203、利用记忆存储池存储步骤S202中人的短期特征，提取原始输入视频的长期特征；S204、基于步骤S202得到的人和物的短期特征，以及步骤S203得到的原始输入视频的长期特征，采用交互聚合结构将连续的时间相关行为特征进行级联，提取视频中人
‑
人交互、人
‑
物交互和人
‑
物
...

【专利技术属性】
技术研发人员：杨端，孙建永，薛江，韩志英，孙曼，王鑫，谭金鑫，谢国庆，石唯怡，徐代，
申请(专利权)人：西安君能清洁能源有限公司，
类型：发明
国别省市：