基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质制造方法及图纸

本申请公开了基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质，其中，生产操作行为识别方法包括如下步骤：获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；所述结构化双流卷积神经网络引入有注意力机制；依据所述动作类别和时间戳信息，计算得到生产动作实例。本申请提供的生产操作行为识别方法能够快速准确识别视频中生产操作行为，满足智能制造的要求。

Production Operation Behavior Recognition Method, Device, Equipment, System and Storage Medium Based on Structured Two-stream Convolutional Neural Network

【技术实现步骤摘要】
基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质
本申请涉及视频图像分析
，特别是涉及基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质。
技术介绍
计算机视觉技术被应用于多个研究领域，包括人物识别、图像重建以及动作识别等。对于大型工厂的监控视频分析，许多工作将计算机视觉技术框架应用于生产操作行为识别工程，以确保员工安全、生产调度以及提高全局设备效率等。目前，智能监控每天产生数以万计的有价值的视频数据，为了充分利用这些视频数据，需要设计一个能够从大量视频中自动提取特征和模式，并且识别工人行为以及机器行为的生产操作行为识别框架。通常，一段生产操作行为被认为是由对应控制结构的一系列单独的活动组成，单个活动被定义为是一个特殊的任务，例如人类行为或者机器动作。因此，生产操作行为识别可以由计算机视觉技术解决。特别的，智能监控下的生产操作行为识别主要包括识别工人和机器等的行为，计算每个任务的开始时间和结束时间，以及分析生产操作行为的模式，因此，生产操作行为识别过程主要涉及动作识别和时序动作识别等。目前许多工作都有一个固定的传统模式，分为本文档来自技高网...

【技术保护点】
1.一种基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，包括如下步骤：获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；所述结构化双流卷积神经网络引入有注意力机制；依据所述动作类别和时间戳信息，计算得到生产动作实例。

【技术特征摘要】
1.一种基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，包括如下步骤：获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；所述结构化双流卷积神经网络引入有注意力机制；依据所述动作类别和时间戳信息，计算得到生产动作实例。2.如权利要求1所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述结构化双流卷积神经网络的训练过程包括：利用先验数据对双流卷积神经网络进行训练，得到预训练参数；利用先验数据和预训练参数对结构化双流卷积神经网络进行训练。3.如权利要求2所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述先验数据包括提取自训练视频数据的光流序列以及标记有时间戳信息的图像帧序列。4.如权利要求2或3所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述双流卷积神经网络包括结构相同的时间流卷积神经网络和空间流卷积神经网络，对时间流卷积神经网络和空间流卷积神经网络的输出进行加权平均后，利用分类器输出；所述结构化双流卷积神经网络包括结构相同的时间流卷积神经网络和空间流卷积神经网络，对时间流卷积神经网络和空间流卷积神经网络的输出进行时空双线性压缩融合后，引入注意力机制计算全连接层，最后利用分类器输出。5.如权利要求1所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述时间戳信息通过向量标签VideoTriple＝(start,main,end)表达，其中：start的值表示该图像...

【专利技术属性】
技术研发人员：胡海洋，朱相玲，
申请(专利权)人：杭州智尚云科信息技术有限公司，
类型：发明
国别省市：浙江,33