一种基于双流卷积神经网络的行为识别方法及设备技术

本申请属于计算机视觉领域，涉及一种基于双流卷积神经网络的特定行为的识别方法及设备，用于复杂背景下特定行为的识别，尤其在包括多种与特定行为的区别微小的应用场景下。该方法的关键之处在于模型训练阶段，其包括：构建双流卷积神经网络模型；以及训练模型，拟合训练数据，利用所述双流卷积神经网络分别获得的空间特征和时间特征，然后将这些特征融合并输入到最后的分类层。因此在识别阶段，将待识别视频输入所述训练后的模型，判断、识别并输出识别结果。该方法准确率高、泛化力强、可扩展性好。

A method and equipment of behavior recognition based on double flow convolution neural network

【技术实现步骤摘要】
一种基于双流卷积神经网络的行为识别方法及设备
本申请属于计算机视觉领域，涉及一种基于双流卷积神经网络的特定行为的识别方法及设备，用于复杂背景下特定行为的识别，尤其在包括多种与特定行为的区别微小的应用场景下。
技术介绍
近年来，随着科技水平的逐步提高，人工智能的应用越来越广泛和具体，动作检测、行为识别领域的发展越来越受到关注。视频中的动作的检测和识别具有广泛的应用，例如监控、人机交互和基于特定条件的检索。在工业、医疗、军事和生活等领域均需要使用人体动作检测和识别方法及相应装置来进行模拟训练、监控行为及规范指导。在动作检测和识别领域中，帧级动作检测的质量直接影响视频中的动作检测的质量和识别判断的准确率。尤其是，在有些应用场景中，大量个体的行为相近似，区别之处非常细微，更需要精细地区分是否符合标准行为规范，并做后续的识别和监控。例如，在物流领域，需要在库房等应用场景中准确快速筛选出是否存在暴利分拣行为，以做到更精确及时的提醒和指导。而现有的暴力分拣行为识别算法主要分为两类：一类是基础传统计算机视觉和机器学习的方法，如多尺度合成算法、支持向量机本文档来自技高网...

【技术保护点】
1.一种基于双流卷积神经网络的行为识别方法，其特征在于，所述方法包括：数据准备阶段、模型训练阶段和识别阶段，其中，/n数据准备阶段，其包括：/n数据收集，收集原始监控视频；/n构建训练集：数据标注，从包含多种特定行为的原始监控视频中提取多个包含特定行为的视频片段，并做标注；以及将所述经标注的视频片段转换为连续的图像帧，所述图像帧为RGB图像；并且从所述连续的两帧RGB图像计算光流图像；/n数据预处理：其包括数据归一化处理和增强处理；/n模型训练阶段，其包括：/n构建模型：搭建双流卷积神经网络模型；以及/n训练模型：拟合训练数据，利用所述双流卷积神经网络分别对RGB图像和光流图像进行学习以获得相...

【技术特征摘要】
1.一种基于双流卷积神经网络的行为识别方法，其特征在于，所述方法包括：数据准备阶段、模型训练阶段和识别阶段，其中，
数据准备阶段，其包括：
数据收集，收集原始监控视频；
构建训练集：数据标注，从包含多种特定行为的原始监控视频中提取多个包含特定行为的视频片段，并做标注；以及将所述经标注的视频片段转换为连续的图像帧，所述图像帧为RGB图像；并且从所述连续的两帧RGB图像计算光流图像；
数据预处理：其包括数据归一化处理和增强处理；
模型训练阶段，其包括：
构建模型：搭建双流卷积神经网络模型；以及
训练模型：拟合训练数据，利用所述双流卷积神经网络分别对RGB图像和光流图像进行学习以获得相应的空间特征和时间特征，然后将所述空间特征和时间特征融合并输入到最后的分类层；
识别阶段：将待识别监控视频或视频片段输入所述训练后的双流卷积神经网络模型，所述训练后的双流卷积神经网络模型判断、识别行为并输出识别结果。


2.根据权利要求1所述的基于双流卷积神经网络的行为识别方法，其特征在于，所述行为可包括人的动作行为、自动驾驶车辆的行驶或机器人或机械臂的操作动作。


3.根据权利要求1所述的基基于双流卷积神经网络的行为识别方法，其特征在于，所述数据收集还包括对原始视频图像的切割处理，以去除不包括所述特定行为的区域或视频图像。


4.根据权利要求1所述的基于双流卷积神经网络的行为识别方法，其特征在于，所述双流卷积神经网络中的卷积神经网络为三维卷积神经网络。


5.根据权利要求1所述的基于双流卷积神经网络的行为识别方法，其特征在于，所述...

【专利技术属性】
技术研发人员：虢齐，张玉双，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44