一种基于轻量双流网络的行为识别方法技术

本发明专利技术公开了一种基于轻量双流网络的行为识别方法，属于图像处理技术领域。其具体步骤为：S1行为识别实验数据集制作；S2基于所提出轻量双流网络框架，对行为识别数据集进行网络模型训练；S3采用自蒸馏技术，提取在标注标签外的软信息，用于进一步提高模型的识别准确率,使用自我迭代，自我学习的方法，提高训练速度以及识别准确率；S4通过轻量双流网络对输入的视频进行行为识别。本发明专利技术是一种基于轻量双流网络的行为识别方法，利用ActionNet模拟生成光流信息，大大提高了计算速度，使得行为识别的实时性和准确率得以提高。别的实时性和准确率得以提高。

【技术实现步骤摘要】
一种基于轻量双流网络的行为识别方法


[0001]本专利技术属于图像处理
，具体涉及基于双流网络的行为识别技术。

技术介绍

[0002]计算机视觉是由计算机科学和工程、信号处理、统计学和认知科学等多门学科交叉融合的一门综合性学科，其中，人体行为识别是计算机视觉领域的一个热门话题，在机器人行为研究、智能人机交互、智能视频监控、仿真虚拟现实、智能安防、运动员辅助训练等方面具有很大地探索和应用价值，被国内外学者和研究人员广泛关注。
[0003]现有的行为识别方法主要有双流网络、3D卷积网络和混合网络等。3D卷积网络使用三维卷积核提取视频中的时空信息和运动轨迹，与应用于单帧RGB图像的二维卷积相比，三维卷积更适用于视频序列，可以提升行为识别的准确度和鲁棒性。混合网络指将不同网络混合提取视频特征，不同的网络架构组件具有不同的侧重点和优点，多种结构的结合使用可以有效提取时空信息和运动信息。结合方式的多样性，使得混合结构具有很大的潜力和很高的热度。双流网络指将卷积信息分为两部分：时间域和空间域，两条网络流结构互不干扰。从单帧RGB图像中获取环境、物体等空间信息，从连续光流场中获取目标的运动信息，最终将双流的提取特征融合，得到识别结果。双流网络以其强调时空特性而具有较好的准确度，但视频的光流计算非常复杂，计算速度较慢，训练硬件要求高，还要求视频预处理，这些问题严重影响双流网络的实时应用。

技术实现思路

[0004]本专利技术的目的在于使用轻量双流网络进行行为识别，利用隐式光流网络模拟生成光流，提取视频序列的运动轨迹等时间信息，将时间信息于空间信息融合分类，得到行为识别结果。
[0005]本专利技术改进的基于轻量双流网络的行为识别方法，包括下列步骤：
[0006]步骤1：行为识别实验数据集制作，包括训练集和验证集，将包含行为的小段视频制作成双流网络可用来训练的数据集；
[0007]数据集制作的具体步骤为：
[0008]步骤101：将一小段包含行为的视频，例如在加油站抽烟或者打电话的视频，切割成帧；
[0009]步骤102：随后在小段视频切割的帧内，随机选取16张，放在同一个文件夹中，每一个文件夹代表着某一类行为，用作数据集；
[0010]步骤103：重复步骤101和102的操作，获取足够多的数据集；
[0011]步骤104：将数据集按8比2的比例分成训练集和验证集，在训练集和验证集中要将每一类行为作好标注分类。
[0012]步骤2：基于所提出轻量双流网络框架，对行为识别数据集进行网络模型训练；
[0013]其中轻量双流网络框架的具体步骤为：
[0014]步骤201：首先将数据集内的视频帧通过空间域CNN卷积网络，提取视频序列的空间特征；
[0015]步骤202：将数据集内的帧序列输入时间域特征提取网络，空间域特征提取网络包括ActionNet和时间域CNN卷积网络两部分，可提取视频序列的时间特征；
[0016]步骤203：将视频序列的空间特征和时间特征进行融合，输入分类器后得到行为识别结果，再进行神经网络回归运算，计算对应网络损失值从而进行网络后向传播更新网络参数。
[0017]步骤3：根据步骤2训练得到的行为识别模型，采用自蒸馏技术，提取在标注标签外的软信息，用于进一步提高模型的识别准确率。使用自我迭代，自我学习的方法，提高训练速度以及识别准确率。
[0018]步骤4：使用轻量双流网络对输入的视频进行行为识别，输入为一段包含单人或者多人行为的视频，输出为视频行为识别结果。
[0019]其中行为识别具体步骤为：
[0020]步骤401：将输入的视频通过目标检测和跟踪网络，获取同一个人一连串的视频序列；
[0021]步骤402：将视频序列送入轻量双流网络中，通过空间域和时间域特征提取网络，分别提取视频的空间特征和时间特征，最后将特征进行融合，得到视频特征信息；
[0022]步骤403：将融合后的视频特征信息传输到多标签分类器中，多标签分类可以提取视频中的多种行为，适用于多种复杂情况，最终得到行为识别结果。
[0023]以上所述，仅为本专利技术的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
[0024]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0025](1)在保证算法识别准确度的同时，对时间域特征提取网络进行轻量化，与传统的光流网络相比，计算速度，算法实时性，视频帧率等均有较大提高。
[0026](2)采用端到端和自蒸馏的训练方法，可以有效地避免对视频的预处理，同时提取在标注标签外的软信息，用于进一步提高模型的识别准确率。使用自我迭代，自我学习的方法，提高训练速度以及识别准确率。
[0027](3)采用多标签分类器，多标签分类区别于传统的单一标签，同一视频序列有可能存在多种行为，更适用于日常生活中的各种复杂情景。
附图说明
[0028]图1为轻量双流网络框架示意图；
[0029]图2为ActionNet网络生成光流图；
[0030]图3为本网络与其他网络行为识别准确率对比图；
具体实施方式
[0031]为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。
[0032]本专利技术的目的在于使用轻量双流网络进行行为识别，利用隐式光流网络模拟生成光流，提取视频序列的运动轨迹等时间信息，将时间信息于空间信息融合分类，得到行为识别结果。
[0033]本具体实施方式中，行为识别实验数据集制作，包括训练集和验证集。将一小段包含行为的视频，例如在加油站抽烟或者打电话的视频，切割成帧；随后在小段视频切割的帧内，随机选取16张，放在同一个文件夹中，每一个文件夹代表着某一类行为，用作数据集；在获得大量数据集后，将数据集按8比2的比例分成训练集和验证集，在训练集和验证集中要将每一类行为作好标注分类，用作训练。
[0034]本具体实施方式中，基于所提出的轻量双流网络结构，如图1所示，网络包含空间特征提取网络和时间信息提取网络两部分。将数据集内的视频帧通过空间域CNN卷积网络，提取视频序列的空间特征。将数据集内的帧序列输入时间域特征提取网络，空间域特征提取网络包括ActionNet和时间域CNN卷积网络两部分，可提取视频序列的时间特征。两个网络是并行的，对一段视频同时提取，最后将时间特征和空间特征进行融合。输入分类器后得到行为识别结果，再进行神经网络回归运算，计算对应网络损失值从而进行网络后向传播更新网络参数。
[0035]本具体实施方式中，MotionNet是一个全卷积网络，由收缩部分和扩展部分组成。收缩部分是卷积层的堆叠，扩展部分由卷积层和反卷积层组合而成。首先是一个专注于小位移运动的网络。对于真实世界中的视频，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量双流网络的行为识别方法，其特征在于，包括下列步骤：步骤1：行为识别实验数据集制作，包括训练集和验证集，将包含行为的小段视频制作成双流网络可用来训练的数据集；数据集制作的具体步骤为：步骤101：将一小段包含行为的视频，例如在加油站抽烟或者打电话的视频，切割成帧；步骤102：随后在小段视频切割的帧内，随机选取16张，放在同一个文件夹中，每一个文件夹代表着某一类行为，用作数据集；步骤103：重复步骤101和102的操作，获取足够多的数据集；步骤104：将数据集按8比2的比例分成训练集和验证集，在训练集和验证集中要将每一类行为作好标注分类。步骤2：基于所提出轻量双流网络框架，对行为识别数据集进行网络模型训练；其中轻量双流网络框架的具体步骤为：步骤201：首先将数据集内的帧通过空间域CNN卷积网络，提取视频序列的空间特征；步骤202：将数据集内的帧序列输入时间域特征提取网络，空间域特征提取网络包括ActionNet和时间域CNN卷积网络两部分，可提取视频序列的时间特征；步骤203：将视频序列的空间特征和时间特征进行融合，输入分类器后得到行为识别结果，再进行...

【专利技术属性】
技术研发人员：王俊，陈宗信，周焕来，张洋，刘博文，余梦鹏，李玉琳，贾海涛，
申请(专利权)人：一拓通信集团股份有限公司，
类型：发明
国别省市：