基于深度学习训练重构图的视频识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习训练重构图的视频识别方法及系统。其中，该视频识别方法包括：对待识别的视频片段进行取样；利用CNN训练得到的不同行为的识别库对取样的视频片段进行识别，得到不同行为出现的概率；以及预先对各个行为划分类别，根据不同行为出现的概率，统计的出现概率最高的类别作为视频的内容。该方法受环境影响较小，不需要对多种环境特征进行采集，适合推广至多个领域；可采用半定制的设计流程来实现视频识别，降低因全盘设计带来的成本和风险，而且减少产品的开发周期。

【技术实现步骤摘要】
基于深度学习训练重构图的视频识别方法及系统
本公开属于人工智能领域，涉及一种基于深度学习训练重构图的视频识别方法及系统。
技术介绍
视频内容识别，成为了当前研究的热点之一，日益引起人们的重视。视频识别技术在国内外的研究都十分流行。国外对于常见识别方案如动作识别(activityrecognition)有了深入的研究。随着人工智能算法设计和实现的不断进步，深度学习在工业生产以及人们生活中所扮演的角色越来越重，其应用领域也变得越来越多，其对识别领域的贡献率也越来越高。视频识别技术，常与图像分析结合，是一种有效的视频内容识别方案。具体的工作原理是将视频切割成帧(即分割)，再通过图像分析方法提取特征，进而进行判别。然而对于可变多样的环境，通过图像分析方法提取特征的方法收效甚微。国内对于视频识别技术的研究主要集中于灾难预警以及人员状态识别。有的研究提出利用图像识别算法通过对视频中地理，人员数量等信息的识别来判断潜在的城市应急事件。有的研究提出从视频样本中提取帧图像，在caffe的框架下训练神经网络使之能够识别恐怖事件。有的研究提出使用图像序列，边缘图像序列以及光流图像训练卷积神经网络进行视频内容识别。然而，现有的识别方案中，识别的内容比较局限，在现实中只能应用于特定的领域，无法推广至多个领域，也无法综合多个特征进而识别视频的内容，从而导致了识别精度的不足。另外，现有的识别方案对环境的要求比较高，即当环境出现变化时，识别的精度会在一定程度上大打折扣，同时，在采集多种环境参数时，也增加了产品的开发周期和成本。因此，亟需提出一种能够识别多个领域的内容、并且受环境影响较小的视频识别方法。
技术实现思路
(一)要解决的技术问题本公开提供了一种基于深度学习训练重构图的视频识别方法及系统，以至少部分解决以上所提出的技术问题。(二)技术方案根据本公开的一个方面，提供了一种基于深度学习训练重构图的视频识别方法，包括：对待识别的视频片段进行取样；利用CNN训练得到的不同行为的识别库对取样的视频片段进行识别，得到不同行为出现的概率；以及预先对各个行为划分类别，根据不同行为出现的概率，统计的出现概率最高的类别作为视频的内容。在本公开的一些实施例中，CNN训练得到不同行为的识别库的方法，包括：对待训练的视频片段进行取样；对取样的视频片段进行帧处理，得到黑白的连续帧图像；利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图和二维运动场序列重构图；将原始数据重构图和二维运动场序列重构图作为输入数据进行CNN训练；以及选用大量样本重复进行CNN训练，直至对所训练行为的识别误差率符合要求，形成单动作行为识别系统；针对不同动作行为实施CNN训练，得到包含多个单动作行为的识别库。在本公开的一些实施例中，利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图，包括：先将一帧中的每个像素点与周围四点计算梯度并取平均值，边缘点忽略，将所有计算完毕的点作成一横向序列；重复处理该取样的视频片段里面的所有连续帧图像，将得到的所有横向序列按纵向排列作成矩阵，便得到涵盖取样的视频片段信息的原始数据重构图。在本公开的一些实施例中，利用连续帧图像构建涵盖取样的视频片段信息的二维运动场序列重构图，包括：先将相邻的两帧的所有特征点进行匹配，根据匹配的点运算得到前一帧的二维速度作为前一帧的特征点位置，得到每帧的二维运动场序列，再将多帧的序列按纵向排列作成矩阵，便得到建涵盖取样的视频片段信息的二维运动场序列重构图。在本公开的一些实施例中，对待训练的视频片段进行取样包括：采用一算法追踪移动物体，删减背景区域，使行为主体占帧总面积的80％以上。在本公开的一些实施例中，该算法为：KLT算法。在本公开的一些实施例中，误差率的要求为5％以内。在本公开的一些实施例中，CNN有六层，包括：三个卷积层和三个池化层，同时每个卷积层包含20个卷积核，输出的种类由训练所预期的行为种类而定。在本公开的一些实施例中，CNN训练的过程包括：输入数据-卷积-池化-卷积-池化-卷积-池化-输出-反向传播调参。根据本公开的另一个方面，提供了一种基于深度学习训练重构图的视频识别系统，包括：集成系统，该集成系统集成了CNN预先训练好的不同行为的识别库，以及各个行为对应的类别，其中该集成系统可根据视频识别的类型采用半定制化设计，将所需识别的行为的识别库进行定制。(三)有益效果从上述技术方案可以看出，本公开提供的基于深度学习训练重构图的视频识别方法及系统，具有以下有益效果：(1)卷积神经网络(CNN，ConvolutionalNeutralNetwork)完成对多个行为的训练后，CNN会输出对多种行为识别的概率，根据划定的某些行为的所属类别，便可以通过各个行为的概率识别视频的内容，适合推广至多个领域；(2)选择二维运动场作为一个重要考量部分，提取删减背景区域的行为主体特征视频片段，将其分割成多个黑白帧的片段进行数据处理，得到原始数据重构图和二维运动场序列重构图，并使用重构图进行深度学习训练过程，受环境影响较小，不需要对多种环境特征进行采集；(3)可采用半定制的设计流程来实现视频识别，降低给设计带来的成本和风险，而且减少产品的开发周期。附图说明图1为根据本公开一实施例的基于深度学习训练重构图的视频识别方法的流程图。图2为根据本公开一实施例的基于深度学习训练重构图的视频识别方法的实施过程示意图。图3为根据本公开一实施例的进行单一行为识别训练的过程示意图。图4为根据本公开一实施例的由单一行为识别系统构成多行为识别系统的示意图。具体实施方式本公开提供了一种基于深度学习训练重构图的视频识别方法及系统，选择二维运动场作为一个重要考量部分，提取删减背景区域的行为主体特征视频片段，将其分割成多个黑白帧的片段进行数据处理，得到原始数据重构图和二维运动场序列重构图，并使用重构图进行深度学习训练过程，受环境影响较小，不需要对多种环境特征进行采集；在CNN完成对多个行为的训练后，会输出对多种行为识别的概率，根据划定的某些行为的所属类别，便可以通过各个行为的概率识别视频的内容，适合推广至多个领域；可采用半定制的设计流程来实现视频识别，降低因全盘设计带来的成本和风险，而且减少产品的开发周期。为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。本公开的术语中，“行为”和“动作”均指视频中要识别的内容，在视频识别中，要识别的“行为”主要为“动作”的行为，故二者在这里为等价的含义。本公开利用二维运动场和原视频帧处理构建重构图，并以重构图训练两个卷积神经网络；通过两个神经网络相互配合做出对视频内容的判别。在本公开的第一个示例性实施例中，提供了一种基于深度学习训练重构图的视频识别方法。图1为根据本公开一实施例的基于深度学习训练重构图的视频识别方法的流程图。图2为根据本公开一实施例的基于深度学习训练重构图的视频识别方法的实施过程示意图。结合图1和图2所示，本公开的基于深度学习训练重构图的视频识别方法，包括：步骤S102：对待识别的视频片段进行取样；首先，确定某个行为取样的周期，一般是通过经验进行判定或者通过在多个视频中对该行为进行统计得出；根据不同行为的情况该取样周期可调。本实施例中，根据经本文档来自技高网...

【技术保护点】
一种基于深度学习训练重构图的视频识别方法，包括：对待识别的视频片段进行取样；利用CNN训练得到的不同行为的识别库对取样的视频片段进行识别，得到不同行为出现的概率；以及预先对各个行为划分类别，根据不同行为出现的概率，统计的出现概率最高的类别作为视频的内容。

【技术特征摘要】
1.一种基于深度学习训练重构图的视频识别方法，包括：对待识别的视频片段进行取样；利用CNN训练得到的不同行为的识别库对取样的视频片段进行识别，得到不同行为出现的概率；以及预先对各个行为划分类别，根据不同行为出现的概率，统计的出现概率最高的类别作为视频的内容。2.根据权利要求1所述的视频识别方法，其中，CNN训练得到所述不同行为的识别库的方法，包括：对待训练的视频片段进行取样；对取样的视频片段进行帧处理，得到黑白的连续帧图像；利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图和二维运动场序列重构图；将原始数据重构图和二维运动场序列重构图作为输入数据进行CNN训练；以及选用大量样本重复进行CNN训练，直至对所训练行为的识别误差率符合要求，形成单动作行为识别系统；针对不同动作行为实施CNN训练，得到包含多个单动作行为的识别库。3.根据权利要求2所述的视频识别方法，其中，所述利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图，包括：先将一帧中的每个像素点与周围四点计算梯度并取平均值，边缘点忽略，将所有计算完毕的点作成一横向序列；重复处理该取样的视频片段里面的所有连续帧图像，将得到的所有横向序列按纵向排列作成矩阵，便得到涵盖取样的视频片段信息的原始数据重构图。4.根据权利要求2所述的视频识别方法，...

【专利技术属性】
技术研发人员：暴雨，蔡刚，高同强，乔亮，董庭勋，
申请(专利权)人：中科亿海微电子科技苏州有限公司，
类型：发明
国别省市：江苏,32