一种动态信息增强的行为识别方法及装置制造方法及图纸

本发明专利技术提供一种动态信息增强的行为识别方法及装置，所述方法包括：确定待识别视频的图像序列；将图像序列输入至行为识别模型，得到行为识别模型输出的行为识别结果，行为识别模型是基于样本视频的样本图像序列和样本行为识别结果训练得到的；其中，行为识别模型用于对图像序列中各帧图像进行特征提取，得到表观特征图序列，对表观特征图序列中每相邻两个表观特征图进行差分运算，得到动态特征图序列，对动态特征图序列和表观特征图序列进行特征编码，得到动态特征表示，并基于动态特征表示进行行为识别。本发明专利技术提供的方法、装置、电子设备与存储介质，在提升行为识别的准确率的同时，也提高了行为识别的实时性，应用价值更高。应用价值更高。应用价值更高。

【技术实现步骤摘要】
一种动态信息增强的行为识别方法及装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种动态信息增强的行为识别方法及装置。

技术介绍

[0002]人体行为识别是计算机视觉研究的热点，需要从一个视频段或者图像序列中自动识别正在进行的行为。人体行为识别的应用范围很广，主要集中在智能视频监控领域，包括智能行为分析与管理、智能交通、人机交互、智能安防等领域，面对海量数据，都需要借助计算机和机器学习来对数据进行自动分析。
[0003]目前，以视频作为输入的行为识别方法大多采用3D(3dimensions，三维)卷积神经网络，3D卷积神经网络的优势是卷积核在时间维度可以进行滤波，因此其可以同时在空间维度(宽度，高度)以及时间维度进行学习。然而，3D卷积神经网络虽然可以在一定范围内捕捉相邻时刻之间的关系，但是并不能学习到视频中行为的动态信息，从而导致连续变化的动作的识别效果较差。

技术实现思路

[0004]本专利技术提供一种动态信息增强的行为识别方法及装置，用以解决现有技术中连续变化的动作的识别效果较差的缺陷，实现行为识别准确率的提升。
[0005]本专利技术提供一种动态信息增强的行为识别方法，包括：
[0006]确定待识别视频的图像序列；
[0007]将所述图像序列输入至行为识别模型，得到所述行为识别模型输出的行为识别结果，所述行为识别模型是基于样本视频的样本图像序列和样本行为识别结果训练得到的；
[0008]其中，所述行为识别模型用于对所述图像序列中各帧图像进行特征提取，得到表观特征图序列，对所述表观特征图序列中每相邻两个表观特征图进行差分运算，得到动态特征图序列，对所述动态特征图序列和表观特征图序列进行特征编码，得到动态特征表示，并基于所述动态特征表示进行行为识别。
[0009]根据本专利技术提供的一种动态信息增强的行为识别方法，所述行为识别模型包括第一2D卷积层、动态特征网络分支、表观特征网络分支和行为识别层；
[0010]所述将所述图像序列输入至行为识别模型，得到所述行为识别模型输出的行为识别结果，包括：
[0011]将所述图像序列输入至所述第一2D卷积层，得到所述第一2D卷积层输出的所述表观特征图序列；
[0012]将所述表观特征图序列输入至所述动态特征网络分支，得到所述动态特征网络分支输出的所述动态特征表示；
[0013]将所述表观特征图序列输入至所述表观特征网络分支，得到所述表观特征网络分支输出的表观特征表示；
[0014]将所述动态特征表示和所述表观特征表示输入至所述行为识别层，得到所述行为识别层输出的所述行为识别结果。
[0015]根据本专利技术提供的一种动态信息增强的行为识别方法，所述动态特征网络分支包括差分运算层、序列融合层和3D卷积层；
[0016]所述将所述表观特征图序列输入至所述动态特征网络分支，得到所述动态特征网络分支输出的所述动态特征表示，包括：
[0017]将所述表观特征图序列输入至所述差分运算层，得到所述差分运算层输出的所述动态特征图序列；
[0018]将所述表观特征图序列和动态特征图序列输入至所述序列融合层，得到所述序列融合层输出的序列融合结果；
[0019]将所述序列融合结果输入至所述3D卷积层，得到所述3D卷积层输出的所述动态特征表示。
[0020]根据本专利技术提供的一种动态信息增强的行为识别方法，所述差分运算层用于对所述表观特征图序列中除最后一个表观特征图之外的每一个表观特征图与其相邻的下一个表观特征图进行差分运算，并对所述最后一个表观特征图与第一个表观特征图进行差分运算，得到所述动态特征图序列；所述序列融合层用于将所述表观特征图序列和动态特征图序列沿通道方向进行拼接，得到所述序列融合结果。
[0021]根据本专利技术提供的一种动态信息增强的行为识别方法，所述表观特征网络分支包括第二2D卷积层和平均池化层；
[0022]所述将所述表观特征图序列输入至所述表观特征网络分支，得到所述表观特征网络分支输出的表观特征表示，包括：
[0023]将所述表观特征图序列输入至所述第二2D卷积层，得到所述第二2D卷积层输出的表观增强特征图序列；
[0024]将所述表观增强特征图序列输入至所述平均池化层，得到所述平均池化层输出的所述表观特征表示。
[0025]根据本专利技术提供的一种动态信息增强的行为识别方法，所述将所述动态特征表示和所述表观特征表示输入至所述行为识别层，得到所述行为识别层输出的所述行为识别结果，包括：
[0026]将所述动态特征表示和所述表观特征表示输入至所述行为识别层，由所述行为识别层对所述动态特征表示和所述表观特征表示进行融合，得到特征融合结果，并对所述特征融合结果进行线性变换，得到所述行为识别层线性变换后输出的所述行为识别结果。
[0027]本专利技术还提供一种动态信息增强的行为识别装置，包括：
[0028]确定模块，用于确定待识别视频的图像序列；
[0029]识别模块，用于将所述图像序列输入至行为识别模型，得到所述行为识别模型输出的行为识别结果，所述行为识别模型是基于样本视频的样本图像序列和样本行为识别结果训练得到的；
[0030]其中，所述行为识别模型用于对所述图像序列中各帧图像进行特征提取，得到表观特征图序列，对所述表观特征图序列中每相邻两个表观特征图进行差分运算，得到动态特征图序列，对所述动态特征图序列和表观特征图序列进行特征编码，得到动态特征表示，
并基于所述动态特征表示进行行为识别。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述动态信息增强的行为识别方法的步骤。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述动态信息增强的行为识别方法的步骤。
[0033]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述动态信息增强的行为识别方法的步骤。
[0034]本专利技术提供的一种动态信息增强的行为识别方法及装置，通过行为识别模型对图像序列中各帧图像进行特征提取，并对提取得到的表观特征图序列中每相邻两个表观特征图进行差分运算，得到动态特征图序列，极大地减少了动态信息提取的计算量，在此基础上，基于表观特征图序列和动态特征图序列所确定的动态特征表示进行行为识别，在提升行为识别的准确率的同时，也提高了行为识别的实时性，使得行为识别方法具有更高的应用价值。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态信息增强的行为识别方法，其特征在于，包括：确定待识别视频的图像序列；将所述图像序列输入至行为识别模型，得到所述行为识别模型输出的行为识别结果，所述行为识别模型是基于样本视频的样本图像序列和样本行为识别结果训练得到的；其中，所述行为识别模型用于对所述图像序列中各帧图像进行特征提取，得到表观特征图序列，对所述表观特征图序列中每相邻两个表观特征图进行差分运算，得到动态特征图序列，对所述动态特征图序列和表观特征图序列进行特征编码，得到动态特征表示，并基于所述动态特征表示进行行为识别。2.根据权利要求1所述的动态信息增强的行为识别方法，其特征在于，所述行为识别模型包括第一2D卷积层、动态特征网络分支、表观特征网络分支和行为识别层；所述将所述图像序列输入至行为识别模型，得到所述行为识别模型输出的行为识别结果，包括：将所述图像序列输入至所述第一2D卷积层，得到所述第一2D卷积层输出的所述表观特征图序列；将所述表观特征图序列输入至所述动态特征网络分支，得到所述动态特征网络分支输出的所述动态特征表示；将所述表观特征图序列输入至所述表观特征网络分支，得到所述表观特征网络分支输出的表观特征表示；将所述动态特征表示和所述表观特征表示输入至所述行为识别层，得到所述行为识别层输出的所述行为识别结果。3.根据权利要求2所述的动态信息增强的行为识别方法，其特征在于，所述动态特征网络分支包括差分运算层、序列融合层和3D卷积层；所述将所述表观特征图序列输入至所述动态特征网络分支，得到所述动态特征网络分支输出的所述动态特征表示，包括：将所述表观特征图序列输入至所述差分运算层，得到所述差分运算层输出的所述动态特征图序列；将所述表观特征图序列和动态特征图序列输入至所述序列融合层，得到所述序列融合层输出的序列融合结果；将所述序列融合结果输入至所述3D卷积层，得到所述3D卷积层输出的所述动态特征表示。4.根据权利要求3所述的动态信息增强的行为识别方法，其特征在于，所述差分运算层用于对所述表观特征图序列中除最后一个表观特征图之外的每一个表观特征图与其相邻的下一个表观特征图进行差分运算，并对所述最后一个表观特征图与第一个表观特征图进行差分运算，得到所述动态特征图序列；所述序列融合层用于将所述表观特征图序列...

【专利技术属性】
技术研发人员：华仁红，郝小龙，王威，崔萌萌，罗旺，吴超，郭佳，陈坤鹏，
申请(专利权)人：南京南瑞信息通信科技有限公司中国科学院自动化研究所，
类型：发明
国别省市：