一种基于视频输入的双流全局-局部动作识别方法、系统、设备及存储介质技术方案

一种基于视频输入的双流全局

【技术实现步骤摘要】
一种基于视频输入的双流全局
‑
局部动作识别方法、系统、设备及存储介质


[0001]本专利技术属于视频处理和理解的
，具体涉及一种基于视频输入的双流全局
‑
局部动作识别方法、系统、设备及存储介质。

技术介绍

[0002]人体行为识别技术主要包括人体目标识别、人体跟踪与行为识别三个方面。其中，行为识别是基于前两者的更高级别的计算机视觉部分。研究出一种健壮的行为识别算法具有重要的理论意义与广泛的应用前景，其中包括智能视频监控、视频检索。为了减少背景冗余信息的干扰，学习视频中的人体动态信息，很多方法都通过融合多种模态的信息来进行识别，除此之外，一些方法结合视频当中的全局和局部信息更好地完成识别任务。全局局部的方法包括截取视频中人体局部来进行行为识别。StNet把连续N帧的图像在RGB通道维度连接后作为视频的全局表示，称为超图，在超图中获取局部时空特征，然后对局部时空特征组合后在时间维度上进行特征提取得到全局时空特征。基于注意力的方法使用注意力机制强调视频中的局部信息作为一个分支，与全局网络做softmax层的融合以融合全局局部特征。
[0003]专利申请CN113761992A公开了一种视频动作识别方法，包括：获取视频；将视频输入神经网络模型的隐含层进行处理，得到视频中的识别对象及识别对象对应的运动，其中神经网络模型的隐含层包括多个处理单元；以及基于视频中的识别对象及识别对象对应的运动，输出视频的动作识别结果；其中，在至少一个处理单元中，顺序提取作为至少一个处理单元的输入的视频中的空间特征和时间特征，联合视频中的空间特征和时间特征，并执行逐点卷积操作，输出视频的空间语义信息和时间语义信息。根据该申请所提供的技术方案，视频处理过程具有更强的对时空关系编码的能力，以较少数量的参数便能够提取出更有意义的特征，从而可以使用更紧凑的结构从数据集中学习更多有用的信息。在实施视频处理的过程中，仅需单个处理器就可处理之前需要多处理器处理的视频量
[0004]上述现有的行为识别方法包含对单个视频输入进行处理，从处理得到的时间和空间特征中得到预测结果，没有深入挖掘视频图像中更细节的空间特征信息。除此之外，有的方法使用多模态融合的方法使用相同结构的双流甚至多流模型并行处理的方式对全局特征进行表征，忽略了大量细粒度的局部信息。使用局部截取的方法强调识别对象局部来获取动态信息，在识别局部的同时忽略了全局信息和一些有用的细粒度信息。基于图像拼接和注意力机制的全局局部方法对局部信息进行了强调，但是局部的细粒度信息在特征提取之前在预处理的过程中已经损失。

技术实现思路

[0005]为了克服上述现有技术存在的缺陷，本专利技术的目的在于提供一种基于视频输入的双流全局
‑
局部动作识别方法、系统、设备及存储介质，能够在学习视频中识别对象动作全
局信息的同时注意到局部细粒度的特征信息，能够从局部截取操作获得的局部视频输入中获得识别对象局部细节信息，结合不同局部的特征获得更多的视频动态局部细粒度信息来获取更好的全局特征。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]一种基于视频输入的双流全局
‑
局部动作识别方法，具体包括以下步骤：
[0008]步骤1、采集内容为单个识别对象行动的视频输入，使用识别对象关键点识别方法将视频中的识别对象关键点提取并挑选提取的识别对象关键点，并根据关键点位置裁剪得到多个识别对象局部图像；对多个识别对象局部图像组成的多个局部视频输入和全局视频输入进行数据预处理工作；
[0009]步骤2、采用双流全局
‑
局部动作识别网络提取全局及局部视频当中的动作特征；即分别使用局部特征提取网络和全局特征提取网络对输入的局部视频和原始视频数据进行特征提取操作；
[0010]步骤3、加入局部特征增强模块，处理局部网络中包含局部信息的中间输出特征图，得到注意力引导遮罩，使用注意力引导遮罩在空间维度和时间维度上增强全局网络的中间结果；
[0011]步骤4、协同训练双流网络和增强模块得到全局
‑
局部动作识别模型，进行动作识别。
[0012]所述步骤1具体方法如下：
[0013]1.1)使用关键点识别网络从采集输入中得到的单个识别对象行动的视频中识别出多个识别对象关键点，依据识别得到的识别对象关键点将以关键点为中心的局部图像裁剪出来；
[0014]1.2)识别对象关键点数据设为J
i
＝(x
i
,y
i
),i＝1...clip
size
，J
i
表示一个图像中识别对象关键点的位置，设置关键点为中心的局部图像为边长为box
len
的正方形crop
box
，得到每帧的clip
size
个以识别对象关键点J
i
为中心的形状为box
len
×
box
len
的关键点中心的局部图像：
[0015]crop
box
＝(x
i
‑
box
len
/2,y
i
‑
box
len
/2),(x
i
+box
len
/2,y
i
+box
len
/2)
[0016]从每一帧中可以得到G个局部图像I
local
：
[0017][0018]其中，crop函数表示从输入图像中裁剪出crop_box所在的部分，函数P(
·
)表示数据预处理操作，局部图像组成的局部视频输入Input
local
可形式化的定义如下：
[0019][0020]输入的
[0021]所述步骤2的具体方法如下：
[0022]2.1)全局特征提取网络提取全局视频当中的动作特征，得到预测结果；
[0023]2.2)局部特征提取网络提取局部视频当中的动作特征；
[0024]2.2.1)以步骤2预处理得到的局部视频的视频帧中，G个识别对象不同部位关键点
为中心，分割出视频序列；
[0025]2.2.2)以步骤2.2.1)的结果为输入数据进行局部网络特征提取：将输入的数据拆分为G组局部数据，分别进行网络特征提取，然后合并操作；即将输入的数据视为G组局部数据的组合，局部模块可以分别对G组局部数据进行处理；
[0026]2.2.3)在步骤2.2.2)网络特征提取结束后，将数据分为G组，分别得到预测结果后取平均，得到最终的预测结果。
[0027]所述步骤3具体方法如下：
[0028]3.1)获取局部平均特征；全局网络的输出的中间特征图为3.1)获取局部平均特征；全局网络的输出的中间特征图为局部特征提取网络的输出的中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频输入的双流全局
‑
局部动作识别方法，其特征在于：具体包括以下步骤：步骤1、采集内容为单个识别对象行动的视频输入，使用识别对象关键点识别方法将视频中的识别对象关键点提取并挑选提取的识别对象关键点，并根据关键点位置裁剪得到多个识别对象局部图像；对多个识别对象局部图像组成的多个局部视频输入和全局视频输入进行数据预处理工作；步骤2、采用双流全局
‑
局部动作识别网络提取全局及局部视频当中的动作特征；即分别使用局部特征提取网络和全局特征提取网络对输入的局部视频和原始视频数据进行特征提取操作；步骤3、加入局部特征增强模块，处理局部网络中包含局部信息的中间输出特征图，得到注意力引导遮罩，使用注意力引导遮罩在空间维度和时间维度上增强全局网络的中间结果；步骤4、协同训练双流网络和增强模块得到全局
‑
局部动作识别模型，进行动作识别。2.根据权利要求1所述的基于视频输入的双流全局
‑
局部动作识别方法，其特征在于，所述步骤1具体方法如下：1.1)使用关键点识别网络从采集输入中得到的单个识别对象行动的视频中识别出多个识别对象关键点，依据识别得到的识别对象关键点将以关键点为中心的局部图像裁剪出来；1.2)识别对象关键点数据设为J
i
＝(x
i
,y
i
),i＝1...clip
size
，J
i
表示一个图像中识别对象关键点的位置，设置关键点为中心的局部图像为边长为box
len
的正方形crop
box
，得到每帧的clip
size
个以识别对象关键点J
i
为中心的形状为box
len
×
box
len
的关键点中心的局部图像：crop
box
＝(x
i
‑
box
len
/2,y
i
‑
box
len
/2),(x
i
+box
len
/2,y
i
+box
len
/2)从每一帧中可以得到G个局部图像I
local
：其中，crop函数表示从输入图像中裁剪出crop_box所在的部分，函数P(
·
)表示数据预处理操作，局部图像组成的局部视频输入Input
local
可形式化的定义如下：输入的3.根据权利要求1所述的基于视频输入的双流全局
‑
局部动作识别方法，其特征在于，所述步骤2的具体方法如下：2.1)全局特征提取网络提取全局视频当中的动作特征，得到预测结果；2.2)局部特征提取网络提取局部视频当中的动作特征；2.2.1)以步骤2预处理得到的局部视频的视频帧中，G个识别对象不同部位关键点为中心，分割出视频序列；2.2.2)以步骤2.2.1)的结果为输入数据进行局部网络特征提取：将输入的数据拆分为G组局部数据，分别进行网络特征提取，然后合并操作；即将输入的数据视为G组局部数据的
组合，局部模块可以分别对G组局部数据进行处理；2.2.3)在步骤2.2.2)网络特征提取结束后，将数据分为G组，分别得到预测结果后取平均，得到最终的预测结果。4.根据权利要求1所述的基于视频输入的双流全局
‑
局部动作识别方法，其特征在...

【专利技术属性】
技术研发人员：苗启广，梁思宇，李宇楠，陈绘州，史媛媛，刘如意，盛立杰，刘向增，谢琨，卢子祥，宋建锋，刘林润佳，权义宁，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：