基于中心对齐与运动挖掘的时空动作检测方法及系统技术方案

本发明专利技术公开了一种基于中心对齐与运动挖掘的时空动作检测方法及系统，其中方法包括：将T帧视频帧输入预训练的骨干网络，进行特征提取；将提取的特征输入进三个分支，分别对边界框大小、动作矢量、中心点空间位置和动作类别进行获取；其中，在中心点定位分支和运动分支中采用中心对齐模型进行中心对齐，将相邻帧上的动作中心对齐关键帧；采用运动挖掘模型挖掘判别性运动特征，并利用掩码机制过滤与关注动作无关的运动信息。本发明专利技术使动作中心在帧间对齐，并获取具有判别性的运动特征，解决了快速运动产生的误检问题，并且显著降低了计算复杂度，更加适合于实际场景中的应用。更加适合于实际场景中的应用。更加适合于实际场景中的应用。

【技术实现步骤摘要】
基于中心对齐与运动挖掘的时空动作检测方法及系统


[0001]本专利技术涉及视频处理
的一种时空动作检测技术，具体地说，涉及一种基于中心对齐与运动挖掘的时空动作检测方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

技术介绍

[0002]时空动作检测的目标是在空间和时间上对动作实例进行定位，并识别帧序列中的动作标签。目前主流的时空动作检测方法可分为基于2D骨干的小管道检测器和基于3D骨干的方法。基于3D骨干的方法一般需要单独的actor检测器，导致候选密集，在实际应用场景中难以实现实时推理。得益于anchor
‑
free方法的发展，基于骨架的二维管状探测器在速度和精度方面显示出潜力。最近提出的一种基于2D
‑
CNN的精确动作检测器——MOC检测器(Actions as Moving Points,2020)，它将每个动作实例视为一个移动点。MOC检测器为实时动作检测提供了强大的基线，并实现了令人印象深刻的性能。
[0003]虽然MOC检测器已经取得了良好的性能，但动作实例的质量仍然不尽如人意，特别是快速动作实例。首先，受快速运动的影响，2D
‑
CNN容易产生时空表现不一致的混乱特征。考虑到角色时空特征的剧烈变化，直接聚合混乱特征来预测动作中心容易产生帧间特征的相互干扰。在剧烈运动场景下，相邻帧之间会发生相互干扰，导致动作位置错误。因此，为了防止相互干扰，必须在相邻帧之间校准动作中心。
[0004]其次，时空特征需要高效、充分的运动挖掘来提高动作分类性能。自注意力由于能够对长期依赖进行建模而被广泛采用。然而，自注意力关注所有的特性依赖关系，包括不相关的特性。关注全局信息也会导致很高的计算复杂度。

技术实现思路

[0005]针对现有技术中时空动作检测技术存在的上述不足，本专利技术提出了一种基于中心对齐与运动挖掘的时空动作检测方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。
[0006]根据本专利技术的一个方面，提供了一种基于中心对齐与运动挖掘的时空动作检测方法，包括：
[0007]获取连续的T帧视频帧；
[0008]对所述T帧视频帧进行空间特征提取；
[0009]对所述空间特征进行逐帧处理，得到每一帧动作的边界框大小和位置；
[0010]采用中心对齐的方式，将所述空间特征中相邻帧上的动作中心对齐关键帧，并去除不相关响应，得到中心对齐的运动特征；
[0011]采用运动挖掘的方式，对所述中心对齐的运动特征进行判别性运动特征挖掘，并过滤与关注动作不相关的运动特征，得到时空特征；
[0012]计算所述时空特征中每一帧上的运动中心点距离关键帧运动中心点的运动矢量；
[0013]检测所述时空特征中关键帧运动中心点的空间位置和动作类别；
[0014]基于所述边界框大小和位置、每一帧上的运动中心点距离关键帧运动中心点的运动矢量以及关键帧运动中心点的空间位置和动作类别，构成每一帧视频帧的检测结果，完成时空动作检测。
[0015]优选地，所述对所述T帧视频帧进行空间特征提取，包括：
[0016]采用预训练的骨干网络，对所述T帧视频帧的特征进行提取；
[0017]对提取到的所述特征进行堆叠，得到空间特征。
[0018]优选地，所述采用中心对齐的方式，将相邻帧上的动作中心对齐关键帧，并去除不相关响应，得到中心对齐的运动特征，包括：
[0019]基于可变形卷积，构建中心对齐模型；
[0020]获得领域范围内有效的前景特征，作为学习样本，对所述中心对齐模型进行预训练；
[0021]将所述第i帧和关键帧输入至所述中心对齐模型，自适应地引导相邻帧上的动作中心对齐关键帧；
[0022]利用第i帧的每个像素对关键帧的响应强度，去除不相关响应，得到中心对齐的运动特征。
[0023]优选地，所述采用运动挖掘的方式，对所述中心对齐的运动特征进行判别性运动特征挖掘，并过滤与关注动作不相关的运动特征，得到具有判别性的时空特征，包括：
[0024]构建运动挖掘模型；
[0025]采用目标检测COCO数据集对所述运动挖掘模型进行预训练；
[0026]将所述中心对齐的运动特征输入至所述运动挖掘模型，获得运动特征的有价值运动区域；
[0027]对与关注动作不相关的有价值运动区域进行过滤，获得具有判别性的时空特征。
[0028]优选地，所述对与关注动作不相关的有价值运动区域进行过滤，包括：
[0029]利用时间方差特征图生成偏置量，捕获运动区域；
[0030]利用可变形注意力，挖掘与时间表征不一致的运动区域，获得一个或多个偏移分支；
[0031]为每一个偏移分支生成S个独立的掩码，采用不相干运动掩码滤除不相关噪声，从而获得具有判别性的时空特征。
[0032]优选地，所述计算所述初始时空特征中每一帧上的运动中心点距离关键帧运动中心点的运动矢量，包括：
[0033]构建全连接层网络模型，用于对每一帧上的运动中心点距离关键帧运动中心点的运动矢量进行回归；
[0034]构建L1损失函数，用于约束所述全连接层网络模型学习每一帧上的运动中心点距离关键帧运动中心点的运动矢量；
[0035]通过上述步骤得到所述初始时空特征中每一帧上的运动中心点距离关键帧运动中心点的运动矢量。
[0036]优选地，所述检测关键帧运动中心点的空间位置和动作类别，包括：
[0037]构建全连接层网络模型，用于学习类相关运动中心点热力图；
[0038]构建Focal
‑
Loss损失函数，用于约束所述全连接层网络模型学习类相关运动中心点热力图；
[0039]根据获得的所述相关运动中心点热力图，检测关键帧运动中心点的空间位置和动作类别。
[0040]根据本专利技术的另一个方面，提供了一种基于中心对齐与运动挖掘的时空动作检测系统，包括：
[0041]数据获取模块，该模块用于获取连续的T帧视频帧；
[0042]骨干网络模块，该模块用于对所述T帧视频帧进行特征提取；
[0043]框回归模块，该模块用于对所述空间特征进行逐帧处理，得到每一帧动作的边界框大小和位置；
[0044]中心对齐模块，该模块采用中心对齐的方式，将所述空间特征中相邻帧上的动作中心对齐关键帧，并去除不相关响应，得到中心对齐的运动特征；
[0045]运动挖掘模块，该模块采用运动挖掘的方式，用于对所述中心对齐的运动特征进行判别性运动特征挖掘，得到具有判别性的时空特征；
[0046]运动矢量计算模块，该模块用于计算所述时空特征中每一帧上的运动中心点距离关键帧运动中心点的运动矢量；
[0047]关键帧运动中心点检测模块，该模块用于检测所述时空特征中关键帧运动中心点的空间位置和动作类别；
[0048]时空动作检测模块，该模块基于所述边界框大小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中心对齐与运动挖掘的时空动作检测方法，其特征在于，包括：获取连续的T帧视频帧；对所述T帧视频帧进行空间特征提取；对所述空间特征进行逐帧处理，得到每一帧动作的边界框大小和位置；采用中心对齐的方式，将所述空间特征中相邻帧上的动作中心对齐关键帧，并去除不相关响应，得到中心对齐的运动特征；采用运动挖掘的方式，对所述中心对齐的运动特征进行判别性运动特征挖掘，并过滤与关注动作不相关的运动特征，得到时空特征；计算所述时空特征中每一帧上的运动中心点距离关键帧运动中心点的运动矢量；检测所述时空特征中关键帧运动中心点的空间位置和动作类别；基于所述边界框大小和位置、每一帧上的运动中心点距离关键帧运动中心点的运动矢量以及关键帧运动中心点的空间位置和动作类别，构成每一帧视频帧的检测结果，完成时空动作检测。2.根据权利要求1所述的基于中心对齐与运动挖掘的时空动作检测方法，其特征在于，所述对所述T帧视频帧进行空间特征提取，包括：采用预训练的骨干网络，对所述T帧视频帧的特征进行提取；对提取到的所述特征进行堆叠，得到空间特征。3.根据权利要求1所述的基于中心对齐与运动挖掘的时空动作检测方法，其特征在于，所述采用中心对齐的方式，将相邻帧上的动作中心对齐关键帧，并去除不相关响应，得到中心对齐的运动特征，包括：基于可变形卷积，构建中心对齐模型；获得领域范围内有效的前景特征，作为学习样本，对所述中心对齐模型进行预训练；将所述第i帧和关键帧输入至所述中心对齐模型，自适应地引导相邻帧上的动作中心对齐关键帧；利用第i帧的每个像素对关键帧的响应强度，去除不相关响应，得到中心对齐的运动特征。4.根据权利要求1所述的基于中心对齐与运动挖掘的时空动作检测方法，其特征在于，所述采用运动挖掘的方式，对所述中心对齐的运动特征进行判别性运动特征挖掘，并过滤与关注动作不相关的运动特征，得到具有判别性的时空特征，包括：构建运动挖掘模型；采用目标检测COCO数据集对所述运动挖掘模型进行预训练；将所述中心对齐的运动特征输入至所述运动挖掘模型，获得运动特征的有价值运动区域；对与关注动作不相关的有价值运动区域进行过滤，获得具有判别性的时空特征。5.根据权利要求4所述的基于中心对齐与运动挖掘的时空动作检测方法，其特征在于，所述对与关注动作不相关的有价值运动区域进行过滤，，包括：利用时间方差特征图生成偏置量，捕获运动区域；利用可变形注意力，挖掘与时间表征不一致的运动区域，获得一个或多个偏移分支；为每一个偏移分支生成S个独立的掩码，采用不相干运动掩码滤除不相关噪声，从而获

【专利技术属性】
技术研发人员：赵伟基，周红波，黄科锋，张重阳，张保柱，孙恺毓，刘振宇，顾钦子，刘印，陈寿峰，常盛，
申请(专利权)人：宁波海棠信息技术有限公司，
类型：发明
国别省市：