弱监督动作检测方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种弱监督动作检测方法、系统、设备及存储介质，它们是对应的方案，方案中：根据两种不同分支的动作预测结构，筛选出预测结果不一致的模糊视频帧，并使用对比学习，可以帧促进不一致视频帧的特征学习；通过对双分支进行一致性约束来减少双分支的差异，从而缓解了因双分支差异过大而导致的无法维持足够多的视频帧进行对比学习的问题，同时利用双分支的协同学习进一步加强动作检测结果的可靠性；通过施加类别无关动作检测分支内部的一致性约束可减小训练类别无关动作性预测分支时由于伪标签误差所带来的影响；总体而言，本发明专利技术通过利用对比学习和一致性约束，提升了动作检测网络的检测性能，保证了动作检测的准确性与可靠性。的准确性与可靠性。的准确性与可靠性。

【技术实现步骤摘要】
弱监督动作检测方法、系统、设备及存储介质


[0001]本专利技术涉及视频动作检测
，尤其涉及一种弱监督动作检测方法、系统、设备及存储介质。

技术介绍

[0002]近年来，随着视频数据采集、传输和存储能力日益提升，视频分析应用的需求逐渐增加，时序动作检测任务因其广泛的实际应用，如安防监控、视频检索、体育视频片段剪辑、视频审核等，也逐渐受到国内外许多研究者的关注，研究者需要针对不同应用场景的需求设计合适的时序动作检测方案，提供精确的动作定位和分类结果。
[0003]时序动作检测任务目前主要有两种学习范式：（1）提供完整帧级标注的全监督学习范式；（2）不提供任何帧级标注但已知视频级类别标注的弱监督学习范式。对于全监督时序动作检测来说，所有的样本视频都需要人工进行逐帧的标注，这种标注工作耗时严重，而且精度普遍不高。因此，为了解决标注难和标注误差大的问题，弱监督时序动作检测应运而生。这种方法可以将网络上大量的未剪辑的视频打上一个视频级的标签，直接作为训练数据。
[0004]虽然弱监督时序动作检测有诸多的好处，但是由于缺少精细的标注，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱监督动作检测方法，其特征在于，包括：构建包括类别感知动作检测分支与类别无关动作检测分支的动作检测网络，并对所述动作检测网络进行训练；训练时，输入训练视频的光流特征与RGB特征，通过类别感知动作检测分支获得类激活序列，并生成类别感知动作得分，通过类别无关动作检测分支获得光流特征动作得分与RGB特征动作得分，并融合为类别无关动作得分；根据类别感知动作得分与类别无关动作得分对训练视频中的视频帧进行不同帧类型的划分，根据每一帧的类型构造对应的正负样本，利用类别感知动作检测分支与类别无关动作检测分支中分别产生的嵌入特征进行对比损失的计算，获得总对比损失；根据类激活序列计算类别感知损失，根据光流特征动作得分与RGB特征动作得分计算类别无关损失；对类别感知动作检测分支与类别无关动作检测分支之间，以及对类别无关动作检测分支内部分别施加一致性约束，计算出相应的一致性损失；结合总对比损失、类别感知损失、类别无关损失与一致性损失构建目标损失函数，利用目标损失函数训练动作检测网络；其中，RGB表示红绿蓝三个颜色通道；将待检测视频的光流特征与RGB特征输入至训练后的动作检测网络中，结合类别感知动作检测分支的类激活序列、类别无关动作检测分支的光流特征动作得分与RGB特征动作得分，生成动作检测结果。2.根据权利要求1所述的一种弱监督动作检测方法，其特征在于，所述输入训练视频的光流特征与RGB特征，通过类别感知动作检测分支获得类激活序列，并生成类别感知动作得分包括：将光流特征与RGB特征拼接，通过类别感知动作检测分支中的特征嵌入层，得到综合嵌入特征，再经过分类层得到类激活序列CAS，将类激活序列CAS在类别维度进行求和再使用激活函数，获得类别感知动作得分A；所述通过类别无关动作检测分支获得光流特征动作得分与RGB特征动作得分包括：所述类别无关动作检测分支包括两个子分支，光流特征与RGB特征一对一的输入至一个子分支；光流特征与RGB特征输入至相应的子分支后，通过子分支中的嵌入层得到相应的嵌入特征，再通过分类层与激活函数后得到相应特征对应的动作得分。3.根据权利要求1或2所述的一种弱监督动作检测方法，其特征在于，所述根据类激活序列计算类别感知损失包括：将类激活序列CAS中各类别得分最高的K1个视频帧的得分进行聚合，代表训练视频各类别的分数；其中，K1为预设的正整数；利用给定的视频级标签计算交叉熵损失作为类别感知损失，表示为：；其中，表示类别感知损失，C为类别总数，p
c
为训练视频第c个类别的分数，y
c
表示训练视频第c个类别的真实标签，其属于给定的视频级标签。4.根据权利要求1所述的一种弱监督动作检测方法，其特征在于，所述根据光流特征动作得分与RGB特征动作得分计算类别无关损失包括：根据给定的视频标签中的动作类别在综合类激活序列中找出K1个得分最高的视频帧，将找出的K1个视频帧标记为动作集合，剩下的视频帧标记为背景集合T
b
；其中，类别无关动作检测分支输出的所有视频帧的RGB特征动作得分和光流特征动作得分均分别形成相
应的动作序列，称为第一动作序列与第二动作序列，将类别感知动作检测分支的类激活序列在类别维度上进行归一化后，与第一动作序列及第二动作序列融合，得到综合类激活序列；K1为预设的正整数；再利用光流特征动作得分与RGB特征动作得分，分别计算对应的泛化交叉熵损失，表示为：；其中，*={R,F}，R对应RGB特征，F对应光流特征，q是噪声容忍系数，0<q≤1，表示利用RGB特征动作得分或者光流特征动作得分计算的泛化交叉熵损失，表示动作集合中第t个视频帧的RGB特征动作得分或者光流特征动作得分；表示背景集合T
b
中第个视频帧的RGB特征动作得分或者光流特征动作得分；、分别表示动作集合、背景集合T
b
中视频帧的数目；将利用RGB特征动作得分计算的泛化交叉熵损失与利用光流特征动作得分计算的泛化交叉熵损失相加，获得类别无关损失。5.根据权利要求1所述的一种弱监督动作检测方法，其特征在于，所述根据类别感知动作得分与类别无关动作得分对训练视频中的视频帧进行不同帧类型的划分包括：对于每一分支，取相应分支中所有预测分数的中位数，高于中位数的视频帧初步标记为动作，低于中位数的视频帧初步标记为背景，获得两个分支的初步的动作背景预测结果，其中，对于类别感知动作检测分支，所述预测分数为类别感知动作得分，对于类别无关...

【专利技术属性】
技术研发人员：王子磊，李志林，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：