一种自适应掩码的双通道行为识别方法、设备及存储设备技术

本发明专利技术提供了一种自适应掩码的双通道行为识别方法、设备及存储设备，涉及视频行为识别领域，该方法包括：使用SlowFast网络模型，分别从视频帧中提取快速通道特征和慢速通道特征；并动态调整视频帧的掩码率，进行伪随机掩码，得到未掩码和掩码的特征块；对掩码的特征块赋予掩码令牌，对于未掩码的特征块，应用自注意力机制进行计算，得到注意力特征矩阵Z；将注意力特征矩阵和掩码令牌输入到全连接层，输出特征重建矩阵；根据两条通道的特征重建矩阵，通过横向连接，实现通道的信息融合，最终通过Softmax分类器进行行为识别。本发明专利技术的有益效果是：提高了模型在复杂场景下的行为识别能力，提高了行为预测置信度，降低了原算法的计算复杂度。

【技术实现步骤摘要】

本专利技术涉及视频行为识别领域，尤其涉及一种自适应掩码的双通道行为识别方法、设备及存储设备。

技术介绍

1、由于视频内容的复杂性以及单一算法处理视频行为识别的局限性，单一模型往往难以全面地捕捉视频中的动态和静态信息。

2、现有的视频行为识别方法按照实现原理可以分为基于骨骼点的方法、基于rgb像素信息的方法、基于编码器的方法。由于视频行为识别任务原理的复杂性限制，基于rgb像素信息的方法无法具备全面理解场景的能力。而在现实应用场景下，基于骨骼点的算法往往误报率很高，很难实际应用。而基于编码器的算法，能够将图像中的特征信息进行掩码处理，借此来提升模型对视频中人体行为的理解能力。比如基于rgb像素信息的算法，能够全面学习视频的所有特征信息，较好地学习视频的特征细节，但是容易受到光照条件和环境复杂性等外界因素所限制。相对应的基于编码器的算法，并不是像前者那样对视频的所有特征信息进行学习，而是学习图像的部分更加高级信息；其思想是对图像进行伪随机掩码，在减少信息丢失的前提下，以极高的掩码率(70％-75％)对视频进行掩码，算法尽可能地通过较少的信息学习更加本文档来自技高网...

【技术保护点】

1.一种自适应掩码的双通道行为识别方法，其特征在于：包括：

2.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：S1中，所述预处理是指，对视频分辨率进行调整，调整方法为下采样，将原始视频的1920×1080分辨率下采样到256×256。

3.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：S3中，动态调整视频帧的掩码率的计算公式为：

4.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：S4中，自注意力机制的计算分为三个部分：计算查询Q、键K和值V：

5.如权利要求4所述的一种自适应掩码的...

【技术特征摘要】

1.一种自适应掩码的双通道行为识别方法，其特征在于：包括：

2.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：s1中，所述预处理是指，对视频分辨率进行调整，调整方法为下采样，将原始视频的1920×1080分辨率下采样到256×256。

3.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：s3中，动态调整视频帧的掩码率的计算公式为：

4.如权利要求1所述的一种自适应掩码的双通道行为识别方法，其特征在于：s4中，自注意力机制的计算分为三个部分：计算查询q、键k和值v：

5.如权利要求4所述的一种自适应掩码的双通道行为识别方法，其特征在于：s4中，利用这三个值进行注意力权重a计算，如公式(3)所示：

【专利技术属性】
技术研发人员：陈珺，邓赛龙，刘玮，魏龙生，熊永华，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：