一种基于参数高效微调的DTSAdapter视频动作识别的方法技术

本发明专利技术公开了一种基于参数高效微调的DTSAdapter视频动作识别的方法。方法包括：先通过摄像头拍摄采集视频动作数据，对视频动作数据进行标注后得到视频动作识别数据集，然后构建参数高效微调视频动作识别模型，并将得到的视频动作识别数据集输入到参数高效微调视频动作识别模型中进行训练，最后将待测视频动作识别数据输入到训练好的参数高效微调视频动作识别模型中，得到视频动作识别结果。本发明专利技术在适当的位置插入时间适配器模块、改进线性快速注意力机制模块和空间适配器模块以及适当位置加入残差连接，并采用在训练的反向传播中对部分模块进行冻结处理，实现了在提高模型的准确率的同时减少了计算成本和计算效率。

【技术实现步骤摘要】

本专利技术涉及了一种在下游动作识别任务中微调的方法，具体涉及了一种基于参数高效微调的dtsadapter视频动作识别的方法。

技术介绍

1、视频动作识别主要以深度学习方法为主，很大程度要归功于大型视频数据集的支持，例如kinetics、ucf101、something-something等。主流的视频动作识别方法采用的模型架构已经从卷积神经网络cnn发展到transformers。相较于图片的动作识别，由于时间信息对于动态建模的重要性，引入了各种运动变化的学习技术。此外，还发展出了不同的训练方法，例如，无监督学习和视频-文本对比学习。随着大型预训练模型的引入，为性能更强的视频动作识别模型创造了新的契机。例如：为clip配备时间模块，在视频数据集上对模型进行充分微调后，可以获得良好的性能；通过学习视频特定提示，采用clip模型进行视频动作识别任务。然而随着视频动作识别领域中训练的计算成本和资源明显增加，如何有效地将大型预训练图像模型用于视频下游任务(迁移学习)，成为了一个主流的研究方向。考虑到训练视频模型在计算资源和时间上都比图像模型要昂贵得多，这个问题在实本文档来自技高网...

【技术保护点】

1.一种基于参数高效微调的DTSAdapter视频动作识别的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于参数高效微调的DTSAdapter视频动作识别的方法，其特征在于：

3.根据权利要求2所述的一种基于参数高效微调的DTSAdapter视频动作识别的方法，其特征在于：

4.根据权利要求3所述的一种基于参数高效微调的DTSAdapter视频动作识别的方法，其特征在于：

5.根据权利要求4所述的一种基于参数高效微调的DTSAdapter视频动作识别的方法，其特征在于：

6.根据权利要求4所述的一种基于参数高效...

【技术特征摘要】

1.一种基于参数高效微调的dtsadapter视频动作识别的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于参数高效微调的dtsadapter视频动作识别的方法，其特征在于：

3.根据权利要求2所述的一种基于参数高效微调的dtsadapter视频动作识别的方法，其特征在于：

4.根据权利要求3所述的一种基于参数高效微调的dtsadapter视频动作识别的方法，其特征在于：

5.根据权利要求4所述的一种基于参数高效微调的dtsadapter视频动作识别的方法，其特征在于：

6.根据权利要求4所述的...

【专利技术属性】
技术研发人员：田秋红，杨毅杰，宁俊霄，杨子豫，余洋，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：