基于渐进式少样本知识蒸馏的动作识别方法技术

本发明专利技术公开了基于渐进式少样本知识蒸馏的动作识别方法。本发明专利技术首先对原始视频进行均匀采样获得RGB帧图像序列和光流图像序列，分别构建教师网络和学生网络；进一步对原始视频以片段为单位进行随机采样，得到采样视频片段集合；接着通过贡献度得分模块，衡量每个视频片段贡献度；同时，利用多样化少样本选择模块指导样本选择，获得少量的差异化视频样本进行训练；最后，通过对选定样本集合进行渐进式蒸馏，动态调整蒸馏温度，实现教师模型知识向学生模型转移。本发明专利技术方法不仅能充分衡量视频样本的时序关联强弱，还能准确刻画视频片段与当前动作模型间的相互关系，实现少样本的动作识别模型轻量化，有利于模型部署在资源受限的边缘计算设备上。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，尤其是视觉模型压缩与动作识别领域，具体涉及一种基于渐进式少样本知识蒸馏的动作识别方法。

技术介绍

1、动作识别(action recognition)是一项重要的计算机视觉任务，旨在理解和识别视频中的动作，被广泛应用于视频安防、人机交互、智能驾驶等多个领域。近年来，随着深度神经网络(deep neural networks)不断发展，过去以单一卷积神经网络为代表的模型逐步转变为基于转换器(transformer)或多网络结构融合的模型。虽然识别准确率有一定的提升，但是模型的复杂度和参数量随之增加，加大了计算成本和训练难度、延长了推理时间、提高了对部署环境计算资源要求。因此，迫切需要对复杂模型进行压缩，即模型压缩技术，该技术旨在保持模型性能的同时通过减少网络参数量而降低模型复杂度，这样能够提高训练效率并缩短推理时间，使其能部署在计算资源受限的边缘和端侧设备，具有重要的应用价值。

2、不同于目标检测(object detection)，动作识别模型不仅刻画目标的空间依赖关系，还要反映目标的时序动态特性。例如，通常考虑目本文档来自技高网...

【技术保护点】

1.基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，对给定含类别标记的视频数据集合，依次进行如下操作：

2.如权利要求1所述基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，步骤(1)具体是：

3.如权利要求2所述基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，步骤(2)具体是：对原始视频均匀采样n个视频片段，即其中，四维张量Xi表示第i个视频片段，t为视频片段的视频帧数。

4.如权利要求3所述基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，步骤(3)具体是：

5.如权利要求4所述基于渐进式少样本知识蒸馏的动作识别方法，其特征...

【技术特征摘要】

1.基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，对给定含类别标记的视频数据集合，依次进行如下操作：

2.如权利要求1所述基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，步骤(1)具体是：

3.如权利要求2所述基于渐进式少样本知识蒸馏的动作识别方法，其特征在于，步骤(2)具体是：对原始视频均匀采样n个视频片段，即其中，四维张量xi表示第i个视频片段，t为视频片段的视频帧数。

【专利技术属性】
技术研发人员：李平，平晨昊，王然，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：