一种基于深度学习的小样本行为识别方法技术

本发明专利技术涉及一种基于深度学习的小样本行为识别方法，该方法包含两个模块来解决多模态小样本行为识别中的问题：时序增强模块和特征聚合模块。其中时序增强模块将三帧连续灰度图像与原始RGB图像在通道上进行平均加权，在保持原有模型参数量不变的情况下，既减少了颜色信息对动作识别的干扰，又可以对时序信息进行增强。另外该方法还提出了一个特征聚合模块，在这个模块中通过聚类算法对帧级特征进行聚类，将其聚合成更高语义信息并用聚类中心代替原始特征，以排除离群点对匹配结果的影响，增强模型的鲁棒性。该方法在多个数据集上得到验证能有效解决多模态小样本行为识别中出现的各种问题。

【技术实现步骤摘要】

本专利技术涉及视频识别，特别涉及一种基于深度学习的小样本行为识别方法。

技术介绍

1、随着深度学习的迅猛发展，行为识别在各个领域都已经取得了巨大的成功。然而，这些成功大多依赖于庞大的训练数据和详细标注数据的支持，在众多实际应用场景中，采集大规模且详尽标注数据是一项昂贵且耗时的任务，因而传统方法在这些领域的应用受到了极大的制约。为解决这一问题，小样本行为识别应运而生。小样本行为识别的核心目标在于通过充分利用有限标注数据来训练模型，使模型能够在新的、未曾见过的类别上表现出色。

2、在小样本行为识别领域，一个关键的挑战在于带标签的样本数量少，如何利用好少量的数据得到最优的性能是我们急需解决的问题。传统的主流小样本行为识别工作都仅仅采用随机采样的rgb视频帧进行识别。然而对于行为识别任务而言，单模态的rgb信息无法充分反应运动关系，而人类在学习新的知识时，具有整合多模态信息的能力。因此，当前性能最优的研究往往采用多模态信息来辅助行为识别，包括但不限于深度信息、运动向量、时间梯度、帧间差等。然而，在小样本行为识别领域，鲜有研究充分利用光流信息辅助动作关系本文档来自技高网...

【技术保护点】

1.一种基于深度学习的小样本行为识别方法，包括如下步骤：

2.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述S103提到的时序增强模块的具体操作步骤如下：

3.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述S105中特征聚合模块的具体操作步骤如下：

4.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述S106中将两个预测分数进行加权求和得到最终分数score的步骤包括：

5.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述S107中最终损失函数Loss的定义...

【技术特征摘要】

1.一种基于深度学习的小样本行为识别方法，包括如下步骤：

2.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述s103提到的时序增强模块的具体操作步骤如下：

3.如权利要求1所述的基于深度学习的小样本行为识别方法，其特征在于：所述s105中特征聚合模块的具...

【专利技术属性】
技术研发人员：葛永新，邓龙，刘慧君，李傲，盛金荣，徐玲，洪明坚，黄晟，杨梦宁，王洪星，张小洪，
申请(专利权)人：重庆大学，
类型：发明
国别省市：