基于元学习的视频行为识别方法技术

技术编号:40777323 阅读:16 留言:0更新日期:2024-03-25 20:22
本发明专利技术涉及基于元学习的视频行为识别方法,属于计算机视觉技术领域。获取待检测的视频,输入训练后的基于元学习的视频行为识别模型,输出视频行为识别结果。该模型包括内层的域适应行为识别模型和外层的视频行为识别模型;该模型的训练过程分为预热训练和元训练,获取预热训练的样本,对视频行为识别模型进行预热训练,得到元训练集和元测试集,将其输入基于元学习的视频行为识别模型,进行元训练,通过域适应行为识别模型对源域和目标域实现域对齐,通过视频行为识别模型对样本进行视频行为识别,至损失函数收敛停止训练。本发明专利技术针对无人机视频的视频行为识别中域适应差的问题,提高模型域适应,进而提升模型的泛化性,识别结果更准确。

【技术实现步骤摘要】

本申请涉及计算机视觉,特别是涉及基于元学习的视频行为识别方法


技术介绍

1、随着人工智能技术、大数据技术的发展,建设信息高度集成的智慧校园成为了一种发展趋势。其中,在复杂多变的校园场景视频中识别人类行为对校园安全和管理尤为重要。视频行为识别是一种基于计算机视觉和模式识别技术的视频分析任务,其目标是从视频数据中提取出人类行为的特征并进行分类识别。

2、目前的校园视频行为识别大多都是针对监控视频场景下的,其优势在于覆盖面广,能够同步监视和远程控制;其劣势在于对户外教学以及校园大型活动等场景缺乏全局的信息,对校园中紧急情况的捕获和监管不够灵活方便。而无人机视频具有成像视角广、机动灵活等特点,可以捕获全局信息,所以无人机视频能很好地辅助监控视频预防、控制和快速响应校园突发事件,同时也是一个很好的研究数据。

3、现在的无人机视频行为识别主要存在两大挑战:(1)数据集的数据量少且标注成本高。目前包含校园场景的数据集只有新加坡科技设计大学和山东大学收集的uav_human,以及美国nec实验室采集的nec_drone。(2)无人机视频视觉模式复本文档来自技高网...

【技术保护点】

1.基于元学习的视频行为识别方法,其特征在于,该方法具体包括:

2.根据权利要求1所述的基于元学习的视频行为识别方法,其特征在于,所述预热训练的具体步骤包括:

3.根据权利要求2所述的基于元学习的视频行为识别方法,其特征在于,所述步骤S101中,所述源域Ds为带标注的自然场景视频数据,所述目标域DT为未标注的无人机视频数据;将所述目标域DT数据按比例分为训练集DTra以及测试集DTes。

4.根据权利要求1所述的基于元学习的视频行为识别方法,其特征在于,所述域适应行为识别模型和所述视频行为识别模型均包括特征提取网络和线性分类器,所述特征提取网络和线性分...

【技术特征摘要】

1.基于元学习的视频行为识别方法,其特征在于,该方法具体包括:

2.根据权利要求1所述的基于元学习的视频行为识别方法,其特征在于,所述预热训练的具体步骤包括:

3.根据权利要求2所述的基于元学习的视频行为识别方法,其特征在于,所述步骤s101中,所述源域ds为带标注的自然场景视频数据,所述目标域dt为未标注的无人机视频数据;将所述目标域dt数据按比例分为训练集dtra以及测试集dtes。

4.根据权利要求1所述的基于元学习的视频行为识别方法,其特征在于,所述域适应行为识别模型和所述视频行为识别模型均包括特征提取网络和线性分类器,所述特征提取网络和线性分类器的参数是互相共享的,具体为:所述域适应行为识别模型进行一次优化训练后得到内层参数,将所述内层参数传递给所述视频行为识别模型进行一次优化训练,得到外层参数,交替执行内层参数和外层参数优化学习,直至所述基于元学习的视频行为识别模型训练完成。

5.根据权利要求1或4所述的基于元学习的视频行为识别方法,其特征在于,所述域适应行为识别模型包括特征提取网络、线性分类器、特征投影头以及域间信息传播模块,所述元训练的具体步骤包括:

6.根据权利要求5所述的基于元学习的视频行为识别方法,其特征在于,还包括模型测试,其具体测试过程包括:对所述预热训练的样本进行预处理,得到...

【专利技术属性】
技术研发人员:杨烽刘悉舒文强高陈强
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1