视频行为识别模型的训练方法、视频行为识别方法及装置制造方法及图纸

技术编号:38854080 阅读:27 留言:0更新日期:2023-09-17 10:00
本申请提供一种视频行为识别模型的训练方法、视频行为识别方法及装置,该方法的一具体实施方式包括:将样本视频流所对应的样本图像序列输入初始行为识别模型;所述样本视频流包括源域样本视频流以及目标域样本视频流;所述初始行为识别模型包括分类器以及多个领域判别器;利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐,得到领域判别结果;基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果,训练所述初始行为识别模型。该方法可以改善源域样本视频数据与目标域样本视频数据之间的差异情况,提高模型的识别性能。能。能。

【技术实现步骤摘要】
视频行为识别模型的训练方法、视频行为识别方法及装置


[0001]本申请涉及信息处理领域,具体而言,涉及一种视频行为识别模型的训练方法、视频行为识别方法及装置。

技术介绍

[0002]视频行为识别模型,也即用于识别视频中人物行为的模型。通常地,可以通过采集的样本视频数据训练模型。也即,可以将样本视频数据输入初始行为识别模型中,利用初始行为识别模型的分类器输出分类结果,该分类结果可以反映人物的行为。然后,当模型收敛即可用于识别实际场景中的人物行为。
[0003]在相关技术中,通常是对单一应用场景针对性地训练视频行为识别模型,这样由于测试所用的样本视频数据与训练所用的样本视频数据存在差异,导致了模型的性能不佳。

技术实现思路

[0004]本申请实施例的目的在于提供一种视频行为识别模型的训练方法、视频行为识别方法及装置,用以改善源域样本视频数据与目标域样本视频数据之间的差异情况,提高模型的识别性能。
[0005]第一方面,本申请实施例提供了一种视频行为识别模型的训练方法,该方法包括:将样本视频流所对应的样本图像序列输入初本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频行为识别模型的训练方法,其特征在于,包括:将样本视频流所对应的样本图像序列输入初始行为识别模型;所述样本视频流包括源域样本视频流以及目标域样本视频流;所述初始行为识别模型包括分类器以及多个领域判别器;利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐,得到领域判别结果;基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果,训练所述初始行为识别模型。2.根据权利要求1所述的方法,其特征在于,所述初始行为识别模型还包括特征提取器,以及在所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐,得到领域判别结果之前,所述方法还包括:利用所述特征提取器提取所述样本图像序列的图像特征,得到浅层特征图以及深层特征图;其中,所述特征提取器基于MiCT

Net网络框架提取所述浅层特征图以及所述深层特征图;以及所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐,得到领域判别结果,包括:利用所述多个领域判别器分别对齐所述样本图像序列所对应的浅层特征以及深层特征。3.根据权利要求2所述的方法,其特征在于,所述多个领域判别器与所述特征提取器提取的多层特征图一一对应;以及所述利用所述多个领域判别器分别对齐所述样本图像序列所对应的浅层特征以及深层特征,包括:针对浅层特征图所对应的任一浅层领域判别器,将该浅层领域判别器对应的浅层特征图作为输入,使该浅层领域判别器输出针对该浅层特征图的领域判别结果;以及针对深层特征图所对应的任一深层领域判别器,将该深层领域判别器对应的深层特征图作为输入,使该深层领域判别器输出针对所述深层特征的领域判别结果。4.根据权利要求3所述的方法,其特征在于,所述浅层领域判别器与所述深层领域判别器的损失函数不相同;其中,所述浅层领域判别器的损失函数包括加权均方损失函数;所述深层领域判别器的损失函数包括焦点损失函数。5.根据权利要求3所述的方法,其特征在于,所述浅层领域判别器与所述深层领域判别器的损失函数相同;所述损失函数包括加权均方损失函数。6.根据权利要求2

5任一项所述的方法,其特征在于,所述利用所述多个领域判别器将所述样本图像序列在不同尺度上...

【专利技术属性】
技术研发人员:董帅李文生熊坤坤邹昆冯子钜叶润源
申请(专利权)人:中山市希道科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1