一种将视频模型从源域迁移到目标域的领域自适应方法技术

本发明专利技术属于计算机技术领域，具体为一种将视频模型从源域迁移到目标域的领域自适应方法。本发明专利技术包括：将来自源域的视频样本和来自目标域的样本在时间维度上连接生成混合样本；混合样本领域判别器判别输入样本的领域构成情况，通过对抗学习增强主干网络提取领域无关性特征的能力；混合样本分类器对输入的样本进行分类；在训练过程中，根据混合样本领域判别器和混合样本分类器的损失函数值动态衡量视频模型中不同模态的领域适应程度，令领域适应程度更强的模态作为教师模态，向其他领域适应程度较弱的模态进行知识蒸馏，以增强其他模态的领域适应程度。本发明专利技术利用视频模型输入样本的时间维度信息等特点，显著提高视频模型的领域自适应表现。域自适应表现。域自适应表现。

【技术实现步骤摘要】
一种将视频模型从源域迁移到目标域的领域自适应方法


[0001]本专利技术属于计算机
，具体涉及视频模型领域自适应方法。

技术介绍

[0002]近年来，无监督域自适应(UDA)[1]引起了大量的研究关注，其目的是将在有标注的源域数据集上训练的模型迁移到无标注的目标域。UDA具有很大的价值，它缓解了深度神经网络对于大量耗时且高成本的数据标注工作的需求。目前，UDA方法在基于图像的任务中已经取得了很大的进展(如图像分类、目标检测和语义分割等[2]，[3]，[4]，[5]，[6]，[7]，[8])。然而，UDA方法在基于视频的任务中仍然没有得到充分的探索。与图像数据不同，视频数据是包含多个模态(例如，RGB和光流)和多个维度的(即空间和时间维度)，使得视频的领域自适应更具挑战性。
[0003]目前主要的视频模型领域自适应方法主要基于对抗学习(AL)([9]，[10]，[11]，[12])。这类方法在进行特征提取的主干网络后面增加了一个领域判别器，用于判断提取到的特征来自哪一个领域，主干网络与领域判别器通过进行对抗训练学习，如何提取更加领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将视频模型从源域迁移到目标域的领域自适应方法，是基于深度学习技术的，其特征在于，具体步骤包括：(一)混合样本的生成；首先，对输入的视频数据进行图像帧提取与降采样处理及光流计算等,得到大小一致的视频多模态的原始样本，来自源域的原始样本包含视频类别标签，来自目标域的原始样本不包含视频类别标签，且与源域样本分布不同；然后，由一个来自源域的原始样本和一个来自目标域的原始样本，对每个模态都进行按比例截取，并沿时间维度进行拼接形成一个混合样本，混合样本的大小与原始样本保持一致；混合样本同时包含了源域和目标域的领域信息；(二)对抗性混合样本领域判别器的构建；对抗性混合样本领域判别器的构建，是将领域对抗神经网络从图像任务扩展到视频任务，使用来自源域和目标域的原始样本以及由原始样本生成的混合样本，在每个子模态上进行对抗训练；所述混合样本领域判别器由一个梯度反转层和一个两层的全连接层分类器构成，在视频模型每个模态的3D卷积特征提取网络F后面都加入一个混合样本领域判别器D；对于第m个模态，领域判别器的损失函数包括两个部分：(1)原始样本领域判别损失当输入是来自源域或者目标域的原始样本时，所述的领域判别器判断样本来自哪一个领域：其中，y
d
是一个代表领域标签的二维向量，当输入x是源域原始样本x∈X
S
时，y
d
＝<1,0>，或当输入x是目标域原始样本x∈X
T
时，y
d
＝<0,1>，σ为softmax函数；是对应于领域判别器D，第m个模态的原始样本领域判别损失；(2)混合样本领域构成判别损失当输入时由来自不同域的原始样本生成的混合样本时，所述的领域判别器判断样本的构成来自源域和目标域各占多少比例：时，所述的领域判别器判断样本的构成来自源域和目标域各占多少比例：其中，KL表示KL散度，为领域判别器D输出的来自源于和目标域的概率分布，r为混合样本中源域所占比例，为代表混合样本领域构成标签的二维向量；是对应于混合样本领域判别器判断样本的构成来自源域和目标域各占多少比例；设模型共有M个模态，混合样本领域判别器的损失函数为所有模态两项损失之和：(三)混合样本分类器的构建；每个模态的混合样本分类器由两层全连接层构成，加在视频模型每个模态的3D卷积特征提取网络F后面，其输入包括原始样本和混合样本，输出对样本是原始样本还是混合样本的分类结果；
其中，y
x
是一个代表样本类型标签的二维向量，当输入x是原始样本x∈{X
S
,X
T
}时，y
d
＝<1,0>，或当输入是混合样本时，y
d
＝<0,1>；设模型共有M个模态，混合样本分类器的损失函数为所有模态损失之和：(四)动态模态蒸馏；所述动态模态蒸馏，是在训练过程中动态地评估模型各个子模态领域适应能力的强弱，选择领域适应能力更强的模态作为教师模态指导其他领域适应能力弱的模态学习领域无关知识；所述评估方法为，将混合样本领域判别器和混合样本分类器的几项损失函数值相加作为教...

【专利技术属性】
技术研发人员：陈静静，殷曰浩，姜育刚，
申请(专利权)人：复旦大学，
类型：发明
国别省市：