视频行为识别模型的训练方法、视频行为识别方法及装置制造方法及图纸

本申请提供一种视频行为识别模型的训练方法、视频行为识别方法及装置，该方法的一具体实施方式包括：将样本视频流所对应的样本图像序列输入初始行为识别模型；所述样本视频流包括源域样本视频流以及目标域样本视频流；所述初始行为识别模型包括分类器以及多个领域判别器；利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果；基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果，训练所述初始行为识别模型。该方法可以改善源域样本视频数据与目标域样本视频数据之间的差异情况，提高模型的识别性能。能。能。

【技术实现步骤摘要】
视频行为识别模型的训练方法、视频行为识别方法及装置


[0001]本申请涉及信息处理领域，具体而言，涉及一种视频行为识别模型的训练方法、视频行为识别方法及装置。

技术介绍

[0002]视频行为识别模型，也即用于识别视频中人物行为的模型。通常地，可以通过采集的样本视频数据训练模型。也即，可以将样本视频数据输入初始行为识别模型中，利用初始行为识别模型的分类器输出分类结果，该分类结果可以反映人物的行为。然后，当模型收敛即可用于识别实际场景中的人物行为。
[0003]在相关技术中，通常是对单一应用场景针对性地训练视频行为识别模型，这样由于测试所用的样本视频数据与训练所用的样本视频数据存在差异，导致了模型的性能不佳。

技术实现思路

[0004]本申请实施例的目的在于提供一种视频行为识别模型的训练方法、视频行为识别方法及装置，用以改善源域样本视频数据与目标域样本视频数据之间的差异情况，提高模型的识别性能。
[0005]第一方面，本申请实施例提供了一种视频行为识别模型的训练方法，该方法包括：将样本视频流所对应的样本图像序列输入初始行为识别模型；所述样本视频流包括源域样本视频流以及目标域样本视频流；所述初始行为识别模型包括分类器以及多个领域判别器；利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果；基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果，训练所述初始行为识别模型。
[0006]这样，在训练初始行为识别模型时，可以利用多个领域判别器将源域样本视频数据与目标域样本视频数据之间的特征对齐，并预测出领域结果，由于其存在的GRL，可以对判别损失取反，继而形成了特征提取器与领域判别器之间的对抗训练方式，在一定程度上提高了目标行为识别模型的识别性能。
[0007]另外，由于领域判别器仅存在于初始行为识别模型的训练过程，继而其并不影响目标行为识别模型在实际应用场景中的处理速度，因此收敛后的目标行为识别模型兼顾了处理速度以及识别性能，更能满足实际应用场景的需求。
[0008]可选地，可选地，所述初始行为识别模型还包括特征提取器，以及在所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果之前，所述方法还包括：利用所述特征提取器提取所述样本图像序列的图像特征，得到浅层特征图以及深层特征图；其中，所述特征提取器基于MiCT
‑
Net网络框架提取所述浅层特征图以及所述深层特征图；以及所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果，包括：利用所述多个领域判别器分别对齐所述样本图像序
列所对应的浅层特征以及深层特征。这样，可以利用领域判别器分别对齐浅层特征以及深层特征，继而能够训练特征提取器较为全面地提取图像信息，提高目标行为识别模型的特征提取性能。
[0009]可选地，所述多个领域判别器与所述特征提取器提取的多层特征图一一对应；以及所述利用所述多个领域判别器分别对齐所述样本图像序列所对应的浅层特征以及深层特征，包括：针对浅层特征图所对应的任一浅层领域判别器，将该浅层领域判别器对应的浅层特征图作为输入，使该浅层领域判别器输出针对该浅层特征图的领域判别结果；以及针对深层特征图所对应的任一深层领域判别器，将该深层领域判别器对应的深层特征图作为输入，使该深层领域判别器输出针对所述深层特征的领域判别结果。这样，特征提取器基于MiCT
‑
Net网络框架提取特征时，可能提取多个浅层特征图以及一个或多个深层特征图，因此针对每一个特征图，可以均设置一个领域判别器，以能够对齐每一个特征图的特征，得到较为全面的领域信息。
[0010]可选地，所述浅层领域判别器与所述深层领域判别器的损失函数不相同；其中，所述浅层领域判别器的损失函数包括加权均方损失函数；所述深层领域判别器的损失函数包括焦点损失函数。这样，可以通过损失函数不同的领域判别器针对性地对齐浅层特征以及深层特征，在一定程度上能够提高模型的识别性能。
[0011]可选地，所述浅层领域判别器与所述深层领域判别器的损失函数相同；所述损失函数包括加权均方损失函数。这样，可以避免领域判别器降低对简单特征的关注度。
[0012]可选地，所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果，包括：利用领域判别器计算源域样本图像序列对应的源域预测值；利用领域判别器计算目标域样本图像序列对应的目标域预测值；以及所述基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果，训练所述初始行为识别模型，包括：基于所述源域预测值以及所述目标域预测值，计算多个所述领域判别器的领域损失；计算所述分类结果与所述源域样本图像序列的分类标签之间的分类损失；将所述领域损失以及所述分类损失进行反向传播，以更新所述初始行为识别模型的模型参数。这样，通过分别计算领域损失以及分类损失，可以较为清晰地计算出初始行为识别模型的模型参数，以使初始行为识别模型朝着优化目标逐步收敛。
[0013]第二方面，本申请实施例提供了一种视频行为识别方法，该方法包括：提取待处理视频流数据所对应的待处理图像序列；将所述待处理图像序列输入目标行为识别模型中，以利用所述目标行为识别模型输出行为识别结果；所述目标行为识别模型基于如第一方面所述的方法训练得到。这样，可以较为准确地识别出视频中的人物行为。
[0014]第三方面，本申请实施例提供了一种视频行为识别模型的训练装置，该装置包括：输入模块，用于将样本视频流所对应的样本图像序列输入初始行为识别模型；所述样本视频流包括源域样本视频流以及目标域样本视频流；所述初始行为识别模型包括分类器以及多个领域判别器；特征对齐模块，用于利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果；训练模块，用于基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果，训练所述初始行为识别模型。
[0015]第四方面，本申请实施例提供了一种视频行为识别装置，该装置包括：提取模块，
用于提取待处理视频流数据所对应的待处理图像序列；识别模块，用于将所述待处理图像序列输入目标行为识别模型中，以利用所述目标行为识别模型输出行为识别结果；所述目标行为识别模型基于如第一方面所述的方法训练得到。
[0016]第五方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面或者第二方面提供的所述方法中的步骤。
[0017]第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面或者第二方面提供的所述方法中的步骤。
[0018]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频行为识别模型的训练方法，其特征在于，包括：将样本视频流所对应的样本图像序列输入初始行为识别模型；所述样本视频流包括源域样本视频流以及目标域样本视频流；所述初始行为识别模型包括分类器以及多个领域判别器；利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果；基于所述分类器针对所述源域样本视频流输出的分类结果、以及所述多个领域判别器输出的领域判别结果，训练所述初始行为识别模型。2.根据权利要求1所述的方法，其特征在于，所述初始行为识别模型还包括特征提取器，以及在所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果之前，所述方法还包括：利用所述特征提取器提取所述样本图像序列的图像特征，得到浅层特征图以及深层特征图；其中，所述特征提取器基于MiCT
‑
Net网络框架提取所述浅层特征图以及所述深层特征图；以及所述利用所述多个领域判别器将所述样本图像序列在不同尺度上的特征对齐，得到领域判别结果，包括：利用所述多个领域判别器分别对齐所述样本图像序列所对应的浅层特征以及深层特征。3.根据权利要求2所述的方法，其特征在于，所述多个领域判别器与所述特征提取器提取的多层特征图一一对应；以及所述利用所述多个领域判别器分别对齐所述样本图像序列所对应的浅层特征以及深层特征，包括：针对浅层特征图所对应的任一浅层领域判别器，将该浅层领域判别器对应的浅层特征图作为输入，使该浅层领域判别器输出针对该浅层特征图的领域判别结果；以及针对深层特征图所对应的任一深层领域判别器，将该深层领域判别器对应的深层特征图作为输入，使该深层领域判别器输出针对所述深层特征的领域判别结果。4.根据权利要求3所述的方法，其特征在于，所述浅层领域判别器与所述深层领域判别器的损失函数不相同；其中，所述浅层领域判别器的损失函数包括加权均方损失函数；所述深层领域判别器的损失函数包括焦点损失函数。5.根据权利要求3所述的方法，其特征在于，所述浅层领域判别器与所述深层领域判别器的损失函数相同；所述损失函数包括加权均方损失函数。6.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述利用所述多个领域判别器将所述样本图像序列在不同尺度上...

【专利技术属性】
技术研发人员：董帅，李文生，熊坤坤，邹昆，冯子钜，叶润源，
申请(专利权)人：中山市希道科技有限公司，
类型：发明
国别省市：