一种用于视频相似度学习模型的训练方法技术

本发明专利技术提供了用于视频相似度学习模型的训练方法，包括：获取训练集，包括多个原始样本和指示对应样本类别的标签，原始样本为一段视频且包括多个视频帧；利用训练集多次迭代训练模型，得到经训练的模型，每次包括：针对每个类别，将该类别的一个原始样本作为查询样本，其他原始样本与查询样本构成样本对，得到多个样本对；利用模型提取样本对中样本的特征向量，包括样本的每个视频帧的块级特征序列；基于样本对构建多对视频帧，根据样本的多个视频帧的块级特征序列确定多对视频帧的帧级相似度，根据该帧级相似度确定样本对中两个样本间的视频级相似度；利用预设的损失函数根据查询样本对应的多个样本对的视频级相似度计算的总损失更新模型参数。

【技术实现步骤摘要】

本专利技术涉及计算机领域，具体来说涉及视频相似度学习领域，更具体地说，涉及一种用于视频相似度学习模型的训练方法。

技术介绍

1、网络视频资源的快速增长给高效的视频搜索和分析带来了严峻的挑战。为了解决这个问题，研究人员开始关注基于内容的视频检索，其核心在于视频相似度学习。具体而言，视频相似性学习的目标是给相关的视频赋予更高的相似度分数，从而可以为视频检索领域的各种细粒度下游任务(例如近似重复视频检索、视频复制检测等)提供很好的参考。

2、由于视频相似度学习任务的标签分布是严重不平衡的，即正样本数量远小于负样本数量，最新的现有技术利用平均精度(average precisi on,简称ap)来衡量模型的综合性能。直观来看，ap会对排名靠前的正样本分配更高的权重，满足下游任务按照优先级对样本进行排序的需求。然而，目前视频相似性学习的主流方法是使用基于正负样本对的目标函数进行训练，目的均是在一个训练批次中最大限度地提高正样本的相似度分数以及降低负样本的相似度分数。例如参考文献[1]、[2]、[3]均经过triplet目标函数进行训练，又例如参考文献[4本文档来自技高网...

【技术保护点】

1.一种用于视频相似度学习模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在一次迭代训练中，所述预设的损失函数如下：

3.根据权利要求1所述的方法，其特征在于，所述模型包括利用深度神经网络构成的编码器和特征映射层，所述特征向量的获得方式包括：

4.根据权利要求3所述的方法，其特征在于，所述特征向量的获得方式包括：

5.根据权利要求3所述的方法，其特征在于，所述编码器采用Resnet50骨干网络或VGG16网络，特征映射层包括全连接网络和多层感知机。

6.根据权利要求3所述的方法，其特征在于，所述构建...

【技术特征摘要】

1.一种用于视频相似度学习模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在一次迭代训练中，所述预设的损失函数如下：

3.根据权利要求1所述的方法，其特征在于，所述模型包括利用深度神经网络构成的编码器和特征映射层，所述特征向量的获得方式包括：

4.根据权利要求3所述的方法，其特征在于，所述特征向量的获得方式包括：

5.根据权利要求3所述的方法，其特征在于，所述编码器采用resnet50骨干网络或vgg16网络，特征映射层包括全连接网络和多层感知机。

【专利技术属性】
技术研发人员：黄庆明，柳洋，许倩倩，温佩松，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人