视频帧特征提取模型的训练方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种视频帧特征提取模型的训练方法、系统、设备及存储介质。方法包括：S1、将任一批次的原视频帧图像经过图像增强后，获取两路增强视频帧图像集；S2、将两路增强视频帧图像集分别输入对比训练网络包含的两路特征提取子网络，获得两路特征集；S3、将两路特征集沿特征维度作互相关乘法计算，得到相似度矩阵；S4、计算相似度矩阵的损失值；S5、如损失值大于阈值，则根据损失值调整对比训练网络，并返回S1；否则判定对比训练网络拟合，并转入S6；S6、提取对比训练网络包含的任一路特征提取子网络，完成视频帧特征提取模型的训练。系统：图像增强单元、双路特征提取单元、相似度矩阵单元、损失值计算单元、判断单元、单路网络提取单元。元。元。

【技术实现步骤摘要】
视频帧特征提取模型的训练方法、系统、设备及存储介质


[0001]本专利技术涉及计算机机器视觉
，特别涉及视频帧特征提取模型的训练方法、系统、设备及存储介质。

技术介绍

[0002]图片样例比对，又被称为图片同源比对，是指一个图片通过缩放、压缩、部分旋转、颜色变换、格式转换、部分裁剪、马赛克、模糊、贴标、文字遮挡等处理的图片仍然与原图正确匹配。
[0003]目前图片样例提取的方法基本是采用基于传统手工提取特征的方法，包括直接提取局部敏感哈希(LSH)建立索引，或者提取颜色分布特征，HOG、SIFT等梯度特征来进行特征提取的方法，这类方法容易受到噪声的干扰，无法适应图片的各种变换操作，比如基于颜色分布特征的方法无法适应颜色变换的场景，HOG、SIFT等梯度特征的方法无法有效适应文字遮挡、部分裁剪、马赛克、一定程度的模糊等场景，在实际算法应用中，往往会造成非常高的漏检率。
[0004]因此，需要一种视频帧特征提取模型，并对该视频帧特征提取模型加以训练拟合，进而可以完成图片同源比对时的特征提取。

技术实现思路

[0005]本专利技术提供了视频帧特征提取模型的训练方法、系统、设备及存储介质，用以解决现有技术中容易受到噪声干扰，无法适应图片变换，漏检率较高的问题。
[0006]为达到上述目的，本专利技术提供以下技术方案：
[0007]第一部分，本专利技术实施例的一种视频帧特征提取模型的训练方法，包括下列步骤：S1、将任一批次的原视频帧图像经过图像增强后，获取两路增强视频帧图像集；S2、将所述的两路增强视频帧图像集分别输入对比训练网络包含的两路特征提取子网络，获得两路特征集；S3、将所述的两路特征集沿特征维度作互相关乘法计算，得到相似度矩阵；S4、计算所述相似度矩阵的损失值；S5、如所述的损失值大于阈值，则根据所述的损失值调整所述对比训练网络，并返回S1；否则判定所述的对比训练网络拟合，并转入S6；S6、提取所述对比训练网络包含的任一路特征提取子网络，完成视频帧特征提取模型的训练。
[0008]优选的，步骤S1中所述的图像增强，具体包括：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。
[0009]进一步的，原视频帧图像与其增强后得到的增强视频帧图像之间为相似视频帧对，以及同一原视频帧图像增强后得到的各增强视频帧图像两两之间互为相似视频帧对；不同原视频帧图像之间为不相似视频帧对，以及非同一原视频帧图像增强后得到的各增强视频帧图像两两之间互为不相似视频帧对。
[0010]进一步的，步骤S4中计算相似度矩阵的损失值，具体通过如下公式计算：
[0011][0012]其中，C表示相似度矩阵，加号之前部分表示相似视频帧对的损失值，加号之后部分表示不相似视频帧对的损失值。
[0013]优选的，步骤S1中所述的两路增强视频帧图像集内的视频帧顺序保持一致。
[0014]优选的，所述特征提取子网络的主干网络是具有跨层连接结构的网络。
[0015]进一步的，所述特征提取子网络的主干网络以ResNet网络、DenseNet网络，或者SE
‑
Net网络作为基础。
[0016]第二部分，本专利技术实施例的一种视频帧特征提取模型的训练系统，包括：图像增强单元，用于将任一批次的原视频帧图像经过图像增强后，获取两路增强视频帧图像集；双路特征提取单元，用于将所述的两路增强视频帧图像集分别输入对比训练网络包含的两路特征提取子网络，获得两路特征集；相似度矩阵单元，用于将所述的两路特征集沿特征维度作互相关乘法计算，得到相似度矩阵；损失值计算单元，用于计算所述相似度矩阵的损失值；判断单元，如所述的损失值大于阈值，则根据所述的损失值调整所述对比训练网络，并返回所述图像增强单元；否则判定所述的对比训练网络拟合，并转入单路网络提取单元；所述单路网络提取单元，用于提取所述对比训练网络包含的任一路特征提取子网络，完成视频帧特征提取模型的训练。
[0017]第三部分，本专利技术实施例的一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术任意实施例所述的视频帧特征提取模型的训练方法。
[0018]第四部分，本专利技术实施例的一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本专利技术任意实施例所述的视频帧特征提取模型的训练方法。
[0019]本专利技术的视频帧特征提取模型的训练方法、系统、设备及存储介质，相对于现有技术，使用卷积神经网络模型训练得到特征提取模型，增加了模型的变换适应性，也使得应对各类视频帧变换更灵活，避免了底层视频帧空域特征易受噪声的影响，较传统特征提取方案更加鲁棒，降低了漏检率；并且缓解了对比学习依赖大量负样本提升效果的问题，使用相似度矩阵的相似度度量方式，简化了数据集准备和模型训练的难度，提高了模型训练的效果。
附图说明
[0020]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0021]图1为本专利技术实施例1的视频帧特征提取模型的训练方法流程图；
[0022]图2为本专利技术实施例1中视频帧图像增强操作及标注标签的过程图；
[0023]图3为本专利技术实施例1中对比训练网络的架构图；
[0024]图4为本专利技术实施例1中ResNet50为基础的特征提取网络结构示意图；
[0025]图5为常见对比学习流程图；
[0026]图6为本专利技术实施例1中的对比训练网络的训练流程图；
[0027]图7为本专利技术实施例2的视频帧特征提取模型的训练系统结构示意图；
[0028]图8为本专利技术实施例3的计算机设备的结构示意图。
具体实施方式
[0029]专利技术人经过研究发现，目前模型的构建都是与领域知识密切相关的，对领域理解越清晰，构建的模型就越有针对性，效果也会越好。专利技术人考虑到在构建视频帧样例特征提取模型之前，首先要明确应用的场景。图片样例比对是指比对的图片是否同源，其应用场景是来自于视频帧来源追溯，主要应用于版权保护等领域。视频帧/图片检索往往关注视觉表观，比如两个完全不同的拍摄地点、只要场景类似，视频帧/图片检索往往也会返回较高的相似度，比如从北京颐和园和苏州拙政园拍摄的两帧视频帧/两张图片，两个完全不同的地点，但是都因为有假山、有湖水，有杨柳等，在视频帧/图片检索关注视觉表观看来具有比较高的相似度，视频帧/图片检索对空间特征往往具有很高的适应性，空间的改变对视频帧/图片检索的效果并没有明显影响；与人脸比对也不同，人脸比对强调的哪怕随着个人装扮和年龄的变化，人脸比对对同一个人脸也会返回较高的相似度，时间改变对人脸比对的效果应该鲁棒。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧特征提取模型的训练方法，其特征在于，包括下列步骤：S1、将任一批次的原视频帧图像经过图像增强后，获取两路增强视频帧图像集；S2、将所述的两路增强视频帧图像集分别输入对比训练网络包含的两路特征提取子网络，获得两路特征集；S3、将所述的两路特征集沿特征维度作互相关乘法计算，得到相似度矩阵；S4、计算所述相似度矩阵的损失值；S5、如所述的损失值大于阈值，则根据所述的损失值调整所述对比训练网络，并返回S1；否则判定所述的对比训练网络拟合，并转入S6；S6、提取所述对比训练网络包含的任一路特征提取子网络，完成视频帧特征提取模型的训练。2.如权利要求1所述的视频帧特征提取模型的训练方法，其特征在于，步骤S1中所述的图像增强，具体包括：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。3.如权利要求2所述的视频帧特征提取模型的训练方法，其特征在于，原视频帧图像与其增强后得到的增强视频帧图像之间为相似视频帧对，以及同一原视频帧图像增强后得到的各增强视频帧图像两两之间互为相似视频帧对；不同原视频帧图像之间为不相似视频帧对，以及非同一原视频帧图像增强后得到的各增强视频帧图像两两之间互为不相似视频帧对。4.如权利要求3所述的视频帧特征提取模型的训练方法，其特征在于，步骤S4中计算相似度矩阵的损失值，具体通过如下公式计算：其中，C表示相似度矩阵，加号之前部分表示相似视频帧对的损失值，加号之后部分表示不相似视频帧对的损失值。5.如权利要求1所述的视频帧特征提取模型的训练方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：张朝，王坚，李兵，余昊楠，胡卫明，
申请(专利权)人：人民中科济南智能技术有限公司，
类型：发明
国别省市：