视频相似片段搜索方法及装置制造方法及图纸

本发明专利技术为了解决视频相似片段搜索过程中只考虑最相似造成误差较大，且计算复杂的问题，提供了一种视频相似片段搜索方法，包括的步骤：进行关键帧抽取，获取查询视频关键帧集和参考视频关键帧集；对所述查询视频关键帧集和所述参考视频关键帧集中的关键帧图像进行特征提取，获取查询视频关键帧特征集和参考视频关键帧特征集；获取相似候选集；生成关键帧对集，利用位置偏移对所述关键帧对集进行筛选，生成匹配关键帧对集；基于关键帧对的位置偏移，进行排序，然后将位置偏移之差在阈值内关键帧对进行合并，获取视频相似片段的开始关键帧对和终止关键帧对，从所述查询视频和参考视频中获取视频相似片段对。同时提供了相应的装置、设备和介质。

【技术实现步骤摘要】
视频相似片段搜索方法及装置
本专利技术属于视频处理
，具体而言，涉及一种视频相似片段搜索方法、搜索装置、计算机可读介质及电子设备。
技术介绍
随着互联网的迅猛发展和自媒体的兴起，视频制作越来越简单，传播也越来越容易，这也导致了网络视频的泛滥。与此相关，视频直播平台和内容服务商对视频资源的管理难度也越来越大。一方面，大量盗版和盗播视频给版权相关方造成重大损失，版权相关方需要查找相似视频，以制止侵犯自身权益的行为。另一方面，视频经过多次分发和存储后，同一视频可能产生不同版本，内容服务商需要归纳这些不同版本，以提高管理效率。以往主要通过人工方式搜索相似视频，但是这种方法效率极低，这几年随着视频数量急剧增加，基于视频处理的方法获得了越来越多的重视。基于视频处理的相似视频搜索技术通过对视频内容进行处理，获取视频特征的描述，然后利用视频特征搜索相似视频。当前绝大多数方法是利用视频特征计算视频相似度完成搜索，但是没有考虑视频相似片段的具体位置，而实践中往往需要相似片段的位置信息，以帮助完成其他视频处理应用。同时，现有技术中利用特征向量的距离搜索本文档来自技高网...

【技术保护点】
1.一种视频相似片段搜索方法，其特征在于，包括如下步骤：/nS110、获取查询视频和参考视频，对所述查询视频和参考视频进行关键帧抽取，获取查询视频关键帧集和参考视频关键帧集；/nS120、利用深度学习网络对所述查询视频关键帧集和所述参考视频关键帧集中的关键帧图像进行特征提取，获取查询视频关键帧特征集和参考视频关键帧特征集；/nS130、利用查询视频关键帧特征集和参考视频关键帧特征集中的关键帧特征之间的相似度或者距离值，从参考视频关键帧集中获取查询视频关键帧集中的各个查询视频关键帧的相似候选集；/nS140、通过查询视频关键帧与相似候选集的关系生成关键帧对集，利用关键帧对集中的关键帧对的位置偏移...

【技术特征摘要】
1.一种视频相似片段搜索方法，其特征在于，包括如下步骤：
S110、获取查询视频和参考视频，对所述查询视频和参考视频进行关键帧抽取，获取查询视频关键帧集和参考视频关键帧集；
S120、利用深度学习网络对所述查询视频关键帧集和所述参考视频关键帧集中的关键帧图像进行特征提取，获取查询视频关键帧特征集和参考视频关键帧特征集；
S130、利用查询视频关键帧特征集和参考视频关键帧特征集中的关键帧特征之间的相似度或者距离值，从参考视频关键帧集中获取查询视频关键帧集中的各个查询视频关键帧的相似候选集；
S140、通过查询视频关键帧与相似候选集的关系生成关键帧对集，利用关键帧对集中的关键帧对的位置偏移对所述关键帧对集进行筛选，生成匹配关键帧对集；
S150、对所述匹配关键帧对集中的关键帧对，基于关键帧对的位置偏移，进行排序，然后将位置偏移之差在阈值内关键帧对进行合并，获取视频相似片段的开始关键帧对和终止关键帧对；
S160、根据视频相似片段的开始关键帧对和终止关键帧对的时间位置，从所述查询视频和参考视频中获取视频相似片段对。


2.根据权利要求1所述的视频相似片段搜索方法，其特征在于，所述步骤S130中，从参考视频关键帧集中获取查询视频关键帧集中的各个查询视频关键帧的相似候选集的步骤包括：
当所述相似度大于阈值时，将所述参考视频关键帧集中的对应关键帧选入所述相似候选集；
或者，
以查询视频关键帧特征集中的N个维度为K的查询视频关键帧特征为数据点，建立第一K维树；
以参考视频关键帧特征集中的M个维度为K的参考视频关键帧特征为数据点，建立第二K维树；
使用欧式距离查找第一K维树的数据点在第二K维树中的指定个数最近邻数据点所对应的关键帧选入所述相似候选集，其中维度K为关键帧特征的维度。


3.根据权利要求1所述的视频相似片段搜索方法，其特征在于，所述步骤S140包括：
S141、将查询视频关键帧集中的关键帧和对应的相似候选集中的关键帧组成关键帧对，并获取关键帧对中查询视频关键帧集中的关键帧和相似候选集中的关键帧的位置偏移，作为所述关键帧对的位置偏移，所述关键帧对组成所述关键帧对集；
S142、根据关键帧对的位置偏移进行分组，将关键帧对集中相同位置偏移的关键帧对分到相同的组，形成关键帧对组，所述关键帧对组组成关键帧对组集；
S143、按照关键帧对组中的关键帧对的数量对所述关键帧对组集进行排序，形成关键帧对组排序集；
S144、遍历所述关键帧对组排序集，进行过滤，使得具有相同的所述查询视频关键帧集中的关键帧的关键帧对仅保留一个，获得关键帧对组过滤集，所述关键帧对组过滤集作为所述匹配关键帧对集。


4.根据权利要求3所述的视频相似片段搜索方法，其特征在于，所述获得关键帧对组过滤集的步骤包括：
S1441、建立一个查询视频关键帧使用记录表Tabq，以及一个关键帧对组过滤集G～，初始化都为空；
S1442、遍历关键帧对组排序集中所有关键帧对组，对于任意一组关键帧对组g'k，遍历其包含的所有关键帧对pij，对任意一个关键帧对pij，如果其所对应的查询视频关键帧未包含在使用记录表Tabq中，那么将其加入表中；否则从g'k中删除该关键帧对；
S1443、遍历关键帧对结束之后，...

【专利技术属性】
技术研发人员：蒋文，田泽康，邓卉，危明，
申请(专利权)人：易视腾科技股份有限公司，
类型：发明
国别省市：江苏;32