一种应用于视频版权保护的视频待检索定位方法技术

本发明专利技术涉及视频版权保护领域，公开了一种应用于视频版权保护的视频待检索定位方法，包括获取视频版权数据集中每个视频版权数据的若干个关键帧图像及待检索视频数据的若干个关键帧图像；利用深度卷积神经网络模型提取关键帧图像的特征向量；计算待检索视频数据的若干个关键帧图像的感知哈希值及每个视频版权数据的若干个关键帧图像的感知哈希值；构建加入聚类算法以及倒排索引的待检索系统；对待检索视频数据进行快速检索定位。本发明专利技术能够准确定位到侵权片段或侵权画面，加强了对侵权视频可能出现的对抗攻击手段的识别，增强了模型的鲁棒性，提高了在海量数据下的检索效率，保证了视频侵权检索高的准确率和召回率。了视频侵权检索高的准确率和召回率。了视频侵权检索高的准确率和召回率。

【技术实现步骤摘要】
一种应用于视频版权保护的视频待检索定位方法


[0001]本专利技术涉及视频版权保护领域，具体地涉及一种应用于视频版权保护的视频待检索定位方法。

技术介绍

[0002]随着多媒体和互联网技术的快速发展，海量的视频数据已经广泛应用于社会的各个领域中，视频版权保护的问题日益严峻。通常利用视频待检索技术实现查找比对侵权视频和原始视频，其主要分为两个步骤：如何表达视频的特征信息以及高效的待检索方法。比如，国家专利公开文献CN111639228A，公开了“视频待检索方法、系统、设备及存储介质”，该专利技术包括接收视频待检索请求，视频待检索请求包括待检索信息；将待检索信息与视频索引信息进行匹配，得到视频待检索结果，视频索引信息是根据预设知识图谱对视频进行语义理解得到的，该视频索引信息用于表示视频与待检索信息之间的关系；输出视频待检索结果。该专利技术基于文本的视频待检索方法主要利用文本标注堆视频中的内容进行描述，但随着数据量级的快速增长，人工标注文本消耗成本高，已经不足以支撑现实中庞大的数据量，大数据下计算复杂度高。另外，现有的利用视频内容进行侵权检索方法在进行视频整体比对时难以从视频内容进行侵权定位，也无法获取侵权视频对于一些片段甚至一个画面的侵权。
[0003]因此，亟需一种应用于视频版权保护的视频待检索定位方法能够利用高维视频特征以及更高效的待检索方法满足大规模数据下视频的比对识别以及侵权结果的快速查找排序。

技术实现思路

[0004]本专利技术提供一种应用于视频版权保护的视频待检索定位方法，从而解决现有技术的上述问题。
[0005]第一方面，本专利技术提供了一种应用于视频版权保护的视频待检索定位方法，包括以下步骤：
[0006]S1)采集视频版权数据集和待检索视频数据，获取视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像；
[0007]S2)建立深度卷积神经网络模型，利用深度卷积神经网络模型提取关键帧图像的特征向量，将待检索视频数据的若干个关键帧图像的特征向量进行拼接，将每个视频版权数据的若干个关键帧图像的特征向量进行拼接，分别获得待检索视频数据的N
×
M维的特征向量以及视频版权数据集中每个视频版权数据的N
×
M维的特征向量；
[0008]S3)分别计算待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值；
[0009]S4)利用视频版权数据集中每个视频版权数据的N
×
M维的特征向量和视频版权数据集中每个视频版权数据的若干个关键帧图像的感知哈希值构建加入聚类算法以及倒排
索引的待检索系统；
[0010]S5)利用加入聚类算法以及倒排索引的待检索系统对待检索视频数据进行快速检索定位，获得待检索视频数据的侵权检索结果。
[0011]进一步的，在步骤S1)中，采集视频版权数据集和待检索视频数据，获取视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像，包括利用视频镜头分割方法分别对待检索视频数据以及视频版权数据集中每个视频版权数据进行视频镜头分割、并获取每个视频镜头中的代表帧，将代表帧作为关键帧，获得待检索视频数据的若干个关键帧图像以及视频版权数据集中每个视频版权数据的若干个关键帧图像；视频分割方法包括基于时域的视频对象分割方法、基于运动的视频对象分割方法或交互式视频对象分割方法。
[0012]进一步的，在步骤S1)中，采集视频版权数据集和待检索视频数据，获取视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像，包括根据视频帧率对待检索视频数据以及视频版权数据集中每个视频版权数据分别进行图像采样，获得待检索视频数据的若干个采样帧以及视频版权数据集中每个视频版权数据的若干个采样帧，将采样帧作为关键帧，获得待检索视频数据的若干个关键帧图像以及视频版权数据集中每个视频版权数据的若干个关键帧图像。
[0013]进一步的，在获取视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像之前，还包括将每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像中为无效帧的关键帧图像进行删除，无效帧的关键帧图像为纯白图像或纯黑图像。
[0014]进一步的，步骤S2)中，建立深度卷积神经网络模型，利用深度卷积神经网络模型提取关键帧图像的特征向量，将待检索视频数据的若干个关键帧图像的特征向量进行拼接，将每个视频版权数据的若干个关键帧图像的特征向量进行拼接，分别获得待检索视频数据的N
×
M维的特征向量以及视频版权数据集中每个视频版权数据的N
×
M维的特征向量，包括以下步骤：
[0015]S21)将待检索视频数据的若干个关键帧图像以及每个视频版权数据的若干个关键帧图像分别缩放到第一预设尺寸大小；
[0016]S22)建立深度卷积神经网络模型，将缩放后的每个关键帧图像分别输入所述深度卷积神经网络模型，将深度卷积神经网络模型的最后一个卷积层的特征图作为输出；
[0017]S23)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对所述若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每个关键帧图像对应的特征向量；
[0018]S24)分别获得待检索视频数据的若干个关键帧图像的特征向量以及所述视频版权数据集中每个视频版权数据的若干个关键帧图像的特征向量。
[0019]深度卷积神经网络模型在预训练时可以对反转、镜像、旋转等侵权对抗手段通过数据增强的方式在模型中进行微调。
[0020]进一步的，步骤S3)中，分别计算待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值，包括以下步骤：
[0021]S31)将待检索视频数据的若干个关键帧图像以及每个版权视频数据的若干个关
键帧图像分别缩放到第二预设尺寸大小；
[0022]S32)将缩放到第二预设尺寸大小的每个关键帧图像分别转化为灰度图像；
[0023]S33)计算转化为灰度图像后每个关键帧图像的离散余弦变换，获得离散余弦变换系数矩阵；
[0024]S34)提取离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算低频矩阵的元素平均值，将低频矩阵中大于等于元素平均值的元素置1，将低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；
[0025]S35)将元素置1或置0的低频矩阵压平为一维向量，获得待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值。
[0026]进一步的，步骤S4)中，利用视频版权数据集中每个视频版权数据的N
×
M维的特征向量和视频版权数据集中每个视频版权数据的若干个关键帧图像的感知哈希值构建加入聚类算法以及倒排索引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于视频版权保护的视频检索定位方法，其特征在于，包括以下步骤：S1)采集视频版权数据集和待检索视频数据，获取所述视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像；S2)建立深度卷积神经网络模型，利用所述深度卷积神经网络模型提取关键帧图像的特征向量，将待检索视频数据的若干个关键帧图像的特征向量进行拼接，将每个视频版权数据的若干个关键帧图像的特征向量进行拼接，分别获得待检索视频数据的N
×
M维的特征向量以及视频版权数据集中每个视频版权数据的N
×
M维的特征向量；S3)分别计算待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值；S4)利用视频版权数据集中每个视频版权数据的N
×
M维的特征向量和视频版权数据集中每个视频版权数据的若干个关键帧图像的感知哈希值构建加入聚类算法以及倒排索引的待检索系统；S5)利用所述加入聚类算法以及倒排索引的待检索系统对所述待检索视频数据进行快速检索定位，获得所述待检索视频数据的侵权检索结果。2.根据权利要求1所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，在步骤S1)中，采集视频版权数据集和待检索视频数据，获取所述视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像，包括利用视频镜头分割方法分别对所述待检索视频数据以及所述视频版权数据集中每个视频版权数据进行视频镜头分割、并获取每个视频镜头中的代表帧，将代表帧作为关键帧，获得所述待检索视频数据的若干个关键帧图像以及所述视频版权数据集中每个视频版权数据的若干个关键帧图像；所述视频分割方法包括基于时域的视频对象分割方法、基于运动的视频对象分割方法或交互式视频对象分割方法。3.根据权利要求2所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，在步骤S1)中，采集视频版权数据集和待检索视频数据，获取所述视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像，包括根据视频帧率对所述待检索视频数据以及所述视频版权数据集中每个视频版权数据分别进行图像采样，获得所述待检索视频数据的若干个采样帧以及所述视频版权数据集中每个视频版权数据的若干个采样帧，将采样帧作为关键帧，获得所述待检索视频数据的若干个关键帧图像以及所述视频版权数据集中每个视频版权数据的若干个关键帧图像。4.根据权利要求2或3所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，在获取所述视频版权数据集中每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像之前，还包括将每个视频版权数据的若干个关键帧图像以及待检索视频数据的若干个关键帧图像中为无效帧的关键帧图像进行删除，所述无效帧的关键帧图像为纯白图像或纯黑图像。5.根据权利要求4所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，步骤S2)中，建立深度卷积神经网络模型，利用所述深度卷积神经网络模型提取关键帧图像的特征向量，将待检索视频数据的若干个关键帧图像的特征向量进行拼接，将每个视频版权数据的若干个关键帧图像的特征向量进行拼接，分别获得待检索视频数据的N
×
M维的特征向量以及视频版权数据集中每个视频版权数据的N
×
M维的特征向量，包括以下步
骤：S21)将待检索视频数据的若干个关键帧图像以及每个视频版权数据的若干个关键帧图像分别缩放到第一预设尺寸大小；S22)建立深度卷积神经网络模型，将缩放后的每个关键帧图像分别输入所述深度卷积神经网络模型，将所述深度卷积神经网络模型的最后一个卷积层的特征图作为输出；S23)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对所述若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每个关键帧图像对应的特征向量；S24)分别获得待检索视频数据的若干个关键帧图像的特征向量以及所述视频版权数据集中每个视频版权数据的若干个关键帧图像的特征向量。6.根据权利要求5所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，步骤S3)中，分别计算待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值，包括以下步骤：S31)将待检索视频数据的若干个关键帧图像以及每个版权视频数据的若干个关键帧图像分别缩放到第二预设尺寸大小；S32)将缩放到第二预设尺寸大小的每个关键帧图像分别转化为灰度图像；S33)计算转化为灰度图像后每个关键帧图像的离散余弦变换，获得离散余弦变换系数矩阵；S34)提取所述离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算所述低频矩阵的元素平均值，将所述低频矩阵中大于等于元素平均值的元素置1，将所述低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；S35)将所述元素置1或置0的低频矩阵压平为一维向量，获得待检索视频数据的若干个关键帧图像的感知哈希值以及每个视频版权数据的若干个关键帧图像的感知哈希值。7.根据权利要求6所述的应用于视频版权保护的快速定位侵权视频的方法，其特征在于，步骤S4)中，利用视频版权数据集中每个视频版权数据的N
×
M维的特征向量和视频版权数据集中每个视频版权数据的若干个关键帧图像的感知哈希值构建加入聚类算法以及倒排索引的待检索系统，N为若干个关键帧图像的总数，M为每个关键帧图像的特征向量的维度，包括以下步骤：S41)初始化待检索索引文件数据结构，所述待检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；S42)获取训练数据，利用所述训练数据训练聚类算法；所述训练数据包括若干个数据点，所述若干个数据点分别为所述视频版权数据集中每个视频版权数据的N个M维的特征向量；建立倒排向量ID表，所述倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；S43)根据训练数据的数据量确定聚类的中心数以及每个聚类中心内的元素数量范...

【专利技术属性】
技术研发人员：张季玮，
申请(专利权)人：中国搜索信息科技股份有限公司，
类型：发明
国别省市：