一种基于深度局部特征的视频拷贝检测方法技术

本发明专利技术公开了一种基于深度局部特征的视频拷贝检测方法，包括：(1)对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；(2)构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；(3)利用度量学习的方式训练所述深度卷积神经网络模型；(4)利用训练好的所述深度卷积神经网络模型从图像金字塔中提取融合特征图；(5)利用极大值抑制从融合特征图中提取出关键点，并根据关键点提取对应的局部特征；(6)根据局部特征进行视频拷贝检测。本发明专利技术不仅提取速度更快而且局部特征表征更强，由此，针对各种复杂变换的拷贝视频，局部特征能进行准确的检测，具有鲁棒性高的特。

【技术实现步骤摘要】
一种基于深度局部特征的视频拷贝检测方法
本专利技术涉及多媒体信息处理
，尤其是一种基于深度局部特征的视频拷贝检测方法。
技术介绍
在如今的移动互联网时代，由于多媒体视频数据的复杂性、各种视频编辑软件的出现、来源广泛等特点加大了阻止篡改视频数据肆意传播的难度。相关网络监管部门想有效的对网上多媒体视频数据进行监管，不能仅仅依靠人为监督和用户举报。当前的解决方式是通过传统的图像处理或者全局特征提取的方法，传统算法处理效率低，而且准确度不高，而全局特征提取的方法对一般的编辑视频处理效果好，但是对于各种复杂变换的编辑视频处理效果难以达到预期。无论是传统的图像处理还是全局特征提取的方法都对于目前互联网上多媒体视频存在一定的缺陷。
技术实现思路
本专利技术所要解决的技术问题是：针对上述存在的问题，提供一种基于深度局部特征的视频拷贝检测方法。本专利技术采用的技术方案如下：一种基于深度局部特征的视频拷贝检测方法，包括如下步骤：(1)对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；(2)构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；(3)利用度量学习的方式训练所述深度卷积神经网络模型；(4)利用训练好的所述深度卷积神经网络模型从图像金字塔中提取融合特征图；(5)利用极大值抑制从融合特征图中提取出关键点，并根据关键点提取对应的局部特征；(6)根据局部特征进行视频拷贝检测。进一步的，所述深度卷积神经网络模型为包括n-1层卷积层和1层融合卷积层的全卷积模型；其中，所述n-i层～n-1层卷积层，用于从输入的图像金字塔中提取特征图；所述融合卷积层，用于对n-i层～n-1层卷积层提取的特征图进行特征融合得到融合特征图；2≤i≤n-1，i和n均为整数。进一步的，所述n-i层～n-1层卷积层的卷积通道为128。进一步的，第n-1层卷积层的卷积核大小为1×1，用于将特征图卷积到1×1大小，该层卷积层输出的特征图作为全局特征用于模型训练。进一步的，步骤(6)包括如下子步骤：(6.1)将库视频经过步骤(1)～(5)获得其局部特征；(6.2)将待检测视频经过步骤(1)～(5)获得其局部特征；(6.3)将待检测视频的局部特征与库视频的局部特征进行随机一致性空间验证，滤除非相关的匹配点；(6.4)根据剩余匹配点计算相似度；(6.5)对相似度计算结果进行排序得到源视频数据结果。作为优选方式，所述相似度采用向量内积的方式计算。作为优选方式，步骤(1)中对于视频数据抽取的帧图像是关键帧图像。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：本专利技术基于深度卷积神经网络模型提取融合特征图，并采用极大值抑制可以得到关键点，并能够提取出高效的局部特征，从而对视频帧图像进行全面的描述。相比较于传统的局部特征提取算法，本专利技术不仅提取速度更快而且局部特征表征更强，由此，针对各种复杂变换的拷贝视频，局部特征能进行准确的检测，具有鲁棒性高的特点，为网络监管部门对于监管互联网上大量被篡改且肆意传播的多媒体视频数据提供了一个可行的技术方案。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例的基于深度局部特征的视频拷贝检测方法的流程框图。图2为本专利技术实施例的深度卷积神经网络模型的原理图。图3为本专利技术的关键点和局部特征提取示意图。图4为本专利技术的视频拷贝检测效果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。对本专利技术涉及的技术进行说明：卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks)，是深度学习(deeplearning)的代表算法之一。度量学习(MetricLearning)是在细粒度分类、检索、人脸等任务中核心的算法，其能通过训练学习到图像的细微区别。以下结合实施例对本专利技术的特征和性能作进一步的详细描述。如图1所示，本实施例提供的一种基于深度局部特征的视频拷贝检测方法，包括如下步骤：S1，对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；视频数据是图像在时间上的集合，因此对于视频的处理可以通过抽取帧图像进行处理，但是由于按照时间尺度进行抽取帧数会造成很多冗余信息，作为优选方式，对于视频数据抽取关键帧图像。由此利用视频帧图像的相关性进行关键帧抽取，将相似的特征只保留一个特征，减少冗余性，提高视频数据的视觉表达。例如：关键帧抽取主要是利用视频帧图像的格式以及内容来进行判定，对图像的颜色、纹理、结构等进行特征判定，过滤掉相似画面，保证每个场景只提取出一帧，该部分内容为现有技术，在此不再赘述。S2，构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；如图2所示，所述深度卷积神经网络模型为包括n-1层卷积层和1层融合卷积层的全卷积模型，不设置池化层，以此尽量保留图像的原始信息；其中，所述n-i层～n-1层卷积层，用于从输入的图像金字塔中提取特征图；所述融合卷积层，用于对n-i层～n-1层卷积层提取的特征图进行特征融合得到融合特征图；2≤i≤n-1，i和n均为整数。也就是说，融合卷积层是对最后几层卷积层的特征图进行融合。在一些实施例中，所述n-i层～n-1层卷积层的卷积通道为128，以此使得后续提取出的局部特征维度保持在128，同时使得这些卷积层提取的特征图尺度归一化，从而增强融合特征图的信息。在一些实施例中，第n-1层卷积层的卷积核大小为1×1，用于将特征图卷积到1×1大小，该层卷积层输出的特征图作为全局特征用于模型训练。S3，利用度量学习的方式训练所述深度卷积神经网络模型；采用度量学习的方式，使得模型学习到图像之间的细微差别，提升检测的精度。具体采用包含角度信息本文档来自技高网...

【技术保护点】
1.一种基于深度局部特征的视频拷贝检测方法，其特征在于，包括如下步骤：/n(1)对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；/n(2)构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；/n(3)利用度量学习的方式训练所述深度卷积神经网络模型；/n(4)利用训练好的所述深度卷积神经网络模型从图像金字塔中提取融合特征图；/n(5)利用极大值抑制从融合特征图中提取出关键点，并根据关键点提取对应的局部特征；/n(6)根据局部特征进行视频拷贝检测。/n

【技术特征摘要】
1.一种基于深度局部特征的视频拷贝检测方法，其特征在于，包括如下步骤：
(1)对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；
(2)构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；
(3)利用度量学习的方式训练所述深度卷积神经网络模型；
(4)利用训练好的所述深度卷积神经网络模型从图像金字塔中提取融合特征图；
(5)利用极大值抑制从融合特征图中提取出关键点，并根据关键点提取对应的局部特征；
(6)根据局部特征进行视频拷贝检测。


2.根据权利要求1所述的基于深度局部特征的视频拷贝检测方法，其特征在于，所述深度卷积神经网络模型为包括n-1层卷积层和1层融合卷积层的全卷积模型；其中，
所述n-i层～n-1层卷积层，用于从输入的图像金字塔中提取特征图；
所述融合卷积层，用于对n-i层～n-1层卷积层提取的特征图进行特征融合得到融合特征图；2≤i≤n-1，i和n均为整数。


3.根据权利要求2所述的基于深度局部特征的视频拷贝检测方法，其特征在于，所...

【专利技术属性】
技术研发人员：贾宇，张家亮，董文杰，曹亮，
申请(专利权)人：成都三零凯天通信实业有限公司，
类型：发明
国别省市：四川;51