基于帧间相似度的视频检测方法和装置制造方法及图纸

本发明专利技术涉及一种视频检测的方法和装置、计算机设备和存储介质。该方法包括：获取待检测视频；基于预定抽帧间隔对待检测视频抽帧，获得抽取出的视频帧序列；基于特征检测算法对视频帧序列进行特征检测，获得视频帧特征描述子的序列；对视频帧特征描述子的序列中的每两个相邻视频帧特征描述子进行视频帧特征匹配，获得视频帧序列的相邻帧之间的相似度度量；在相似度度量满足预定约束条件的情况下，将视频标记为包含不符帧的视频。这实现了计算性能与检测效果的动态调整，并有效减小了计算的冗余度。

Video detection method and device based on frame similarity

【技术实现步骤摘要】
基于帧间相似度的视频检测方法和装置
本专利技术涉及人工智能和计算机视觉的
，具体来说涉及一种基于帧间相似度的视频检测方法、装置、计算机设备和存储介质。
技术介绍
人工智能（ArtificialIntelligence,AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉（ComputerVision,CV）技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。计算机视觉是一门研究如何使机器“看”的科学，更进一步地，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在现有的技术方案中进行视频检测时，通常利用视频指纹技术对整个视频的内容进行分析生成视频指纹，进而通过视频指纹对整个视频进行鉴别。视频指纹通常是对视频的每一帧进行特征提取并将特征聚合起来代表一个视频。在全部视频帧中进行检测，帧与帧之间的距离越远其相关性越低，检测难度越大，并且同时对每一帧进行特征提取耗时严重。而且，随着互联网以及社交媒体软件的普及，在互联网上存在大量传播的首帧假视频。首帧假视频通常具有将首帧设置为具有诱导性的内容以增加点击量和传播量的特点。比如视频首帧是美女，但视频内容是广告（如图1a所示），通常这种视频在社交软件中传播。如图1b所示，也可以是在视频编解码或传输中造成首帧丢失，导致视频预览无画面（例如，呈现黑色）。视频特定画面检测技术在产品侧具有广泛的应用。比如视频首帧画面和视频内容不符的视频在互联网上的传播是具有诱导欺骗性的，在即时通讯软件中，这类视频的实际内容通常为广告等内容。此类视频不仅浪费了用户的浏览时间和流量成本，对于产品体验的损耗也十分巨大。
技术实现思路
有利的是，提供一种可以缓解、减轻或甚至消除上述问题中的一个或多个的机制。根据本专利技术的一些实施例，提供了一种视频检测方法。该方法包括：获取待检测视频；基于预定抽帧间隔对待检测视频抽帧，获得抽取出的视频帧序列；基于特征检测算法对视频帧序列进行特征检测，获得视频帧特征描述子的序列；对视频帧特征描述子的序列中的每两个相邻视频帧特征描述子进行视频帧特征匹配，获得视频帧序列的相邻帧之间的相似度度量；在相似度度量满足预定约束条件的情况下，将视频标记为包含不符帧的视频。在一些实施例中，基于预定抽帧间隔对待检测视频抽帧包括：基于等间距的抽帧间隔对待检测视频抽帧；或者针对视频起始若干帧仅抽取一帧，并且对视频的其余帧等间隔抽帧。在一些实施例中，预定约束条件为：抽取出的视频帧序列其中一个第一视频帧与其相邻帧之间的第一相似度度量，与除第一视频帧外的多个第二视频帧与其相邻帧之间的多个第二相似度度量其中之一的比值的倒数大于等于预定阈值。在一些实施例中，预定约束条件还包括：每两个第二相似度度量之间的比值落入预定范围。在一些实施例中，预定约束条件包括：将所抽取的视频帧序列中的每个视频帧与其相邻帧之间的相似度度量记为n1,…,nk,nk+1,…,nN-1，第一相似度度量nj选自其中之一，第二相似度度量是除第一相似度度量之外的相似度度量n2,…,nj-1,nj+1,…,nN-1中的任意一个，第一相似度度量和第二相似度度量满足下述式子中的至少M个式子：n1/nj>K;n2/nj>K;……;nj-1/nj>K;nj+1/nj>K;……;nN-1/nj>K;其中，K为大于等于10的常量，N为针对视频抽取帧的总数，且j为正整数，M为正整数。在一些实施例中，预定约束条件还包括：1/S<nk/nk+1<S（k=1,2,…,j-1，j+1,…,N-1）；其中S为大于1的常量。在一些实施例中，预定约束条件包括：将所抽取的视频帧序列中的每个视频帧与其相邻帧之间的相似度度量记为n1,…,nk,nk+1,…,nN-1，第一相似度度量为n1，第二相似度度量选自n2~nN-1其中之一，第一相似度度量和第二相似度度量满足下述式子中的至少M个式子：n2/n1>K;n3/n1>K;……;nN-1/n1>K;其中K为大于等于10的常量，N为针对视频抽取帧的总数，且M为正整数。在一些实施例中，预定约束条件还包括：1/S<nk/nk+1<S（k=2,…,N-1）；其中S为大于1的常量。在一些实施例中，n1为视频帧序列中首帧与第二帧之间的相似度度量。在一些实施例中，方法还包括：待检测视频是通过对原始视频分段得到的原始视频中的一个视频分段。在一些实施例中，基于特征检测算法对视频帧序列进行特征检测，获得视频帧特征描述子的序列包括：从视频帧序列中的一个视频帧中确定多个特征点P；根据特征点P的特征向量，获得视频帧特征描述子的序列。在一些实施例中，对视频帧特征描述子的序列中的相邻视频帧特征描述子进行视频帧特征匹配，获得视频帧序列的相邻帧之间的相似度度量，包括：将抽取出的视频帧其中一帧的各个特征点P的特征向量，与相邻视频帧中的各个特征点P的特征向量，分别进行向量匹配；根据向量的匹配结果，获得视频帧序列的相邻帧之间的相似度度量。在一些实施例中，视频帧特征匹配包括：对视频帧特征描述子的序列中的相邻视频帧特征描述子进行暴力匹配得到暴力匹配结果，暴力匹配为针对相邻视频帧特征描述子中的特征点P进行一一匹配；通过基于区域块的统计方法，对暴力匹配结果进行过滤，区域块是以暴力匹配结果中的当前特征点为中心、半径为d的区域；得到最终的匹配点个数作为视频两帧之间的相似度度量。在一些实施例中，该方法还包括基于将视频标记为包含不符帧的视频，在终端处对包含不符帧的视频进行提示；或者基于将视频标记为包含不符帧的视频，从服务器向终端发送指示在终端处对包含不符帧的视频进行提示的消息。根据本专利技术的一些实施例，提供了一种视频检测装置。该装置包括：本文档来自技高网...

【技术保护点】
1.一种视频检测方法，包括：/n获取待检测视频；/n基于预定抽帧间隔对所述待检测视频抽帧，获得抽取出的视频帧序列；/n基于特征检测算法对所述视频帧序列进行特征检测，获得视频帧特征描述子的序列；/n对所述视频帧特征描述子的序列中的每两个相邻视频帧特征描述子进行视频帧特征匹配，获得所述视频帧序列的相邻帧之间的相似度度量；/n在所述相似度度量满足预定约束条件的情况下，将所述视频标记为包含不符帧的视频。/n

【技术特征摘要】
1.一种视频检测方法，包括：
获取待检测视频；
基于预定抽帧间隔对所述待检测视频抽帧，获得抽取出的视频帧序列；
基于特征检测算法对所述视频帧序列进行特征检测，获得视频帧特征描述子的序列；
对所述视频帧特征描述子的序列中的每两个相邻视频帧特征描述子进行视频帧特征匹配，获得所述视频帧序列的相邻帧之间的相似度度量；
在所述相似度度量满足预定约束条件的情况下，将所述视频标记为包含不符帧的视频。


2.根据权利要求1所述的方法，其特征在于，所述基于预定抽帧间隔对所述待检测视频抽帧，包括：
基于等间距的抽帧间隔对所述待检测视频抽帧；或者
针对视频起始若干帧仅抽取一帧，并且对所述视频的其余帧等间隔抽帧。


3.根据权利要求1所述的方法，其特征在于，所述预定约束条件包括：抽取出的视频帧序列其中一个第一视频帧与其相邻帧之间的第一相似度度量，与除所述第一视频帧外的多个第二视频帧与其相邻帧之间的多个第二相似度度量其中之一的比值的倒数大于等于预定阈值。


4.根据权利要求3所述的方法，其特征在于，所述预定约束条件还包括：
每两个第二相似度度量之间的比值落入预定范围。


5.根据权利要求3所述的方法，其特征在于，所述预定约束条件还包括：将所抽取的视频帧序列中的每个视频帧与其相邻帧之间的相似度度量记为n1,…,nk,nk+1,…,nN-1，所述第一相似度度量nj选自其中之一，所述第二相似度度量是除所述第一相似度度量之外的相似度度量n2,…,nj-1,nj+1,…,nN-1中的任意一个，所述第一相似度度量和第二相似度度量满足下述式子中的至少M个式子：
n1/nj>K;
n2/nj>K;
……;
nj-1/nj>K;
nj+1/nj>K;
……;
nN-1/nj>K;
其中，K为大于等于10的常量，N为针对所述视频抽取帧的总数，且j为正整数，M为正整数。


6.根据权利要求3所述的方法，其特征在于，所述预定约束条件包括：将所抽取的视频帧序列中的每个视频帧与其相邻帧之间的相似度度量记为n1,…,nk,nk+1,…,nN-1，所述第一相似度度量为n1，所述第二相似度度量选自n2~nN-1其中之一，所述第一相似度度量和第二相似度度量满足下述式子中的至少M个式子：
n2/n1>K;
n3/n1>K;
……;
nN-1/n1>K;
其中K为大于等于10的常量，N为针对所述视频抽取帧的总数，且M为正整数。


7.根据权利要求5或6所述的方法，其特征在于，所述n1为所述视频帧序列中首帧与第二帧之间的相似度度量。


8.根据权利要求5所述的方法，其特征在...

【专利技术属性】
技术研发人员：尚焱，刘杉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44