关键帧的检测方法及装置制造方法及图纸

本发明专利技术提出一种关键帧的检测方法及装置，所述方法包括以下步骤：S1：对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻视频帧在各个分块和各个颜色分量上的直方图分布概率及联合直方图分布概率；S2：根据两个相邻视频帧的直方图分布概率及联合直方图分布概率计算两个相邻视频帧之间的分块加权交互信息量，并根据分块加权交互信息量计算两个相邻视频帧的帧差；S3：根据帧差对当前视频帧进行第一次关键帧检测以获得当前视频帧的初检结果；S4：根据当前视频帧的初检结果对当前视频帧进行第二次关键帧检测以获得当前视频帧的最终检测结果。根据本发明专利技术的方法，计算速度快、查全率和查准率高、拓展性和移植性强。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别涉及一种关键帧的检测方法及装置。
技术介绍
视频由不同场景构成，场景由不同镜头组成，每个镜头则包含了几个至几百甚至以上的不等视频帧，关键帧的检测是指检测出这些不等视频的镜头边界，找出镜头变化时对应的视频帧。一般镜头变化包括镜头突变、淡入淡出型渐变和溶解型渐变。现有技术的关键帧的检测方法是利用图像直方图距离来表征相邻帧的帧差，从而找出镜头变化时对应的视频帧，例如直方图最小帧差法，这种方法存在的问题是，图像直方图只是通过简单的累积统计，不足以确切的变现出相邻两帧直方图之间的特征差异。现有技术可采用双阈值法进行关键帧的检测，能够同时检测出视频的突变型和渐变性关键帧，这种方法存在的问题是，一方面是对光照及大物体的运动干扰，存在明显的错检，另一方面对于部分渐变型的关键帧，例如溶解型渐变关键帧，并不能正确地检测出来，出现了错检及漏检的情况。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为达到上述目的，本专利技术的一方面提出一种关键帧的检测方法，包括以下步骤:S1:对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；S2:根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；S3:根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；S4:根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。根据本专利技术实施例的关键帧的检测方法，具有以下优点:(1)计算速度快、处理效率高:对于任意分辨率的视频能够进行采样处理，可实现实时的关键帧检测；(2)查全率和查准率高:能够准确地定位关键帧，具有很高的查全率和查准率；(3)良好的拓展性和移植性、使用方便:可与其它关键帧检测方法以及其它应用结合起来，具有良好的拓展性和广阔的应用空间。为实现上述方法，本专利技术的另一方面还提出一种关键帧的检测装置，包括:分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；帧差计算模块，与所述分布概率统计模块相连，用于根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；第一检测模块，与所述帧差计算模块相连，用于根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；第二检测模块，与所述第一关键帧检测模块相连，用于根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。。根据本专利技术实施例的关键帧的检测装置，使用方便，处理效率高，查全率和查准率高，并具有良好的拓展性和移植性。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:图1为本专利技术一方面实施例的关键帧的检测方法流程图；图2为本专利技术实施例的非均匀分块及对应权重的示意图；图3为本专利技术实施例的第一次关键帧检测的原理示意图；图4为本专利技术实施例的像素点采样点的分布示意图；图5为本专利技术另一方面实施例的关键帧的检测装置的结构示意图；图6为本专利技术实施例的分布概率统计模块100的结构示意图；图7为本专利技术实施例的帧差计算模块200的结构示意图；图8为本专利技术实施例的第一检测模块300的结构示意图；以及图9为本专利技术实施例的第二检测模块400的结构示意图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。为说明本专利技术实施例的关键帧的检测方法及装置的效果优劣定义了查全率和查准率。查全率是指视频镜头分割中正确关键帧的检出数目除以实际关键帧数目，查准率是指视频镜头分割中正确关键帧的检出数目除以总关键帧的检出数目。图1为本专利技术一方面实施例的关键帧的检测方法流程图。如图1所示，根据本专利技术实施例的关键帧的检测方法，包括以下步骤:步骤S101，对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率。具体地，首先，对两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=l，2，...，9)，并根据非均匀分块的位置赋予权值W，其中，本文档来自技高网...

【技术保护点】
一种关键帧的检测方法，其特征在于，包括以下步骤：S1：对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；S2：根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；S3：根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；S4：根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。

【技术特征摘要】
1.一种关键帧的检测方法，其特征在于，包括以下步骤: S1:对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率； 52:根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差； 53:根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果； S4:根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。2.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤SI进一步包括: 511:对所述两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=l，2，...，9)，并根据所述非均匀分块的位置赋予权值W，其中，3.根据权利要求2所述的关键帧的检测方法，其特征在于，所述步骤S2进一步包括: 521:根据所述两个相邻的视频帧的直方图分布概率(尺)、K(式)以及所述联合直方图分布概率尺，Α)，按照以下公式计算所述两个相邻的视频帧在m分块、R颜色分量上的交互信息量^1(A)，4.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤S3进一步包括: 531:将所述两个相邻的视频帧的帧差与预定的第一阈值和第二阈值进行比较； 532:如果所述两个相邻的视频帧的帧差大于所述第一阈值，则所述当前视频帧可能为突变关键帧，继续执行步骤S33， 如果所述两个相邻的视频帧的帧差小于所述第一阈值且大于所述第二阈值，则所述当前视频帧为渐变起始帧，继续执行步骤S34进行渐变结束帧检测； 533:根据环形阵列存储以所述当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3飞， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差的大小，如果所述两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则所述当前视频帧不是突变关键帧， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差的大小，如果所述两个相邻的视频帧的帧差比所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差大3倍，则所述当前视频帧为突变关键帧，否则所述当前视频帧不是突变关键帧； 534:计算所述当前视频巾贞与其后的第k视频巾贞的巾贞差distt，k,其中k=t+l, t+2,..., 判断所述当前视频帧与其后的第k视频帧的帧差distt，k与所述第一阈值的大小，如果所述当前视频帧与其后的第k视频帧的帧差distt，k大于所述第一阈值，则所述第k帧为候选结束帧， 计算所述第k巾贞与其之后的第a视频巾贞的巾贞差distk+j+1,k+j,其中，j=0, 1，2，...，a_l ; 判断所述第k帧与其之后的第a视频帧的帧差distt，k与所述第二阈值的大小，如果所述第k帧与其之后的第a视频帧的帧差diStk+m, k+J小于所述第二阈值，则所述第k帧为渐变结束帧。5.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S31进一步包括: 5311:计算所述当前视频巾贞的前一个关键巾贞和所述当前视频巾贞的相邻视频巾贞之间视频序列长度为S的视频帧的帧差ClisttHa=I,...，S-1)， 5312:计算所述序列长度为S的视频帧的帧差均值μ， 5313:根据所述帧差均值μ计算所述第一阈值和所述第二阈值，其中所述第一阈值等于所述帧差均值μ的5倍，所述第二阈值等于所述帧差均值的3倍；以及 S314:将所述两个相邻的视频帧的帧差与所述第一阈值和第二阈值进行比较。6.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S4进一步包括: S41:获取所述当前视频帧的初检结果；542:如果所述当前视频帧的初检结果为突变关键帧，则继续执行步骤S43， 如果所述当前视频帧的初检结果为渐变关键帧，则继续执行步骤S44和步骤S45 ； 543:根据所述当前视频帧计算分块直方图差及像素差异直方图方差， 根据所述分块直方图差确定第一变化阈值，并根据所述像素差异直方图方差确定第二变化阈值， 判断所述像素差异直方图方差与所述第一变化阈值的大小以及所述分块直方图差与所述第二变化阈值的大小， 如果所述像素差异直方图方差大于所述第一变化阈值或所述分块直方图差小于所述第二变化阈值，则所述当前视频帧不是突变关键帧， 如果所述像素差异直方图方差小于或等于所述第一变化阈值且所述分块直方图差大于或等于所述第二变化阈值，则所述当前视频帧为突变关键帧； 544:根据所述步骤S34的初检结果，对所述当前视频帧即渐变起始帧到所述渐变结束帧之间视频帧序列进行像素点R、G、B的采样， 判断所述采样点序列中是否存在全黑采样点，如果存在所述全黑采样点，则所述当前视频帧及所述渐变结束帧为淡入淡出渐变关键帧，如果不存在所述全黑采样点，则初检结果为误检。545:判断两个初检关键巾贞Sa和Sb间的视频巾贞序列长度是否大于30巾贞，如果所述视频帧序列长度大于30帧，则继续下一步计算和判断，如果所述视频帧序列长度不大于30帧，则所述两个初检关键帧Sa和Sb之间不存在溶解型渐变关键帧， 统计所述两个初检关键帧Sa，Sb间的相邻视频帧的帧差均值λ， 判断所述两个初检关键帧Sa，Sb间视频帧序列Sa，Sa+1，Sa+2，…，Sw, Sb中是否存在某帧Sk，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则所述Sk是溶解型渐变的候选起始帧，此时已检测到帧序列Sk+a+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5 8， 判断所述Sk+a+1，-,Sw, Sb中存在是否存在某帧&，其之后ω帧的两个相邻视频帧的帧差都小于所述均值λ ,如果存在则所述&是溶解型渐变的结束帧，令k=r+co转入步骤S44继续检测，当k>b时结束检测，其中ω=5 8。7.一种关键帧的检测装置，其特征在于，包括: 分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块...

【专利技术属性】
技术研发人员：戴琼海，张佳宏，
申请(专利权)人：清华大学，
类型：发明
国别省市：