用于基于渐进式改良从视频序列选择帧的方法技术

本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关键帧的新方法。在一个方面中，所述方法包含从视频序列选择参考帧及在所述经组合度量下迭代地计算候选帧相对于所述参考帧的改良或增益。在另一方面中，确定参考关键帧的主列表，计算与每一参考关键帧相关联的多个候选帧中的每一者的品质度量，及用产生优于所述参考关键帧的最大总品质改良的候选帧取代所述主列表中的每一参考关键帧。

Method for selecting frames from a video sequence based on progressive improvement

The application aims at a new method for automatically and effectively combining a plurality of metrics to select a concern or key frame from a video sequence. In one aspect, the method comprises selecting a reference frame from the video sequence and iteratively calculating the improvement or gain of the candidate frame relative to the reference frame under the combined metric. On the other hand, determine the main reference list of key frames, calculate each of a plurality of candidate frames associated with each key frame of reference quality metric, each candidate reference key frame frame maximum total quality improvement and is better than the reference key frame to replace the main list in.

【技术实现步骤摘要】
【国外来华专利技术】用于基于渐进式改良从视频序列选择帧的方法相关申请案的交叉参考本申请案主张2014年9月2日申请的标题为“用于基于渐进式改良从视频序列选择帧的方法(AMETHODFORSELECTINGFRAMESFROMVIDEOSEQUENCESBASEDONINCREMENTALIMPROVEMENT)”的第14/475,074号美国专利申请案的优先权，所述案的全文以引用方式并入本文中。
本专利技术涉及视频处理的领域，且更特定来说涉及用于从视频选择关键帧的经改良方法。
技术介绍
关键视频帧的选择可用于许多应用中。举例来说，常期望提取并呈现可传达视频的准确且可辨识摘要或概要的视频数据的一些子集。关键帧提取算法用于从视频选择信息最丰富帧的子集，其目标为用有限数目个帧表示视频中的最重要内容。关键帧提取应用于若干广泛领域的视频处理中，例如视频概述、产生DVD中的章名、视频索引及从视频打印。摘要或概要还可促进视频共享或帮助用户决定整个视频是否值得下载或观看。关键帧提取是活跃的研究领域，且已提出用于从视频提取关键帧的许多方法。用于通过提取关键视频帧来产生视频摘要的算法在所属领域中是已知的，但其具有通过本专利技术解决的缺点。主要基于帧间运动检测确定关键视频帧的现存算法(例如在AaronT.Deever的第8,599,313号美国专利中揭示的算法)具有至少两个缺点。此些算法要么不考虑品质度量以协助关键帧的选择，要么需要多个度量的广泛联合优化(计算昂贵的方法)。举例来说，J.Luo等人的标题为“从视频剪辑提取关键帧候选(Extractingkeyframescandidatesfromvideoclip)”的第7,889,794号美国专利的方法通过对视频剪辑执行指示场景或相机平移的全域运动估计来分析视频剪辑以确定关键帧。作为额外实例，I.Wilf等人的标题为“从视频序列选择关键帧的方法(Methodofselectingkey-framesfromavideosequence)”的第7,184,100号美国专利教示通过使用区域分析及运动分析两者比较视频序列中的每一帧与相邻帧而从视频序列选择关键帧。现有技术方法不包含或组合其它不基于运动的度量(例如视频帧的图像品质或语义内容)以改良关键帧选择过程的品质。将此些度量集成到此些方法中将需要新的复杂且耗时的优化过程。因此，需要制定使用额外品质度量改良当前算法的新策略。本专利技术的一个目的是选择感知上佳于通过常见基于运动的方法选择的关键帧但稍微影响计算成本的关键帧。本专利技术的进一步目的是通过在无需算法的新优化或新特征的规范化的情况下并入新度量来改良现存算法。
技术实现思路
本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关键帧的新方法。在一个方面中，所述方法包含从视频序列选择参考帧及在所述经组合度量下迭代地计算候选帧相对于所述参考帧的改良或增益。根据本专利技术的度量可包含图像品质度量，例如清晰度、对比度及噪声；基于运动的度量，例如相机抖动及运动模糊；及美学品质度量，例如图像的构成以及脸部的品质及表情。在其它方面中，本专利技术使用其它基于内容的特征以制定用于改良算法的新度量。此些基于内容的特征包含图像的颜色直方图、图像的黑色直方图、图像的语义信息、图像中的对象、图像的背景及图像的前景。在一个实施例中，本专利技术方法包括计算清晰度度量及所检测人脸的品质度量，本文中称为faceIVI。根据此方法，计算每一参考关键帧及时间上相邻于每一参考关键帧的多个候选帧中的每一者的清晰度得分及faceIVI得分。在其它实施例中，本专利技术方法包含计算其它度量。附图说明图1A到B含有说明本专利技术的一种方法的流程图。图2A展示从视频序列中的帧选择的两个参考关键帧。图2B展示其中与两个相邻参考关键帧相关联的多个候选关键帧重叠的情况。图2C展示调整重叠的多个候选关键帧使得其不再重叠的一种方法。图3是说明从基于运动的关键帧提取算法输出的主列表的实例。图4是说明对应主列表帧的预定义搜索范围内具有最高图像清晰度得分的候选帧的实例。图5是说明对应主列表帧的预定义搜索范围内具有最高faceIVI得分的候选帧的实例。图6是说明在根据本专利技术的方法合并来自图4的输出与来自图5的输出之后的主列表的实例。图7是说明从图6的主列表选择的关键帧的最终列表的实例。图8是展示根据本专利技术的实施例的系统的组件的高级图。具体实施方式本申请案揭示用于从视频序列选择关键帧的经改良方法。如所属领域的技术人员将明白，本申请案中揭示的本专利技术方法适于运用许多类型的关键帧选择算法进行实施。举例来说，本申请案中揭示的方法可用来改良所属领域中已知的关键帧选择算法，包含但不限于基于运动的算法，例如在AaronT.Deever的第8,599,313号美国专利中揭示的算法，所述专利的揭示内容以引用方式并入本文中。替代地，所揭示方法与基于镜头边界检测的算法兼容。在本专利技术的方法中，通过基于某些品质度量在参考关键帧附近搜索来识别候选帧。在本专利技术的一个方面中，所使用品质度量可为清晰度度量及所检测人脸的品质度量，本文中称为faceIVI。在下文描述中，将从通常将被实施为软件程序的方面描述本专利技术的一些实施例。所属领域的技术人员将认知，此软件的等效物还可构建在硬件中，且硬件实施方案可带来可能够在更广泛应用中(例如在实时系统中)使用本专利技术的优点。因为图像操控算法及系统是熟知的，本专利技术描述将尤其旨在形成根据本专利技术的方法的部分或与根据本专利技术的方法更直接地协作的算法及系统。可从所属领域中已知的此些系统、算法、组件及元件选择本文中未具体展示或描述的此些算法及系统的其它方面，连同涉及所述方面的用于产生及以其它方式处理图像信号的硬件及软件。鉴于如本专利技术中描述的根据本专利技术的系统，可用于本专利技术的实施方案的本文中未具体展示、建议或描述的软件是常见的且在所属领域的一般技术范围内。本专利技术包含本文中描述的实施例的组合。对“特定实施例”等的引用指代存在于本专利技术的至少一个实施例中的特征。对“实施例”或“特定实施例”等的单独引用未必指代相同实施例；然而，此些实施例并不互斥，除非如此指示或所属领域的技术人员易于理解。在引用“方法”等中使用单数或复数并非为限制性。应注意，除非上下文另外明确地提及或要求，否则单词“或”在本专利技术中以非排斥意义加以使用。将参考图1A到B中展示的步骤描述本专利技术方法的一个实施例的步骤。首先，在步骤101中，使用关键帧提取算法(例如前文提及的基于运动的算法)从视频序列计算参考关键帧的主列表。还可使用其它算法，例如基于镜头边界检测的算法。出于在下文论述中说明的目的，每一参考关键帧将被标记为RKFi，其中i是1与主列表中的参考关键帧的数目之间的整数。在步骤102中，基于单品质度量、品质度量的组合或一些其它量度将来自主列表的参考关键帧的子集指定为最终帧。在步骤103到107a-b中相同地处理主列表中的参考关键帧中的每一者，而不管其是否被指定为最终帧。在步骤108中使用此指定。对主列表中的每一参考关键帧执行步骤103到107a或107b。在步骤103中，计算相邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每一者的清晰度得分。在本文中由记号SHARP(frame)标记此清晰度得分计算。多个候选帧可为紧接视频序列中本文档来自技高网...

【技术保护点】
一种从视频序列选择关键帧的方法，其包括：使用关键帧提取算法确定参考关键帧的主列表；及对于所述主列表中的每一参考关键帧：选择相邻于所述参考关键帧的多个候选帧；基于一或多个品质度量评估所述多个候选帧；从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键帧的改良的候选关键帧；及用所述候选关键帧取代所述主列表中的所述参考关键帧。

【技术特征摘要】
【国外来华专利技术】2014.09.02 US 14/475,0741.一种从视频序列选择关键帧的方法，其包括：使用关键帧提取算法确定参考关键帧的主列表；及对于所述主列表中的每一参考关键帧：选择相邻于所述参考关键帧的多个候选帧；基于一或多个品质度量评估所述多个候选帧；从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键帧的改良的候选关键帧；及用所述候选关键帧取代所述主列表中的所述参考关键帧。2.根据权利要求1所述的方法，其中基于一或多个品质度量评估所述多个候选帧包括：计算所述多个候选帧中的每一者的第一品质度量得分；从所述多个候选帧当中选择第一候选帧，其中所述第一候选帧具有所述第一品质度量的最高得分；计算所述多个候选帧中的每一者的第二品质度量得分；从所述多个候选帧当中选择第二候选帧，其中所述第二候选帧具有所述第二品质度量的最高得分；计算所述第一候选帧优于所述参考关键帧的第一总品质改良；及计算所述第二候选帧优于所述参考关键帧的第二总品质改良。3.根据权利要求2所述的方法，其中从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键帧的改良的候选关键帧包括：如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述第一候选帧具有高于所述参考关键帧的品质，那么将所述第一候选帧选择为所述候选关键帧；及如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述第二候选帧具有高于所述参考关键帧的品质，那么将所述第二候选帧选择为所述候选关键帧。4.根据权利要求1所述的方法，其进一步包括下列步骤：在执行任何品质改良取代之前，将所述主列表中的参考关键帧的子集指定为最终帧；产生关键帧的最终列表，其中所述最终列表包括如通过所述品质改良取代修改的来自所述主列表的所述最终帧；及将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表，所述任何额外关键帧的所述品质改良取代完成大于预定义阈值的总改良。5.一种从视频序列选择关键帧的方法，其包括：使用关键帧提取算法确定参考关键帧的主列表；对于所述主列表中的每一参考关键帧：确定与所述参考关键帧相关联的多个候选帧；计算所述多个候选帧中的每一者的第一品质度量得分；从所述多个候选帧当中选择第一候选帧，其中所述第一候选帧具有所述第一品质度量的最高得分；计算所述多个候选帧中的每一者的第二品质度量得分；从所述多个候选帧当中选择第二候选帧，其中所述第二候选帧具有所述第二品质度量的最高得分；计算所述第一候选帧优于所述参考关键帧的第一总品质改良；计算所述第二候选帧优于所述参考关键帧的第二总品质改良；如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述第一候选帧具有高于所述参考关键帧的品质，那么用所述第一候选帧取代所述主列表中的所述参考关键帧；及如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述第二候选帧具有高于所述参考关键帧的品质，那么用所述第二候选帧取代所述主列表中的所述参考关键帧。6.根据权利要求5所述的方法，其中帧的所述第一品质度量的计算是基于所述帧的清晰度。7.根据权利要求5所述的方法，其中帧的所述第二品质度量的计...

【专利技术属性】
技术研发人员：亚历山大·C·路易，戴维·K·罗达，
申请(专利权)人：柯达阿拉里斯股份有限公司，
类型：发明
国别省市：美国,US