一种视频片段检索方法和系统技术方案

本发明专利技术提供了一种视频片段检索方法和系统，该方法包括以下步骤：对原始视频片段进行帧采样；对每个原始视频片段内选取的采样帧进行聚类，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量计算该代表帧所占的比例值；依据所需比较的两个视频片段的代表帧建立一个加权二分图，加权二分图的权重由所述代表帧之间的相似度和该代表帧在相应聚类内的比例值确定；对加权比例二分图作最大权匹配，获得两个视频片段的相似度；通过视频片段的相似度分析，在数据库进行与输入的检索视频片段相似的视频片段检索。本发明专利技术在视频片段的时长具有较大变化时，也能准确给出视频片段间的相似度，提供有效的视频检索结果。

【技术实现步骤摘要】

本专利技术涉及视频分析
，特别是涉及一种视频片段检索方法和系统。
技术介绍
随着科技的进步及多媒体技术的发展，视频数据已经应用于各种不同的领域，如安全、数字图书馆、广告、数字电视和娱乐等。不断增长的视频数据量增加了阅读视频信息及获取所需视频数据的难度。因此，如何在海量视频中快速检索出所需要的视频资料显得至关重要。基于内容的视频检索技术是解决上述问题的一种重要方法。基于内容的视频检索是指从视频数据中提取出对象语义、特征(视觉信息、音频信息、运动信息等)，再根据这些视频的特征在视频数据库中进行相关信息查询，从而找到具有相似内容的视频数据。视频片段检索是基于内容的视频检索的主要方式，它是给定一个查询视频片段，从视频库中找到与其相似的视频片段。已有的视频片段检索方法有美国电气及电子工程师学会电路与系统汇刊2006文集(IEEE Transactions on Circuits and Systems for Video Technology，vol.16，no.5，p.612-627，2006)公布的应用二分图匹配算法进行视频相似度分析的方法。该方法首先将要比较的两个视频片段建立一个加权二分图，然后采用最大匹配方法进行视频片段的过滤，再应用最大权匹配方法获得视频片段之间的相似程度。但是这种方法是将全部的镜头默认为具有相同的重要性，然后再进行视频内容的比较。因此，当两个镜头的长度相差较大，但是通过局部特征(如：关键帧)计算得到的相似度也较大时，才会被判断为两者完全相似；另外一种可能存在的情况是，假设当第一个视频片段由两个镜头组成，其中镜头A的长度占整个视频片段的90％，镜头B的长度占整个视频片段得10％；第二个视频片段也由两个镜头组成，其中镜头C的长度占整个视频片段的90％，镜头D的长度占视频片段长度的10％。由于镜头A、B、C及D都-->被认为具有相同的重要性，当镜头B与D很相似，而A与C不相似时，会得出两个视频片段有50％的内容相似的检索结果，而实际上这两个视频只具有10％的内容基本相似。可见，已有的算法在两个视频片段具有相近的时长时能取得较好的视频检索效果，而当两个视频片段之间的时长差异较大时，所计算出的相似度则有较大的误差。总之，需要本领域技术人员迫切解决的一个技术问题就是：如何在视频片段的时长具有较大变化时，也能准确给出视频片段间的相似度，提供有效的视频检索结果。
技术实现思路
本专利技术所要解决的技术问题是提供一种视频片段检索方法和系统，能够在视频片段的时长具有较大变化时，也能准确给出视频片段间的相似度，提供有效的视频检索结果。为了解决上述问题，本专利技术公开了一种视频片段检索方法，该方法包括：对原始视频片段进行帧采样；对每个原始视频片段内选取的采样帧进行聚类，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量计算该代表帧所占的比例值；依据所需比较的两个视频片段的代表帧建立一个加权二分图，加权二分图的权重由所述代表帧之间的相似度和该代表帧在相应聚类内的比例值确定；对加权比例二分图作最大权匹配，获得两个视频片段的相似度；通过视频片段的相似度分析，在数据库进行与输入的检索视频片段相似的视频片段检索。优选的，通过比较视频片段内采样帧之间的色彩直方图相似度进行采样帧的聚类。优选的，选取每个聚类中与其他采样帧相似度之和最大的采样帧作为代表帧。优选的，通过比较两帧图像的色彩直方图计算所述两帧图像之间的相似度。-->优选的，所述聚类中色彩直方图相似度的阈值为0.8～0.85。进一步，所述加权二分图的权重通过以下步骤确定：计算两个视频片段的代表帧A、B之间的色彩直方图相似度s(A，B)；获得代表帧A、B在相应的聚类内帧图像间所占的比例值PA及PB；计算代表帧A表示的所述加权二分图中的顶点a和代表帧B表示的所述加权二分图中的顶点b之间的权重ω＝s(A，B)×min(PA，PB)。根据本专利技术的实施例，还公开了一种视频片段检索系统，该系统包括：帧采样模块，用于按照预设的采样率对原始视频进行帧采样；层次聚类模块，用于对每个视频片段内选取的采样帧应用层次聚类方法进行距离，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量提供该代表帧所占的比例值；建立加权二分图模块，用于将要比较的两个视频片段的代表帧建立一个加权二分图，加权二分图的权重由所述代表帧之间的相似度和该代表帧在相应聚类内的比例值确定；最大权匹配模块，用于对加权比例二分图作最大权匹配，获得两个视频片段的相似度；视频片段检索模块，用于通过视频片段的相似度分析，在数据库进行与输入的检索视频片段相似的视频片段检索。进一步，所述建立加权二分图模块包括：相似度计算子模块，用于计算两个视频片段的代表帧A、B之间的色彩直方图相似度s(A，B)；权重计算子模块，用于根据代表帧A、B在相应的聚类内帧图像间所占的比例值PA及PB，计算代表帧A表示的所述加权二分图中的顶点a和代表帧B表示的所述加权二分图中的顶点b之间的权重ω＝s(A，B)×min(PA，PB)。优选的，选取每个聚类中与其他采样帧相似度之和最大的采样帧作为代表帧。优选的，通过比较视频片段内采样帧之间的色彩直方图相似度进行采样帧的聚类。-->与现有技术相比，本专利技术具有以下优点：本专利技术首先对原始视频片段进行帧采样，采用采样帧进行分析，与关键帧分析相比，采样帧不需要额外的运算，同时更有效地反应了原始视频的内容。本专利技术在每个视频片段内进行采样帧聚类，每个聚类选取出一个代表帧，并通过类内帧的数目为该代表帧赋予一个比例值，更有效地表示出视频的主要内容以及该内容所占的比例。本专利技术通过代表帧之间的相似度和代表帧的比例值建立加权二分图，有效地从视频片段主要内容的相似度以及占整个视频片段的比例描述了两个视频片段之间的相似度。本专利技术的方法改善了现有方法中主要关注视频片段中的相似部分内容，一般采用对关键帧的分析，对于视频中不相似度部分的分析相对较少，从而当两个视频片段中存在较多的不相似部分时，使得视频片段分析结果不准确的问题，提高了长度相差较多的视频片段的相似度分析效果，并提高了最终的视频检索效果。同时，本专利技术方法设计简单，易于实现。附图说明图1是本专利技术一种视频片段检索方法实施例步骤流程图；图2是本专利技术一种视频片段检索系统结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1，示出了本专利技术一种视频片段检索方法实施例，具体可以包括以下步骤：步骤101、对原始视频片段进行帧采样。在视频片段相似度分析之前，首先按照预设的采样率对原始视频片段进行帧采样，即每隔预设的帧数目选取一帧作为原始视频片段的采样帧。步骤102、对每个原始视频片段内选取的采样帧进行聚类，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量计算该代表帧所占-->的比例值。优选的，聚类时采用的特征为色彩直方图相似度，并设置适当的聚类中色彩直方图相似度阈值。色彩直方图，是最常用的表达图像颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响。颜色直方图简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用本文档来自技高网...

【技术保护点】
一种视频片段检索方法，其特征在于，包括以下步骤：　对原始视频片段进行帧采样；　对每个原始视频片段内选取的采样帧进行聚类，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量计算该代表帧所占的比例值；　依据所需比较的两个视频片段的代表帧建立一个加权二分图，加权二分图的权重由所述代表帧之间的相似度和该代表帧在相应聚类内的比例值确定；　对加权比例二分图作最大权匹配，获得两个视频片段的相似度；　通过视频片段的相似度分析，在数据库进行与输入的检索视频片段相似的视频片段检索。

【技术特征摘要】
1、一种视频片段检索方法，其特征在于，包括以下步骤：对原始视频片段进行帧采样；对每个原始视频片段内选取的采样帧进行聚类，在每个聚类中选取一帧图像作为代表帧，并根据每个聚类内帧图像的数量计算该代表帧所占的比例值；依据所需比较的两个视频片段的代表帧建立一个加权二分图，加权二分图的权重由所述代表帧之间的相似度和该代表帧在相应聚类内的比例值确定；对加权比例二分图作最大权匹配，获得两个视频片段的相似度；通过视频片段的相似度分析，在数据库进行与输入的检索视频片段相似的视频片段检索。2、根据权利要求1所述的视频片段检索方法，其特征在于，通过比较视频片段内采样帧之间的色彩直方图相似度进行采样帧的聚类。3、根据权利要求1所述的视频片段检索方法，其特征在于，采用以下方法进行代表帧的选取：选取每个聚类中与其他采样帧相似度之和最大的采样帧作为代表帧。4、根据权利要求2所述的视频片段检索方法，其特征在于，通过比较两帧图像的色彩直方图计算所述两帧图像之间的相似度。5、根据权利要求4所述的视频片段检索方法，其特征在于，所述聚类中色彩直方图相似度的阈值为0.8～0.85。6、根据权利要求1所述的视频片段检索方法，其特征在于，所述加权二分图的权重通过以下步骤确定：计算两个视频片段的代表帧A、B之间的色彩直方图相似度s(A，B)；获得代表帧A、B在相应的聚类内帧图像间所占的比例值PA及PB；计算代表帧A表示的所述加权二分图中的顶点a和代表帧B表示的所述加权二分图中的顶点b之...

【专利技术属性】
技术研发人员：戴琼海，高跃，谢旭东，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]