一种检测视频片段的方法和装置制造方法及图纸

本发明专利技术实施例公开了一种检测视频片段的方法和装置，属于图像处理领域。方法包括：将当前输入的视频文件或实时流视频作为待检测对象，通过视频分析和检索方法来检测和识别当前视频流中是否出现了视频库中的视频，且对该视频片段在待检测流中的准确位置进行定位，并输出检测结果。本发明专利技术提取的图像特征融合了图像的全局和局部信息，保证高召回率的同时降低匹配错误率，对图像的内容变化保持鲁棒性，从而对实时或离线电视或视频节目中的视频片段进行精确定位，在视频流发生丢帧、出现马赛克块、不同视频分辨率和帧率、视频内容发生变化等情况下保持了对视频片段的精确检测与识别。

【技术实现步骤摘要】
一种检测视频片段的方法和装置
本专利技术涉及图像处理领域，尤其涉及一种检测视频片段的方法和装置。
技术介绍
如今随着视频摄录设备软硬件技术的发展，越来越多的视频由专业或普通人士摄制产生。在广电行业中，视频素材以及电视节目视频的数量和数据量均非常大。在管理这些海量视频数据中，根据特定需要快速获取其中的某个或某些视频成为一个常见且重要的操作，例如：寻找相同视频内容的视频素材、节目内容、广告片段等。同时，随着互联网视频网站的兴起，每天有几十万的视频上传，每家视频网站拥有的视频数据都是海量的数据，存储开销非常大，如果用户上传相似的视频则浪费了存储空间，从而增加了成本。而对于个人以及家庭而言，也会保存一些与记录生活的视频，同样，怎样在这些视频中查找相似的视频片段也成为了一个实际需求。目前基于内容的视频检索技术主要分为两类：1)基于关键帧的视频检测；2)基于序列片段匹配的视频检测。基于关键帧的视频检测方法首先从视频中提取出具有代表性的关键帧集合来表征该视频，然后通过关键帧之间的匹配来实现视频之间的匹配和检索。提取到关键帧后，从关键帧上提取出更加简洁和有利于计算的图像特征。图像特征主要包括两大类：全局图像特征和局部图像特征。常用的全局特征有：颜色特征(颜色直方图、颜色矩等)、纹理特征(灰度共生矩阵、LBP、Gabor等)、形状边缘特征(边缘直方图、形状上下文等)。常用的局部特征包括：局部特征提取算子——Harris,Laplace,DOG、Hessian等；局部特征描述算子——MSER，SIFT，ORB等。全局特征具有运算检测的特点，但其容易受到图像变化的影响；而局部图像特征具有光照不变性、旋转不变性、平移不变性、尺度不变性以及部分仿射不变性的特点，但其计算量较大，对机器的计算能力要求较高。基于序列片段匹配的视频检测方法利用了视频帧之间的时序和空间连续性特点来对视频进行检测和定位，该方法主要包括两个组成部分：图像特征提取和序列分析。在该类方法中，图像特征主要是采用简单的全局图像特征(例如颜色特征、纹理特征、空间Ordinal特征)或物体的运动轨迹特征。在对视频进行匹配过程中，该类方法需要采用以整体或滑动窗口形式进行多个连续帧之间的序列匹配与分析(例如：编辑距离、构建矩阵对角线方法)，从而确定待检测视频中是否出现了目标视频片段。该类方法的计算时间主要消耗在序列分析中，且帧间时序对其很重要，一旦时序出现错乱，检测性能就会受到影响，另外此类算法的缺点在于不能够精确地确定视频片段的起始结束时间，且对短视频的检测结果较差，其更适用于对视频整体的相似性进行判断，在实时流检测中，容易发生丢帧、音频信息丢失、出现马赛克图像等情况。
技术实现思路
本专利技术的实施例提供了一种检测视频片段的方法和装置，解决视频文件或实时视频流中的视频片段进行精确检测与识别的问题。为达到上述目的，采用如下技术方案：本专利技术公开了一种检测视频片段的方法，包括如下步骤：提取视频库中所有视频对应的关键帧，并对所述关键帧进行特征提取，得到所述关键帧对应的局部特征向量和全局特征向量；采用基于哈希表的方式对所述关键帧的全局特征向量建立索引，并采用倒排方式对所述关键帧的局部特征建立索引，形成索引库；从视频片段中提取出待测关键帧，将每帧待测关键帧在所述索引库中进行检索匹配，并返回与所述待测关键帧相似的视频片段的候选帧集合；将所述视频片段中各关键帧分别对应的候选帧分析合并为视频流，根据所述视频片段与所述视频流的相似度，判断所述视频片段是否为所述视频库中的视频。进一步，所述提取视频库中所有视频对应的关键帧时，提取当前图像帧的分块色度直方图作为图像特征向量，并与上一个关键帧的图像特征向量进行相似度计算，如不相似，则将当前图像帧作为一帧新关键帧加入关键帧集合中，否则判断计数器的值是否等于采样间隔值，相等则将当前图像帧作为一帧新关键帧加入关键帧集合中。进一步，所述对关键帧进行特征提取时，将关键帧的颜色信息进行归一化后分块，对每个图像块的三个通道分别计算统计特征，并将三个通道的特征向量级联产生全局特征向量。进一步，所述采用基于哈希表的方式对关键帧的全局特征向量建立索引时，对规范化后的全局特征向量Gnorm进行哈希映射，哈希值H为其中，ωi为每个特征分量对应的权重。进一步，所述将每帧待测关键帧在索引库中进行检索匹配时，分别根据待检测关键帧对应的局部特征和全局特征在索引库中进行匹配，得到对应的视频关键帧的交集作为所述候选帧集合。进一步，所述将所述视频片段中各关键帧分别对应的候选帧分析合并为视频流时，将同属于视频编号id并且满足相邻时序关系的候选帧合并组成一个候选序列计算所述视频片段Q＝{...,FQ,...}与每一候选序列Vid之间的相似度VSid：其中，Q和Vid分别表示所述视频片段与所述候选序列，MF为Q和Vid匹配成功的关键帧数，为每对匹配成功的视频关键帧之间的相似度，FQ为所述视频片段中的关键帧，为所述候选序列中的每个候选帧；从而得到所述视频片段Q与所有候选序列的相似度集合VS＝{…,VS(Q,Vid),…}；将所述相似度集合中具有最大相似度的VS(Q,Vid)视为所述视频片段Q的检测结果，如果其与所述候选序列的相似度VS(Q,Vid)大于匹配阈值，则将所述视频片段Q识别为所述视频库中的视频Vid。本专利技术还公开了一种检测视频片段的装置，包括如下模块：提取模块，用于提取视频库中所有视频对应的关键帧，并对所述关键帧进行特征提取，得到所述关键帧对应的局部特征向量和全局特征向量；索引模块，用于采用基于哈希表的方式对所述关键帧的全局特征向量建立索引，并采用倒排方式对所述关键帧的局部特征建立索引，形成索引库；匹配模块，用于从视频片段中提取出待测关键帧，将每帧待测关键帧在所述索引库中进行检索匹配，并返回与所述待测关键帧相似的视频片段的候选帧集合；分析模块，用于将所述视频片段中各关键帧分别对应的候选帧分析合并为视频流，根据所述视频片段与所述视频流的相似度，判断所述视频片段是否为所述视频库中的视频。进一步，所述提取模块具体用于提取当前图像帧的分块色度直方图作为图像特征向量，并与上一个关键帧的图像特征向量进行相似度计算，如不相似，则将当前图像帧作为一帧新关键帧加入关键帧集合中，否则判断计数器的值是否等于采样间隔值，相等则将当前图像帧作为一帧新关键帧加入关键帧集合中。进一步，所述提取模块具体用于将关键帧的颜色信息进行归一化后分块，对每个图像块的三个通道分别计算统计特征，并将三个通道的特征向量级联产生全局特征向量。进一步，所述索引模块具体用于对规范化后的全局特征向量Gnorm进行哈希映射，哈希值H为其中，ωi为每个特征分量对应的权重。进一步，所述匹配模块具体用于分别根据待检测关键帧对应的局部特征和全局特征在索引库中进行匹配，得到对应的视频关键帧的交集作为所述候选帧集合。进一步，所述分析模块包括，合并单元，用于将同属于视频编号id并且满足相邻时序关系的候选帧合并组成一个候选序列相似度计算单元，用于计算所述视频片段Q＝{...,FQ,...}与每一候选序列Vid之间的相似度VSid：其中，Q和Vid分别表示所述视频片段与所述候选序列，MF为Q和Vid匹配成功的关键帧数，为每对匹配成功的视频关键帧之间的相本文档来自技高网...

【技术保护点】
一种检测视频片段的方法，其特征在于，包括如下步骤：提取视频库中所有视频对应的关键帧，并对所述关键帧进行特征提取，得到所述关键帧对应的局部特征向量和全局特征向量；采用基于哈希表的方式对所述关键帧的全局特征向量建立索引，并采用倒排方式对所述关键帧的局部特征建立索引，形成索引库；从视频片段中提取出待测关键帧，将每帧待测关键帧在所述索引库中进行检索匹配，并返回与所述待测关键帧相似的视频片段的候选帧集合；将所述视频片段中各关键帧分别对应的候选帧分析合并为视频系列，根据所述视频片段与所述视频流的相似度，判断所述视频片段是否为所述视频库中的视频。

【技术特征摘要】
1.一种检测视频片段的方法，其特征在于，包括如下步骤：提取视频库中所有视频对应的关键帧，并对所述关键帧进行特征提取，得到所述关键帧对应的局部特征向量和全局特征向量；采用基于哈希表的方式对所述关键帧的全局特征向量建立索引，并采用倒排方式对所述关键帧的局部特征建立索引，形成索引库；从视频片段中提取出待测关键帧，将每帧待测关键帧在所述索引库中进行检索匹配，并返回与所述待测关键帧相似的视频片段的候选帧集合；将所述视频片段中各关键帧分别对应的候选帧分析合并为视频流，根据所述视频片段与所述视频流的相似度，判断所述视频片段是否为所述视频库中的视频，包括：将同属于视频编号id并且满足相邻时序关系的候选帧合并组成一个候选序列计算所述视频片段Q＝{...,FQ,...}与每一候选序列Vid之间的相似度VSid：其中，Q和Vid分别表示所述视频片段与所述候选序列，MF为Q和Vid匹配成功的关键帧数，为每对匹配成功的视频关键帧之间的相似度，FQ为所述视频片段中的关键帧，为所述候选序列中的每个候选帧；从而得到所述视频片段Q与所有候选序列的相似度集合VS＝{…,VS(Q,Vid),…}；将所述相似度集合中具有最大相似度的VS(Q,Vid)视为所述视频片段Q的检测结果，如果其与所述候选序列的相似度VS(Q,Vid)大于匹配阈值，则将所述视频片段Q识别为所述视频库中的视频Vid。2.根据权利要求1所述的方法，其特征在于：所述提取视频库中所有视频对应的关键帧时，提取当前图像帧的分块色度直方图作为图像特征向量，并与上一个关键帧的图像特征向量进行相似度计算，如不相似，则将当前图像帧作为一帧新关键帧加入关键帧集合中，否则将关键帧采样间隔计数器加1，判断计数器的值是否等于采样间隔值，相等则将当前图像帧作为一帧新关键帧加入关键帧集合中。3.根据权利要求1所述的方法，其特征在于：所述对关键帧进行特征提取时，将关键帧的颜色信息进行归一化后分块，对每个图像块的三个通道分别计算统计特征，并将三个通道的特征向量级联产生全局特征向量。4.根据权利要求1所述的方法，其特征在于：所述采用基于哈希表的方式对关键帧的全局特征向量建立索引时，对规范化后的全局特征向量Gnorm进行哈希映射，哈希值H为其中，ωi为每个特征分量对应的权重。5.根据权利要求1所述的方法，其特征在于：所述将每帧待测关键帧在索引库中进行检索匹配时，分别根据待检测关键帧对应的局部特征和全局特征在索引库中进行匹配，得到对应的视频关键帧的交集作为所述候选帧集合。6.一...

【专利技术属性】
技术研发人员：方伟，
申请(专利权)人：北京捷成世纪科技股份有限公司，
类型：发明
国别省市：北京;11