视频索引建立方法及应用其的装置制造方法及图纸

本发明专利技术公开了一种视频索引建立方法，其步骤包括：分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多张对象截图；依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列；自该候选对象截图串列挑选多个对象代表截图；以及将该些对象代表截图叠合于背景影像，以产生视频索引图。

【技术实现步骤摘要】

本专利技术是有关于一种视频索引建立方法及应用其的装置，且特别是有关于一种基于对象代表截图建立视频索引的视频索引建立方法及应用其的装置。
技术介绍
伴随监控统数量持续成长，监控录像已经成为治安维护不可或缺的重要工具，其运用时机多为事件发生后，但伴随摄影机数量持续扩增，以人工方式过滤庞大视频数据非常耗时费力。视频浓缩(videosynopsis)为近年来最新的影像检索技术，是一种时间上的浓缩表现方式，这种方法降低了影片中时间和空间上过多冗余的部分，让使用者易于浏览影片以及截取影片数据。然而，如何提升视频浓缩的影像检索效率，仍是目前业界所致力的课题之一。
技术实现思路
本专利技术有关于一种视频索引建立方法及应用其的装置，可萃取视频数据中的对象并基于各对象的对象代表截图将视频数据浓缩成一或多张的视频索引图，以供用户快速浏览视频内容，进而提高影片检索效率。根据本专利技术的一实施例，提出一种视频索引建立方法，其步骤包括：分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多张对象截图；依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列；自该候选对象截图串列挑选多个对象代表截图；以及将该些对象代表截图叠合于背景影像，以产生视频索引图。根据本专利技术的一实施例，提出一种视频索引建立装置，包括分析单元、筛取单元、决定单元以及索引产生单元。分析单元可分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多张对象截图。筛取单元可依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列。决定单元可自该候选对象截图串列挑选多个对象代表截图。索引产生单元可将该些对象代表截图叠合于背景影像，以产生视频索引图。为了对本专利技术的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合所附图式，作详细说明如下：附图说明图1绘示依据本专利技术一实施例的视频索引建立装置的方块图。图2绘示依据本专利技术的一实施例的视频索引建立方法的流程图。图3绘示以视频数据建立相应的视频索引图的一例示意图。图4绘示依据本专利技术的一实施例的对象截图串列的示意图。图5绘示依据本专利技术的一实施例的自对象截图串列产生候选对象截图串列的示意图。图6绘示自候选对象截图串列挑选各对象的对象代表截图以融合产生视频索引图的一例示意图。图7绘示自候选对象截图串列挑选各对象的对象代表截图以融合产生视频索引图的另一例示意图。图8绘示依据本专利技术的一实施例的依据对象数量将对象代表截图填入视频索引图的示意图。图9绘示依据本专利技术的一实施例的产生视频索引图的背景影像的示意图。100：视频索引建立装置102：分析单元104：筛取单元106：决定单元108：索引产生单元110：设定单元VD：视频数据S1：对象截图串列S2：候选对象截图串列OR1～ORN：对象代表截图I、I1、I2：视频索引图K：物件数量202、204、206、208：步骤OB1～OBN：物件t1～t5：取样时点BG1～BGN：候选背景影像BG：背景影像具体实施方式以下参照所附图式详细叙述本专利技术的其中几组实施实施例。需注意的是，实施例所提出的多组实施实施例的结构和内容仅为举例说明的用，本专利技术欲保护的范围并非仅限于所述的该些实施例。需注意的是，本专利技术并非显示出所有可能的实施例，相关领域者可在不脱离本专利技术的精神和范围内对实施例的结构加以变化与修饰，以符合实际应用所需。因此，未于本专利技术提出的其他实施例也可能可以应用。再者，实施例中相同或类似的标号用以标示相同或类似的部分。请参考图1及图2。图1绘示依据本专利技术一实施例的视频索引建立装置100的方块图。图2绘示依据本专利技术的一实施例的视频索引建立方法的流程图。视频索引建立装置100可以是行动装置、平板、个人计算机、监视统或其他具备分析、处理视频数据能力的电子装置。视频索引建立装置100主要包括分析单元102、筛取单元104、决定单元106以及索引产生单元108。此些单元可例如以集成电路、电路板来实现，或是由处理单元自至少一内存装置读取至少一可读取程序代码来实现。在步骤202，分析单元102分析视频数据VD中多个对象的移动轨迹信息以取得对象截图串列S1。对象截图串列S1例如包括多张对象截图。视频数据VD的来源例如为影音档案、行动装置的摄影机、网络影音串流(如YouTube)、网络摄影机或景深摄影机等。分析单元102可透过对象侦测与追踪算法来萃取对象的移动轨迹信息。对象侦测算法例如包括高斯混合模型法(Gaussiansmixturemodel，GMM)、时间中值法(temporalmedianfilter)以及无参数核心密度估测法(nonparametrickerneldensityestimation，KDE)。对象追踪算法例如包括均值飘移法(Meanshift)、连续自适应均值飘移法(Camshift)以及粒子滤波器(particlefilter)。举例来说，分析单元102可先建构出一张不含对象的背景影像，再比较输入影像与背景影像中各像素的差异值，当差异值大于临界值时则判断为异动像素，或称前景(Foreground)。在一实施例中，分析单元102可利用多位移侦测方法，例如以高斯混合模型为基础的背景相减撷取法以侦测异动像素。取得画面中异动像素后，再进一步标记前景的不同对象，以进行对象追踪。在完成对象侦测与追踪的程序后，分析单元102可取得对象出现于视频数据VD中一连串的移动轨迹及其对象截图，并对该些对象截图进行排序，以产生该对象截图串列S1。在步骤204，筛取单元104依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列S2。举例来说，筛取单元104可自对象截图串列S1中，筛除相似度大于相似度阈值的对象截图，以产生该候选对象截图串列S2。该相似度的计算例如是依据对象外观(appearance)、移动距离(distance)、异动向量(motionvector)及起始至结束时间(lifecycle)的至少一因素。在步骤206，决定单元106自该候选对象截图串列S2中挑选多个对象代表截图OR1～ORN。各张对象代表截图OR1～ORN分别对应视频数据VD中的一个对象。在步骤208，索引产生单元108将该些对象代表截图OR1～ORN叠合于背景影像，以产生一或多张视频索引图I。在一实施例中，分析单元102可分析取样自该视频数据的多张影像截图以萃取多张候选背景影像，索引产生单元108再自该些候选背景影像选取其一作为该背景影像。索引产生单元108产生的一或多张视频索引图I可例如显示于屏幕以供用户检视分析结果。举例来说，用户可透过点选视频索引图I中的对象代表截图以浏览相应对象的视频内容。在一实施例中，视频索引建立装置100更包括设定单元110，用以决定对象数量K。对象数量K可用来决定视频索引图中填入的对象代表截图数量。举例来说，索引产生单元108会依序将对象代表截图OR1～ORN叠合至背景影像，直到该背景影像中的对象代表截图数量达到对象数量K，即输出视频索引图I1。此时视频索引图I1包括对应K个对象的K张对象代表截图(例如OR1～ORK)。接着，尚未填入视频索引图I1的对象代表截图(例如ORK+1～O本文档来自技高网...

【技术保护点】
一种视频索引建立方法，包括：分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多张对象截图；依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列；自该候选对象截图串列挑选多个对象代表截图；以及将该些对象代表截图叠合于背景影像，以产生视频索引图。

【技术特征摘要】
2015.09.25 TW 1041317611.一种视频索引建立方法，包括：分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多张对象截图；依据该些对象截图间的外显差异，筛除部分的该些对象截图，以产生候选对象截图串列；自该候选对象截图串列挑选多个对象代表截图；以及将该些对象代表截图叠合于背景影像，以产生视频索引图。2.如权利要求1所述的视频索引建立方法，更包括：依序排列关联于同一对象的对象截图，以产生该对象截图串列。3.如权利要求1所述的视频索引建立方法，更包括：自该对象截图串列中，筛除相似度大于相似度阈值的对象截图，以产生该候选对象截图串列。4.如权利要求3所述的视频索引建立方法，更包括：该相似度的计算依据对象外观、移动距离、异动向量及起始至结束时间的至少一因素。5.如权利要求1所述的视频索引建立方法，其中该些对象代表截图彼此间的对象遮蔽率低于遮蔽率阈值。6.如权利要求1所述的视频索引建立方法，其中该候选对象截图串列包括对应于第一对象的多个第一对象截图以及对应于第二对象的多个第二对象截图，该方法更包括：自该些第一对象截图选取其一作为该第一对象的对象代表截图；计算该些第二对象截图对所选的该第一对象截图的对象遮蔽率；以及当各该第二物件截图对所选的该第一对象截图的对象遮蔽率皆大于遮蔽率阈值，产生另一视频索引图，并自该些第二对象截图选取其一填入该另一视频索引图。7.如权利要求1所述的视频索引建立方法，更包括：决定对象数量；以及将该些对象代表截图叠合于该背景影像，直到该背景影像中的该些对象代表截图的数量达到该对象数量，产生该视频索引图。8.如权利要求7所述的视频索引建立方法，更包括：将未出现在该视频索引图中的对象代表截图显示于另一视频索引图。9.如权利要求1所述的视频索引建立方法，更包括：分析取样自该视频数据的多张影像截图以萃取多张候选背景影像；以及自该些候选背景影像选取其一作为该背景影像。10.一种视频索引建立装置，包括：分析单元，分析视频数据中多个对象的移动轨迹信息，以取得对象截图串列，该对象截图串列包括多...

【专利技术属性】
技术研发人员：蔡洛纬，李国徵，陈国睿，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾;71