视频描述符生成装置制造方法及图纸

视频描述符生成装置包括第一提取单元、第二提取单元和特征合并单元。第一提取单元针对作为视频的帧或场的每一个画面提取第一特征。第二提取单元从视频中包括的图像的边缘所定义的区域中提取第二特征。特征合并单元将第一特征和第二特征合并，以生成视频描述符。

【技术实现步骤摘要】
【专利说明】视频描述符生成装置本申请是申请日为2010年I月20日的中国专利申请201080005232.6 ( “视频描述符生成装置”)的分案申请。
本专利技术涉及用于检索视频的视频描述符生成装置、视频描述符生成方法、以及视频描述符生成程序，其能够检测多个运动图像中的类似的或相同的运动图像区间。
技术介绍
专利文献I中公开了一种视频描述符生成装置的示例。图27是示出了专利文献I所描述的视频描述符生成装置的框图。每帧特征提取单元10根据输入视频计算帧单位特征，并将其输出至特征表创建单元20。特征表创建单元20根据从每帧特征提取单元10输出的帧单位特征创建特征表，并输出特征表作为视频描述符。接下来，将对图27所示的装置的操作进行描述。每帧特征提取单元10执行从输入视频中提取诸如每帧的颜色之类的特征的过程，并将所获得的特征输出至特征表创建单元20作为帧单位特征。特征表创建单元20利用阈值执行对于帧之间的特征变化的处理，并在时间方向上压缩特征。具体地，特征表创建单元20计算帧的帧单位特征之间的差，并确定该差是否在特定容许变化范围内。然后，特征表创建单元20将视频划分为视频处于容许变化范围内的时间区间，并针对每一个划分的时间区间，将特征和时间区间长度(帧的数目)的集合输出作为视频描述符。这样，可以在时间方向上压缩针对每一个帧所获得的视频的特征，由此能够减小特征量。此外，还能够实现高速匹配。专利文献1:日本未经审查的专利公开N0.10-320400
技术实现思路
然而，上述系统涉及以下问题。第一个问题在于，当在视频周围添加了黑条区域或L型区域时，检索准确度降低，这是因为不存在用于在检测到添加了黑条区域或L型区域时执行特征提取的装置。这样，即便由于4: 3与16: 9之间的幅型变换而在屏幕的顶部和底部或左部和右部插入黑色区域(下文称为黑条区域)，或者在为了紧急要况报告等而添加了 L型区域时，仍然直接提取特征，而不考虑这类问题。结果，由于提取了包括不必要的黑条区域或L型区域的特征，所以特征的值不同于未包括这些区域的情形，这使检索准确度恶化。本专利技术的目的是提供视频描述符生成装置、视频描述符生成方法及视频描述符生成程序，在即便给视频添加了黑条区域或L型区域的情况下，也能够保持检索准确度。根据本专利技术的一方面，一种视频描述符生成装置包括:第一提取单元，针对作为视频的帧或场的每一个画面，提取第一特征；第二提取单元，从视频中包括的图像的边缘所定义的区域中提取第二特征；以及特征合并单元，将第一特征和第二特征合并，以生成视频描述符。如上所述地配置本专利技术，本专利技术具有有益效果:即便给视频添加了黑条区域或L型区域，也能够保持检索准确度。【附图说明】图1是示出了根据本专利技术的视频描述符生成装置的第一实施例的配置的框图。图2是示出了根据本专利技术的视频描述符生成装置的第二实施例的配置的框图。图3是示出了图1所示的特征合并单元140的实施例的配置的框图。图4是示出了图1所示的特征合并单元140的实施例的配置的框图。图5是示出了图2所示的特征合并单元240的实施例的配置的框图。图6是示出了图1所示的特征合并单元140的实施例的配置的框图。图7是示出了图2所示的特征合并单元240的实施例的配置的框图。图8是示出了图2所示的特征合并单元240的实施例的配置的框图。图9是示出了图2所示的特征合并单元240的实施例的配置的框图。图10是示出了图2所示的特征合并单元240的实施例的配置的框图。图11是示出了图2所示的特征合并单元240的实施例的配置的框图。图12是示出了图2所示的特征合并单元240的实施例的配置的框图。图13是示出了根据本专利技术的运动图像匹配装置的实施例的配置的框图。图14是示出了图13所示的特征再现单元1000的实施例的配置的框图。图15是示出了图13所示的特征再现单元1000的实施例的配置的框图。图16是示出了图13所示的特征再现单元1000的实施例的配置的框图。图17是示出了图13所示的特征再现单元1000的实施例的配置的框图。图18是示出了图13所示的特征再现单元1000的实施例的配置的框图。图19是示出了图13所示的特征再现单元1000的实施例的配置的框图。图20是示出了图13所示的特征再现单元1000的实施例的配置的框图。图21是示出了图13所示的特征再现单元1000的实施例的配置的框图。图22是示出了图13所示的特征再现单元1000的实施例的配置的框图。图23是示出了图13所示的特征再现单元1000的实施例的配置的框图。图24示出了黑条区域和L型区域的示例。图25示出了复用特征码序列的示例。图26示意了特征的示例。图27是示出了与本专利技术有关的视频描述符生成装置的配置的框图。【具体实施方式】接下来，将参照附图详细描述本专利技术的实施例。参照图1，其示出了本专利技术的第一实施例的视频描述符生成装置，该装置包括视频边缘检测单元100、视觉特征提取单元120、位置校正视觉特征提取单元130和特征合并单元 140ο视频边缘检测单元100根据视频计算视频边缘，并将边缘信息输出至位置校正视觉特征提取单元130。视觉特征提取单元120接收视频，从视频中获得第一特征，并将其输出至特征合并单元140。位置校正视觉特征提取单元130根据视频和从视频边缘检测单元100输出的边缘信息获得第二特征，并将其输出至特征合并单元140。特征合并单元140根据第一特征和第二特征计算视频描述符，并将其输出。接下来，将详细描述图1所示的第一实施例的操作。首先，将视频输入至视觉特征提取单元120。如果编码了原始视频，则首先由解码器对视频进行解码，然后以由帧或场组成的画面为单位输入该数据。视觉特征提取单元120计算每一个画面的特征向量。视觉特征提取单元120将画面当作一幅静止的图像，并提取指示诸如该画面的颜色、图案、形状等的特征的视觉特征的向量。将所计算的特征向量输出至特征合并单元140作为第一特征。另一方面，还将视频输出至视频边缘检测单元100。视频边缘检测单元100检测是否存在视频中原始没有包括的黑条区域或L型区域，如果存在，则获得边缘区域。应注意，黑条区域表示由于4: 3到16: 9之间的幅型变换而被插入在屏幕的顶部和底部或左部和右部的黑色的多余区域。尽管它通常是黑色的，但是它不一定是黑色的。另一方面，L型(或倒L型)区域是用于广播紧急新闻等的视频显示技术，其中实际视频稍微收缩以生成用于广播大新闻的空间。在这种情况下，其颜色通常不是黑色的。在这两种情况下，通常显示不在原始视频中的区域。图24示出了这些区域的示例。在图24中，黑色区域对应于黑条区域或L型区域。除了这些区域，这类还包括将一图像并入另一图像的视频呈现技术(所谓的画中画)的情况以及当帧出现在主视频周围时由摄像机捕捉新闻节目主持人的后屏上示出的视频的情况。这样，通过按照与黑条区域的情形相同的方式来处理由画中画显示在内部的区域的外部以及屏幕的框架外部，本专利技术的方法可以应用于此。视频边缘检测单元100获得画面中包括的、没有包括在原始视频中的区域及其边界。例如，可以通过下列操作计算边界:将Hough变换应用于画面以检测视频的线性分量，并获得以时间上连续的方式出现在该画面内的相同位置处的线性分量。将描述所获得的视频本文档来自技高网...

【技术保护点】
一种用于在第一视频的第一视频描述符与第二视频的第二视频描述符之间执行匹配的运动图像匹配装置，所述装置包括：第一特征再现单元，根据所述第一视频描述符再现所述第一视频的第一特征和所述第一视频的第二特征，所述第一视频的第一特征是针对作为第一视频的帧或场的每一个画面提取的，所述第一视频的第二特征是从由所述第一视频中所包括的图像的边缘所定义的区域中提取的；第二特征再现单元，根据所述第二视频描述符再现所述第二视频的第一特征和所述第二视频的第二特征，所述第二视频的第一特征是针对作为第二视频的帧或场的每一个画面提取的，所述第二视频的第二特征是从由所述第二视频中所包括的图像的边缘所定义的区域中提取的；第一特征匹配单元，在所述第一视频的第一特征与所述第二视频的第一特征之间执行匹配，以计算第一匹配得分；第二特征匹配单元，在所述第一视频的第一特征与所述第二视频的第二特征之间执行匹配，以计算第二匹配得分；第三特征匹配单元，在所述第一视频的第二特征与所述第二视频的第一特征之间执行匹配，以计算第三匹配得分；第四特征匹配单元，在所述第一视频的第二特征与所述第二视频的第二特征之间执行匹配，以计算第四匹配得分；以及选择单元，比较第一至第四特征匹配得分，以选择最佳匹配得分。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：大网亮磨，岩元浩太，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP