内容检索的装置和方法及程序制造方法及图纸

所公开的内容检索装置、方法和程序显示对于多个图像的检索结果并且使得更容易掌握视频的内容。元数据提取单元(22)从经由内容输入单元(21)提供来的内容中提取代表图像信息和其他元数据，并将所述元数据累积在元数据数据库(24)中。图像特征量提取单元(23)从内容中提取图像特征量并将所述图像特征量累积在图像特征量数据库(25)中。图像特征量提取单元还从检索图像中提取图像特征量。检索单元(27)将检索图像的图像特征量与存储在图像特征量数据库(25)中的图像特征量相比较并且识别与检索图像相似的静止图像。输出单元(28)读取内容元数据，生成时间线显示所必要的显示数据，并且还生成用于在时间线上显示检索结果的显示数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及内容检索的装置和方法以及程序，具体而言涉及可用来通过显示对于多个图像中的每一个的检索结果来容易地认识到运动图像的内容细节的内容检索的装置和方法以及程序。
技术介绍
近来，已提出了分析并检索视频(运动图像)内容的技术。为了显示这种分析结果和检索结果，除了按原样显示数值和图像以外，还设计了例如使得内容被显示在时间线上的视觉上可认识的显示方法。也就是说，为了确认运动图像的内容的所有细节，由于必须要再现内容，所以需要 特定的再现时间。最好不花这样的时间也能容易地认识到内容的细节。在现有技术中，已知显示诸如音频信号和像素的亮度值的变化之类的波形图像作为时间线显示的示例。另外，已提出了显示构成内容的每个场景的第一帧的图像和最末帧的图像的方法以及使得能够在多画面上查看图像摘要场景的技术(例如参见专利文献I)。另外，已提出了在记录通常图像的同时记录从通常运动图像二次采样到的索引用运动图像，并且例如当任何索引显示图像被用户选择时对于所选择的运动图像执行索引用运动图像的再现(例如，参见专利文献2)。引文列表专利文献专利文献I :7-67073号日本专利申请早期公布专利文献2 :2001-238154号日本专利申请早期公布
技术实现思路
本专利技术要解决的问题然而，在现有技术中，有这样的问题，即用户不能容易地找到包括期望图像的场景或者用户期望的特性场景。例如，即使能够以个体图像作为要检索的图像执行内容的检索，也不可能执行对顺次显示多个图像的部分的检索、对内容中显示期望图像的时间比率与显示另外图像的时间比率的比较，等等。另外，例如，在显示每个场景的第一帧之类的图像的方法中，在时间上较长的内容的情况下显示变得复杂。从而，由于这样的显示，内容细节不太可能变得容易认识。另外，在将索引图像显示在多画面上的方法或者再现索引运动图像的方法的情况下，难以认识到在视频内容的哪个部分(时间位置)存在哪种图像。为了解决上述情形，本专利技术被设计为通过显示分别对于多个图像的检索结果来促进对运动图像的内容细节的认识。解决问题的方案本专利技术的一个方面是一种内容检索装置，包括检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；图像特征量提取装置，该图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及时间线显示装置，该时间线显示装置基于所确定的帧和预先从内容中提取的元数据，来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。时间线显示装置可生成用于显示如下画面的显示数据，所述画面具有显示多个检索图像的列表的检索图像显示单元和在时间线上显示内容的时间线显示单元，多个检索图像可在分别被相互不同颜色的显示框围绕的同时被显示在检索图像显示单元处，并且指示 与每个检索图像相似的静止图像的帧的时间位置的信息可作为具有与显示框的颜色相同的颜色的颜色条被显示在时间线显示单元处。时间线显示装置可利用时间线显示来在单个画面上的时间线显示单元处显示多个内容中的每一个，并且对于多个内容中的每一个指示与每个检索图像相似的静止图像的帧的时间位置的信息可被显示为具有与显示框的颜色相同的颜色的颜色条。时间线显示装置可生成用于显示如下画面的显示数据，该画面还具有在利用时间线显示来显示的内容的再现被指令的情况下显示通过再现内容而获得的运动图像的运动图像显示单元。时间线显示装置可基于元数据中包括的内容的场景变化点的信息来确定构成内容的场景，并且以画面的水平或垂直方向为时间轴、以指示各个场景的图形在与场景的时间长度相关联的同时被显示的方式来将内容显示在时间线上。时间线显示装置可在指示场景的图形被分别以利用预定方法确定的场景的代表色来显示的同时,来将内容显示在时间线上。本专利技术的一个方面是一种内容检索方法，包括以下步骤利用检索图像输入装置接收作为静止图像的多个检索图像的输入；利用图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；利用相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；利用确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及利用时间线显示装置基于所确定的帧和预先从内容中提取的元数据来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。本专利技术的一个方面是一种程序，用于使得计算机具有作为内容检索装置的功能，该装置包括检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；图像特征量提取装置，该图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及时间线显示装置，该时间线显示装置基于所确定的帧和预先从内容中提取的元数据，来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显/Jn ο在本专利技术的一个方面中，接收作为静止图像的多个检索图像的输入，利用预定方法提取多个检索图像中的每一个的图像特征量，针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度，通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧，基于所确定的帧和预先从内容中提取的元数据，生成用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示的显示数据。本专利技术的效果 根据本专利技术，可更容易认识运动图像的内容细节。附图说明图I是示出根据本专利技术的实施例的内容处理装置的结构示例的框图。图2是示出基于从图I的输出单元输出的显示数据显示的画面的示例的视图。图3是示出在图2中所示的画面处再现内容时的画面的示例的视图。图4是示出在时间从图3中所示的状态进一步经过之后的画面的示例的视图。图5是示出内容显示处理的示例的流程图。图6是示出在图2至图4的画面处执行检索的情况的示例的视图。图7是示出在图6中所示的画面处显示检索结果的画面的示例的视图。图8是示出在对于多个内容执行检索的情况中的画面的示例的视图。图9是示出在图8中所示的画面处显示检索结果的画面的示例的视图。图10是示出在图9中所示的画面处再现内容时的画面的示例的视图。图11是示出检索结果显示处理的流程图。图12是示出显示检索结果的画面的另一示例的视图。图13是示出个人计算机的结构示例的框图。具体实施例方式下面，将参考附图描述本专利技术的实施例。图I是示出根据本专利技术的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：田中和政，田中健司，高桥义博，
申请(专利权)人：索尼公司，
类型：
国别省市：