用于识别运动图像内容中包含的静止图像的装置和方法制造方法及图纸

用于识别一个或多个运动图像内容中的一个或多个静止图像的装置。识别单元被配置为识别运动图像内容中包括的具有与特定特征很相像的至少一个特征的一个或多个静止图像。显示控制器被配置为使得在与运动图像内容相关联的时间线上显示至少一个运动图像内容中所识别出的静止图像的位置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及内容捜索装置、内容捜索方法和程序。更具体而言，本专利技术涉及以更易理解的方式显示在运动图像内容中搜索图像的结果以供用户确认的内容捜索装置、内容搜索方法和程序。
技术介绍
下文中提出了ー些针对图像(运动图像)内容的图像搜索的技木。当要显示针对图像内容的图像搜索的结果时，惯常的做法是显示通过搜索获得的内容的第一帧的图像以及该内容的代表图像。或者，如果作为捜索的结果从内容中检测到与搜索图像相对应的帧，则显示这些帧。 另外，存在这样的技术，即，给定搜索结果的列表，允许检索到的内容被选择性再现以供图像确认，比如在例如日本专利申请早期公布2003-289487中描述的那种。另外，在编辑内容的处理中，沿着时间轴指示内容的音频信号的波形的时间线显示近年来已被用于让用户更好地认识到被编辑的内容的时间长度和再现位置。
技术实现思路
然而，如果从搜索通常获得多个結果，则传统的技术不会使得捜索结果能够作为运动图像被相互比较。结果，很难或者不可能基于搜索结果来比较检索到的内容的内部包含什么。例如，根据传统技木，缩略图或代表图像作为搜索结果被显示。用户在比较这些缩略图或代表图像所代表的多个内容时，除了从视觉上相互比较来自多个搜索结果的这些缩略图或代表图像以外，别无选择。另外，根据传统技术，包括作为搜索的结果获得的图像的每个内容可被再现以供确认。然而，很难或者不可能同时再现多个搜索结果以便比较。技术方案本专利技术是鉴于上述情况而作出的，并且提供了用于以更易理解的方式显示在运动图像内容中捜索的结果以供用户确认的布置。根据ー个实施例，提供了用于识别ー个或多个运动图像内容中的ー个或多个静止图像的装置。该装置包括识别单元，该识别単元被配置为识别运动图像内容中包括的具有与一个或多个特定特征很相像的至少ー个特征的ー个或多个静止图像。显示控制器被配置为使得在与运动图像内容相关联的时间线上显示运动图像内容中所识别出的静止图像的位置。优选地，识别单元识别每个运动图像内容中的包含具有与特定特征很相像的特征的静止图像的场景；并且所述识别出的场景被显示。在ー个有利的实施例中，不同的运动图像内容被同时显示。在另ー实施例中，显示控制器使得在共同的时间线轴上对齐显示运动图像内容中所识别出的静止图像所位于的位置。在另ー实施例中，运动图像内容包括与运动图像内容相关联的音频信息，并且显示控制器使得显示运动图像内容的各个场景中的音频信息的信号波形的时间线。在另ー实施例中，显示控制器使得显示与运动图像内容之中的各个运动图像内容相关联的标记，该标记表示各个运动图像内容中的场景的持续时间。有利地，显示控制器使得运动图像内容被再现，并且使得沿着上述时间线显示表示运动图像内容的当前再现位置的移动滑块。作为ー个特征，多个运动图像内容中所识别出的静止图像被同时显示。 本专利技术的有利效果 从而，可以以更易理解的方式显示在运动图像内容中搜索的结果以供用户确认。附图说明图I是示出作为本专利技术的一个实施例的内容搜索装置的典型结构的框图。图2是示出典型搜索图像的示意图。图3是示出搜索结果的典型显示画面的示意图。图4是示出在图3的画面上再现的内容的典型画面的示意图。图5是示出从图4的状态起随着时间的流逝进ー步产生的内容的典型画面的示意图。图6是示出反复再现的所选场景的典型画面的示意图。图7是仅提取和显示包括与搜索图像相似的图像的场景的典型画面的示意图。图8是说明典型内容输入处理的流程图。图9是说明典型捜索结果显示处理的流程图。图10是示出个人计算机的典型结构的框图。具体实施例方式參考附图，图I是示出根据本专利技术的一个实施例的内容捜索装置的典型结构的框图。此内容捜索装置10是让多个运动图像内容被存储在媒体存档库22中并且搜索存储的内容以寻找包括输入搜索图像的内容的装置。如图I中所示，内容捜索装置10包括内容输入部21、媒体存档库22、图像处理部23、元数据数据库24以及图像特征量数据库25。另外，内容捜索装置10包括捜索图像输入部31、图像特征量提取部32、搜索部33以及搜索结果输出部34。内容输入部21接收内容数据的输入。如上所述，内容是根据需要可包括声音和字幕的运动图像内容。例如，这些内容可以是作为要广播的TV节目的一部分被编辑的内容。媒体存档库22存储从内容输入部21输入的内容数据。例如，媒体存档库22存储配备有用于标识各个内容的标识信息的大量内容数据并且允许根据需要检索和输出数据。图像处理部23分析从内容输入部21提供来的内容数据并且从所提供的内容中提取元数据。在此上下文中，元数据通常指的是关于内容的场景变化点的信息，和关于提供后文所述的时间线显示所必要的时间点的信息，以及文件名和数据大小。另外，元数据可包括诸如内容中的音频信号的波形之类的信息。图像处理部23提取的元数据用于如后文所述基于时间线显示的内容。例如，图像处理部23提取的元数据与内容标识信息相对应地被存储在元数据数据库24中。另外，图像处理部23分析从内容输入部21提供来的内容数据，并且从所提供的内容中提取图像特征量。在此上下文中，图像特征量是在后文所述的搜索部33执行的处理中用来获得与搜索图像的相似度的信息。例如，在构成内容的一部分的单帧静止图像被分割成多个预定区域的情况下，可利用构成图像特征量的信息来描述这些区域中的每ー个的代表色。又例如，图像特征量可以是由单帧静止图像的像素值的直方图形成的信息。作为另一示例，图像特征量可由在捜索部33进行的处理中提供与搜索图像的相似度的任何其他信息构成。 图像处理部23提取的图像特征量通常与内容标识信息和帧号相对应地被存储到图像特征量数据库25中。搜索图像输入部31接收作为静止图像的搜索图像的输入。例如，搜索图像可以是由用户选择的任何图像。搜索图像被输入，由此媒体存档库22被捜索以寻找存储的内容中与输入的搜索图像相似的那些图像。与图像处理部23 —祥，图像特征量提取部32从通过捜索图像输入部31输入的搜索图像中提取ー个或多个特定的图像特征。捜索部33根据预定的原则将图像特征量提取部32从搜索图像中提取的图像特征量(即ー个或多个特定的图像特征)与存储在图像特征量数据库25中的图像特征量相比较。通过该比较，捜索部33以数值的形式计算一方面的搜索图像的图像特征量与另一方面的存储在图像特征量数据库25中的构成每个内容的每个单帧静止图像的图像特征量之间的相似度。例如，搜索部33确定具有与搜索图像的图像特征量的相似度高于预定阈值的图像特征量的静止图像。捜索部33随后向捜索结果输出部34提供从中检测到这些静止图像的内容的标识信息以及这些图像的帧号，从而识别出内容中与捜索图像很相像的静止图像。如果从单个内容中检测到多个拥有与搜索图像的图像特征量的相似度高于预定阈值的图像特征量的静止图像，则搜索部33通常向捜索结果输出部34提供具有最高相似度的静止图像的帧号。以上述方式，捜索部33确定从中检测到与搜索图像具有高相似度的静止图像的帧(即，与搜索图像相似的静止图像的帧)的内容，并且将这些内容通知给搜索结果输出部34。基于从搜索部33提供来的关于内容的标识信息，捜索结果输出部34从元数据数据库24中检索出内容的元数据。并且搜索结果输出部34包括显示控制器以基于从搜索部33馈送来的静止图像的帧号和检索到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：田中和政，田中健司，高桥义博，
申请(专利权)人：索尼公司，
类型：
国别省市：