图像处理设备、图像处理方法和程序技术

本发明专利技术提供了图像处理设备、图像处理方法和程序。该图像处理设备包括：代表性图像提取单元，用于从属于每个场景的一系列图像中提取预定数目的代表性图像；代表性图像分类单元，用于当两个或更多个代表性图像被从每个场景中提取出来时将代表性图像分类为主图像和副图像；降质显示图像生成单元，用于为了对副图像降质并显示，通过操作副图像来生成降质显示图像；以及代表性图像显示单元，用于按场景转变顺序并排显示多个场景的代表性图像，并且当两个或更多个代表性图像被从每个场景中提取出来时显示主图像和降质显示图像，而当一个代表性图像被从每个场景中提取出来时显示代表性图像。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、图像处理方法和程序。
技术介绍
在视频表现中，典型的视频包括多个场景(scene)。在视频表现中，场景结构(也称为图片连续性)已根据制作者的意图被设计，例如按预定时间间隔来分隔具有相同内容的场景。
技术实现思路
然而，为了理解视频的场景结构，除了制作者以外的用户可以执行场景切割 (scene cutting，也称为切割)来将视频分类为多个场景。在这种情况下，不理解制作者的意图的用户应当逐一对场景分类，从而导致了很大的工作负担。此外，为了浏览场景切割视频，可以显示属于每个场景的代表性图像 (representative image) 0在这种情况下，由于属于每个场景的代表性图像一般是彼此类似的，因此代表性图像被分类为主图像和与主图像类似的副图像。一般而言，在主图像被显示的同时，副图像被完全地或者不完全地显示。这里，当副图像被完全地显示时，代表性图像的显示是很复杂的。当副图像被不完全地显示时，可能发生诸如视频转变之类的信息丢失。因此，在任何情况下，视频的用户可能都不能通过浏览场景切割视频来容易地理解视频的场景结构。鉴于前述情况，希望提供一种能够容易地理解视频的场景结构的图像处理设备、 图像处理方法和程序。根据本专利技术的一个实施例，提供了一种图像处理设备，包括场景转变检测单元， 用于基于包括一系列图像的运动图像的数据来检测运动图像中的场景转变；代表性图像提取单元，用于从属于每个场景的一系列图像中提取出预定数目的代表性图像；代表性图像分类单元，用于当两个或更多个代表性图像被从每个场景中提取出来时将代表性图像分类为主图像和副图像；降质显示图像(degraded display image)生成单元，用于为了对副图像降质并显示，通过操作副图像来生成降质显示图像；以及代表性图像显示单元，用于按场景转变顺序并排显示多个场景的代表性图像，并且当两个或更多个代表性图像被从每个场景中提取出来时显示主图像和降质显示图像，而当一个代表性图像被从每个场景中提取出来时显示代表性图像。降质显示图像生成单元可以将副图像的图像区域分类为改变区域和非改变区域， 并且通过仅操作副图像中包括的非改变区域的图像来生成降质显示图像。降质显示图像可以通过减少副图像中包括的非改变区域的图像的色彩数来生成。降质显示图像可以通过降低副图像中包括的非改变区域的图像的灰度级水平来生成。降质显示图像可以通过忽略副图像中包括的非改变区域的图像来生成。降质显示图像可以通过仅切割出副图像中包括的改变区域的图像来生成。降质显示图像可以通过以下方式生成减少副图像中包括的非改变区域的图像的色彩数或者降低副图像中包括的非改变区域的图像的灰度级水平，并且切割出改变区域的图像和围绕改变区域的非改变区域的一部分。降质显示图像可以通过缩减副图像的整体来生成。降质显示图像可以通过减少副图像的整体的色彩数来生成。降质显示图像可以通过降低副图像的整体的灰度级水平来生成。代表性图像提取单元可以提取与每个场景的长度相对应的预定数目的代表性图像。多个场景的代表性图像可以在针对每个场景的新的一行上按场景转变顺序并排显不。图像处理设备还可包括场景分类单元，用于基于每个场景的代表性图像的特征量将多个场景分类为场景群组(scene group)。场景分类单元可以基于场景群组的分类结果将多个场景分类为具有预定连续性的场景对(scene pair)。指示场景群组的信息可以被与运动图像的数据相关联地存储作为每个场景的代表性图像的属性信息。指示场景对的信息可以被与运动图像的数据相关联地存储作为每个场景的代表性图像的属性信息。根据本专利技术的另一个实施例，提供了一种图像处理方法，包括以下步骤基于包括一系列图像的运动图像的数据来检测运动图像中的场景转变；从属于每个场景的一系列图像中提取出预定数目的代表性图像；当两个或更多个代表性图像被从每个场景中提取出来时，将代表性图像分类为主图像和副图像；为了对副图像降质并显示，通过操作副图像来生成降质显示图像；以及按场景转变顺序并排显示多个场景的代表性图像，并且当两个或更多个代表性图像被从每个场景中提取出来时显示主图像和降质显示图像，而当一个代表性图像被从每个场景中提取出来时显示代表性图像。根据本专利技术的另一个实施例，提供了一种使得计算机执行以下步骤的程序基于包括一系列图像的运动图像的数据来检测运动图像中的场景转变；从属于每个场景的一系列图像中提取出预定数目的代表性图像；当两个或更多个代表性图像被从每个场景中提取出来时，将代表性图像分类为主图像和副图像；为了对副图像降质并显示，通过操作副图像来生成降质显示图像；以及按场景转变顺序并排显示多个场景的代表性图像，并且当两个或更多个代表性图像被从每个场景中提取出来时显示主图像和降质显示图像，而当一个代表性图像被从每个场景中提取出来时显示代表性图像。另外，该程序可以利用计算机可读记录介质或者通过通信装置等等来提供。根据上述本专利技术的实施例，可以提供能够容易地理解视频的场景结构的图像处理设备、图像处理方法和程序。附图说明图1是图示根据本专利技术一个实施例的图像处理方法的概述的示图。图2是图示根据本专利技术第一实施例的图像处理设备的配置的框图。图3是图示要经历场景切割处理的代表性图像的示例的示图。图4是图示场景切割处理的过程的流程图。图5是图示场景切割处理的结果的示例的示图。图6是图示场景切割处理的结果的示例以及代表性图像的示图。图7是图示根据本专利技术第二实施例的图像处理设备的配置的框图。图8是图示要显示的代表性图像的示例的示图。图9是图示从代表性图像中选择主图像的结果的一个示例的示图。图10是图示从代表性图像中选择主图像的结果的另一示例的示图。图IlA是图示通过操作副图像的整体来对副图像降质并显示的第1方面的示图。图IlB是图示通过操作副图像的整体来对副图像降质并显示的第2方面的示图。图IlC是图示通过操作副图像的整体来对副图像降质并显示的第3方面的示图。图12A是图示通过操作副图像的整体来对副图像降质并显示的另一示例的示图。图12B是图示通过操作副图像的整体来对副图像降质并显示的另一示例的示图。图13是图示根据本专利技术第三实施例的图像处理设备的配置的框图。图14是图示通过仅操作非改变区域的图像来对副图像降质并显示的示例的示图。图15A是图示通过仅操作非改变区域的图像来对副图像降质并显示的第1方面的示图。图15B是图示通过仅操作非改变区域的图像来对副图像降质并显示的第2方面的示图。图15C是图示通过仅操作非改变区域的图像来对副图像降质并显示的第3方面的示图。图15D是图示通过仅操作非改变区域的图像来对副图像降质并显示的第4方面的示图。图15E是图示通过仅操作非改变区域的图像来对副图像降质并显示的第5方面的示图。具体实施例方式下文中将参考附图详细描述本专利技术的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的标号来表示，并且对这些结构元件的重复说明被省略。首先，将参考图1描述根据本专利技术一个实施例的图像处理方法的概述。如图1所示，在根据该实施例的图像处理方法中，首先基于包括一系列图像的运动图像的数据(运动图像数据)来检测运动图像中的场景转变(步骤Si)。接下来，基于场景转变的检测结果(场景转变信息本文档来自技高网...

【技术保护点】
１．一种图像处理设备，包括：场景转变检测单元，用于基于包括一系列图像的运动图像的数据来检测运动图像中的场景转变；代表性图像提取单元，用于从属于每个场景的一系列图像中提取预定数目的代表性图像；代表性图像分类单元，用于当两个或更多个代表性图像被从每个场景中提取出来时将所述代表性图像分类为主图像和副图像；降质显示图像生成单元，用于为了对所述副图像降质并显示，通过操作所述副图像来生成降质显示图像；以及代表性图像显示单元，用于按场景转变顺序并排显示多个场景的代表性图像，并且当两个或更多个代表性图像被从每个场景中提取出来时显示所述主图像和所述降质显示图像，而当一个代表性图像被从每个场景中提取出来时显示所述代表性图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：高木芳德，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP