图像处理装置、图像处理方法和程序制造方法及图纸

当确定要显示的全景图像数据集合是全周全景图像时，图像处理设备通过执行用于显示的投影处理而生成显示图像数据。换句话说，替代简单地剪切并显示全景图像，本发明专利技术能够通过将在全景合成期间投影到曲面的全景图像数据集合投影到与投影中心轴相交的平面从而创建显示图像，显示现实感的图像。

【技术实现步骤摘要】
图像处理装置、图像处理方法和程序本分案申请是申请日为2013年04月03日、申请号为201380028436.5、专利技术名称为“图像处理装置、图像处理方法和程序”的分案申请。
本公开涉及图像处理装置、图像处理方法和用于实现这些的程序，并且具体涉及适于全景图像数据的显示的图像处理。
技术介绍
引用列表专利文献1：JP2010-161520A如专利文献1中所示，已知从多个图像生成一个全景(panorama)图像的图像处理。例如，用户在水平扫描相机的同时获得多个捕获的图像(帧图像数据)，并且通过组合它们，可以获得所谓的全景图像。注意，“扫描(sweep)”指由于为了获得用于全景图像生成的多个帧图像而在成像时对成像装置的旋转运动导致的成像方向运动的操作。例如，在水平方向上移动成像方向的情况下，扫描方向将指向水平方向。
技术实现思路
技术问题在为全景图像执行再现和显示的情况下，通常，执行所谓的单视图显示或执行滚动显示。通过将所有全景图像数据压缩为一个静态图像来显示单视图显示。在此情况下，虽然可以观看整个全景图像，但是由于压缩，将难以成为有魅力的图像。通过顺序剪切全景图像数据的部分而在滚动的同时显示滚动显示。通过滚动显示，可以在对每个部分更大的屏幕上观看全景图像。然而，例如，通过简单地顺序剪切投影到圆柱面等上的全景图像数据来显示滚动显示，并且将不一定准确反映从用户视点的场景，如直线部分显著弯曲，例如水平面或建筑物。另一方面，存在再现技术，其中通过将投影到圆柱面等上的全景图像再投影到平面屏幕，将其设置为显示图像而获得高沉浸感和临场感。这样的再现和显示技术将在说明书中称为“投影显示”。例如，QuickTimeVR。对于虚拟环境导航的基于图像的方法(苹果公司)等是众所周知的。虽然可以认为当使用这样的投影显示时观看全景图像的显示的用户的满足度可以提高，但是在替代滚动显示简单执行投影显示的以下点存在困难。虽然为了执行投影显示在创作中可能需要全景图像的视角，但是用户通常很少确切地知道在数字照相机的全景模式下投影的全景图像的视角。例如，在全景图像中存在各种类型的图像，如具有360°视角的全周(fullcircumference)图像，具有大约120°视角的图像或具有大约180°视角的图像。此外，除了360°视角，由于诸如对准误差、扫描半径或失真像差的影响，用于从全景图像数据获得视角的这种计算将变得不精确，并且将不能获得精确的视角。这样，仅通过全景图像数据将不能得知视角，并且将不能执行投影显示的创作。例如，为了确保投影显示的视角是已知的，用户可能需要大致估计全景成像时的视角，并且在创作时手动输入视角。这将是对于普通用户困难的操作。此外，当输入视角与实际视角显著不同时，将导致在投影显示图像中出现失真。由此，从实际使用角度或从显示质量的角度，投影显示将不一定总是最佳的显示系统。本公开旨在实现一种图像处理以便能够例如通过广泛地假设从专业使用或商用到对于一般消费者的设备，手动并精确地执行全景图像的显示，尤其是高质量的投影显示。解决问题的技术方案根据本公开的一种图像处理装置，包括：显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。根据本公开的一种图像处理方法，包括：在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。根据本公开的一种程序使得计算处理装置执行图像处理方法的处理。在这样的本公开中，在被判断为全周全景图像的情况下，当执行全景图像数据的再现和显示时，可以执行进行显示投影处理的显示处理(投影显示)。将存在全周全景图像可以被判断为具有360°(或近似360°)的视角的情况。即，当执行投影显示时可以确定视角。因此，可以执行用于作为360°的视角的投影显示的处理，而不对用户施加负担，并且可以获得用于高质量投影显示的显示图像数据。注意，例如，在显示目标的全景图像数据不是全周全景图像的情况下，可以考虑通过另一显示系统执行显示或不执行显示的选择。专利技术的有利效果根据本公开，在全景图像数据是全周全景图像的情况下，通过执行显示投影处理生成显示图像数据。因此，可以执行用于投影显示为具有360°视角的全景图像的处理，而不对用户施加诸如视角输入的操作负担。结果，变得可以具有无失真的高质量投影显示。附图说明图1是在本公开实施例中执行的全景成像的说明图。图2是在实施例中执行的全景图像组合的说明图。图3是实施例的全景图像的说明图。图4是实施例的组合投影处理和显示投影处理的说明图。图5是实施例的滚动显示和投影显示的说明图。图6是实施例的360°全景图像的投影显示的说明图。图7是实施例的单视图显示和列表显示的说明图。图8是实施例的图像处理装置的框图。图9是实施例的图像处理装置安装设备的配置示例的框图。图10是实施例的图像处理装置安装设备的配置示例的框图。图11是实施例的第一配置示例的说明图。图12是实施例的第一配置示例中的处理的流程图。图13是实施例的第二配置示例的说明图。图14是实施例的第二配置示例中的处理的流程图。图15是实施例的第三配置示例的说明图。图16是实施例的第三配置示例中的处理的流程图。图17是实施例的第四配置示例的说明图。图18是实施例的第四配置示例中的处理的流程图。图19是实施例的第五配置示例的成像装置的框图。图20是实施例的成像装置中安装的全景组合部分和关联部分的功能配置的框图。图21是在视角不是360°并且不执行对准的情况下的全景图像的说明图。图22是实施例的执行对准的全景图像的说明图。图23是实施例的全景图像的对准的说明图。图24是实施例的全景成像时的处理的流程图。图25是实施例的显示模式转变的说明图。图26是实施例的成像装置中安装的显示图像生成部分的功能配置的框图。图27是实施例的显示处理的流程图。图28是实施例的计算机装置的框图。具体实施方式以下，将以下面的顺序描述实施例。注意，实施例中具有显示图像生成部分20的设备将成为权利要求中的图像处理装置。<1.全景组合和再现显示的概要><2.图像处理装置配置示例><3.第一配置示例(元数据)><4.第二配置示例(专用程序)><5.第三配置示例(文件链接信息)><6.第四配置示例(专用格式)><7.第五配置示例(对于成像装置的应用示例)>(7-1：成像装置的配置)(7-2：全景组合和关联处理)(7-3：全景图像显示)<8.第六配置示例(对于计算机装置和程序的应用示例)><9.修改示例><1.全景组合和再现显示的概要>首先，将描述全景组合的概要。下面将描述的实施例的成像装置50或近年的通常的成像装置(数字照相机)可以通过对于通过拍摄者获得的多个静态图像(帧图像数据)执行组合处理而生成全景图像，所述拍摄者在绕某个旋转轴可旋转地移动成像装置50的同时执行成像。具体地，可以通过实施例的成像装置50生成具本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：电路，被配置为：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理。

【技术特征摘要】
2012.06.06 JP 2012-1291011.一种图像处理设备，包括：电路，被配置为：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理。2.根据权利要求1所述的图像处理装置，其中，所述元数据包括基于所述捕获模式的全景模式类型信息。3.根据权利要求2所述的图像处理装置，其中，所述全景模式类型信息指示全景图像的类型是全周全景图像还是非全周全景图像。4.根据权利要求1所述的图像处理装置，所述电路还被配置为：通过对所生成的全景图像执行显示投影处理，控制以显示投影处理后的图像；或者通过对所生成的全景图像执行除了显示投影处理以外的处理，控制以显示处理后的图像。5.根据权利要求4所述的图像处理装置，其中，所述显示投影处理...

【专利技术属性】
技术研发人员：木村笃史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP