图像处理设备及方法技术

本发明专利技术涉及一种能够使得使用多视点图像的服务的可用性得到提高的图像处理设备及方法。包括虚拟成像图像产生器，其通过使用多视点图像数据、表示多视点图像中距对象的距离的深度数据以及包括重现虚拟光学系统的光学效果的参数的配置信息，并且使用虚拟光学系统对多视点图像中的对象进行成像来产生虚拟成像图像。本发明专利技术例如可以用于图像处理设备中。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像处理设备及方法，并且具体地涉及可以提高使用多视点图像的服务的便利性的图像处理设备及方法。
技术介绍
通过使用具有不同视点的多个图像测量距测量目标(摄影对象)的距离的技术是已知的。例如，已经提出了使用被称为立体匹配(例如，参照专利文献1)的技术的距离计算方法。此外，通过使用这样的立体匹配技术，认为可以从由具有相互不同的视点的多个图像组成的多视点图像获得表示距所述多视点图像中的摄影对象的距离的深度数据，通过使用所述深度数据生成与多视点图像交叠的图像，并且向用户提供该图像。引用列表专利文献专利文献1：JP2011-171858A
技术实现思路
技术问题然而，作为使用这样的多视点图像的服务期望进一步提高便利性。本公开通过考虑这样的情况被执行，并且可以提高使用多视点图像的服务的便利性。问题的解决方案根据本技术的图像处理设备，包括：虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。虚拟拍摄图像生成单元可以基于所述多视点图像通过所述配置信息生成指定数目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。虚拟拍摄图像生成单元可以根据表示了所述多视点图像的每个视点的相对位置关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生成所述插值图像。序列信息可以包括表示了从用作参考的视点至每个视点的距离的信息以及表示了每个视点相对于所述用作参考的视点的取向的信息。虚拟拍摄图像生成单元可以基于所述序列信息和所述眼数信息确定用作参考的图像、匹配轴、以及插值方法。虚拟拍摄图像生成单元可以通过使用所确定的用作参考的图像以及所述匹配轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。虚拟拍摄图像生成单元可以根据待生成的插值图像的位置确定每幅交叠图像的混合比。虚拟拍摄图像生成单元可以通过交叠所述多视点图像与所述插值图像来生成所述虚拟拍摄图像。配置信息可以包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的数目的插值图像数目信息。在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得与所述深度数据对应的所述虚拟透镜的PSF数据得到反映。在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得通过所述光圈形状信息表示的所述虚拟光圈形状被反映在所述多视点图像和所述插值图像中。虚拟拍摄图像生成单元可以根据作为与由用户指定的所述虚拟光学系统有关的参数的用户指定参数来生成所述虚拟拍摄图像。用户指定参数可以包括指定所述虚拟拍摄图像内的焦点位置的焦点位置指定信息、指定所述虚拟拍摄图像的摄影视场深度的摄影视场深度指定信息、以及在生成所述虚拟拍摄图像时对于超分辨率处理执行指定的超分辨率指定信息。虚拟拍摄图像生成单元可以基于所述深度数据获得由所述焦点位置指定信息指定的焦点位置的深度值，并且将所述虚拟拍摄图像的焦距设置到所述深度值。虚拟拍摄图像生成单元可以将所述虚拟拍摄图像的摄影视场深度设置到由所述摄影视场深度指定信息指定的摄影视场深度。虚拟拍摄图像生成单元可以根据所述超分辨率指定信息的指定对于所述虚拟拍摄图像执行超分辨率处理。虚拟拍摄图像生成单元可以仅对于所述虚拟拍摄图像的深度值与由所述焦点位置指定信息指定的焦点位置的深度值相同或接近的部分执行超分辨率处理。虚拟拍摄图像生成单元可以从存储单元获取特定于由用户选择的虚拟光学系统的配置信息。虚拟拍摄图像生成单元可以从另一设备获取所述配置信息。一种根据本技术的图像处理方法，包括：通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。在本公开中，通过使用多视点图像数据、表示直到多视点图像中的摄影对象的距离的深度数据以及包括通过虚拟光学系统重现光学效果的参数的配置信息，生成了通过使用虚拟光学系统拍摄多视点图像的摄影对象而获得的虚拟拍摄图像。专利技术的有益效果根据本公开，可以处理图像。此外，根据本公开，可以提高使用多视点图像的服务的便利性。附图说明图1是描述多视点图像使用服务平台的示例的图。图2是描述使用多视点图像的应用的示例的图。图3是表示多视点图像使用服务提供系统的主要配置示例的图。图4是表示终端设备的主要配置示例的图。图5是描述成像单元的概要的图。图6是表示服务器的主要配置示例的图。图7是描述终端设备和服务器的功能的功能块图。图8是表示通过服务器管理的信息的示例的图。图9是表示多视点图像使用服务提供处理的流程的示例的流程图。图10是表示多视点图像和深度数据的示例的图。图11是表示多视点图像文件的主要配置示例的图。图12是描述相机序列的示例的图。图13是描述元数据的示例的图。图14是描述深度检测处理的流程的示例的流程图。图15是表示多视点图像使用服务提供系统的另一配置示例的图。图16是表示应用提供服务器的主要配置示例的图。图17是描述终端设备、服务器和应用提供服务器的功能的功能块图。图18是表示多视点图像使用服务提供处理的流程的另一示例的流程图。图19是表示信息显示示例的图。图20是表示多视点图像使用服务提供系统的又一配置示例的图。图21是描述虚拟透镜处理的流程的状态的示例的图。图22是描述终端设备和服务器的功能的功能块图。图23是表示多视点图像使用服务提供处理的流程的又一示例的流程图。图24是描述虚拟透镜选择的状态的示例的图。图25是描述虚拟透镜处理的流程的示例的流程图。图26是描述透镜配置的示例的图。图27是表示多视点图像使用服务提供系统的又一配置示例的图。图28是描述家具的布局的状态的示例的图。图29是描述布局的另一示例的图。图30是描述终端设备、服务器和家具销售服务器的功能的功能块图。图31是表示多视点图像使用服务提供处理的流程的又一示例的流程图。图32是继续本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

【技术特征摘要】
【国外来华专利技术】2013.09.11 JP 2013-1884081.一种图像处理设备，包括：
虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示
了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学
效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄
影对象而获得的虚拟拍摄图像。
2.根据权利要求1所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元基于所述多视点图像通过所述配置信息生成指定数
目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。
3.根据权利要求2所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元根据表示了所述多视点图像的每个视点的相对位置
关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生
成所述插值图像。
4.根据权利要求3所述的图像处理设备，
其中，所述序列信息包括表示了从用作参考的视点至每个视点的距离的信息以及表示
了每个视点相对于所述用作参考的视点的取向的信息。
5.根据权利要求4所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元基于所述序列信息和所述眼数信息确定用作参考的
图像、匹配轴、以及插值方法。
6.根据权利要求5所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元通过使用所确定的用作参考的图像以及所述匹配
轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。
7.根据权利要求6所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元根据待生成的插值图像的位置确定每幅交叠图像的
混合比。
8.根据权利要求7所述的图像处理设备，
其中，所述虚拟拍摄图像生成单元通过交叠所述多视点图像与所述插值图像来生成所
述虚拟拍摄图像。
9.根据权利要求8所述的图像处理设备，
其中，所述配置信息包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了
包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的
数目的插值图像数目信息。
10.根据权利要求9所述的图像处理设备，
其中，在交叠所述多视点图像与所述插值图像时，所述虚拟...

【专利技术属性】
技术研发人员：早坂健吾，森浩典，井藤功久，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP