图像处理设备、方法和存储介质技术

本申请涉及一种图像处理设备、方法和存储介质。图像处理设备包括：显影处理单元，生成在与多个视点图像和从所述多个视点图像内插得到的多个内插图像相关联的射线向量入射到对应于显影参数的光学系统上时获得的图像作为对象图像。

【技术实现步骤摘要】
图像处理设备、方法和存储介质本申请是申请号为201380021885.7的中国专利申请的分案申请。
本公开涉及图像处理设备、信息处理设备和图像处理方法，其能够例如通过处理多个视点图像生成所希望的图像质量的图像数据。
技术介绍
近年来，已提出各种成像装置和图像处理设备。例如，下面的专利文献1公开了能够基于从多个视点的成像数据生成对象的重构图像(重聚焦图像)的成像装置，其被设置在可选的聚焦点上。此外，例如，下面的专利文献2公开了能够从多个获取的视点图像生成内插图像的图像处理设备。参考文献列表专利文献PTL1：日本专利申请公开号2010-183316PTL2：日本专利申请公开号2011-139209
技术实现思路
技术问题近年来，相机的重量、尺寸和厚度的减少已经取得了进展。同时，已经预期能够获得满足用户的需求(例如实现高品质采集图像)的图像的技术。鉴于如上所述的情况，需要能够生成符合用户的意图的图像的图像处理设备、信息处理设备和图像处理方法。问题的解决方案根据本公开的一个实施例，提供了一种图像处理设备，包括：内插处理单元，被配置为基于多个视点图像生成多个内插图像；和显影处理单元，被配置为基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。根据另一实施例，图像处理设备还包括存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，其中显影处理单元选择对应于显影参数的至少一个光学系统并生成在射线向量入射到所选择的至少一个光学系统上时获得的图像作为对象图像。根据另一实施例，显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。根据另一实施例，所述图像处理设备还包括被配置为从信息处理设备接收所述多个视点图像，并且传输对象图像到信息处理设备的通信单元。根据另一实施例，显影处理单元被配置为控制通信单元以将多个显影参数的多个选择候补传输到信息处理设备，并从信息处理设备接收所选择的选择候补。根据另一实施例，显影参数由用户从多个显影参数选择。根据另一实施例，显影处理单元被配置为基于视点图像中显影至少一个预览图像。根据另一实施例，图像处理设备还包括成像装置，被配置为采集视点图像；显示器，被配置为显示对象图像；和用户界面，被配置为设置显影参数。根据另一实施例，内插处理单元被配置为基于多个视点图像获取对象图像的深度信息，并基于多个视点图像和深度信息生成多个内插图像。根据一个实施例，提供了一种图像处理方法，包括：基于多个视点图像生成多个内插图像；和基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。根据一个实施例，提供了一种信息处理设备，包括：成像单元，被配置为获取对象的多个视点图像；和通信单元，被配置为传输视点图像和显影参数，并被配置为基于显影参数和使用视点图像生成的多个内插图像接收对象图像。专利技术的有益效果如上所述，根据本公开，能够容易地生成符合用户的意图的对象图像。附图说明[图1]图1是示出根据本公开的实施例的系统的配置的示意图。[图2]图2是示出系统中的服务器的硬件配置的图。[图3]图3是示出系统中的网络终端的硬件配置的框图。[图4]图4是示出构成系统中的成像装置的相机模块的一个配置实例的示意透视图。[图5]图5是构成成像装置的相机阵列的示意透视图。[图6]图6是示出服务器的软件模块的配置的框图。[图7]图7是示出由相机阵列获取的多个视点图像的图。[图8]图8是示出由服务器生成的内插图像的实例的图。[图9]图9是用于描述虚拟透镜阵列的示意透视图。[图10]图10是示出仅由相机阵列获取的各个视点图像的射线向量的示意图。[图11]图11是示出具有多个视点图像和多个内插图像的射线向量的虚拟空间的示意图。[图12]图12是图11中所示的虚拟空间的概念图，其中布置了对应于显影参数的光学系统。[图13]图13是示出其中使用虚拟图像传感器采样入射到光学系统上的射线向量的状态的概念图。[图14]图14是生成服务器的基本处理过程的流程图。[图15]图15是示出系统中的服务器、网络终端和成像装置中的每个的基本操作流程的序列图。[图16]图16是示出服务器、网络终端和成像装置中的每个的处理流程的流程图。[图17]图17是生成服务器和网络终端中的每个的处理流程的流程图。[图18]图18是示出由服务器和显影参数生成的预览图像的实例的示意图。[图19]图19是示出根据本专利技术另一实施例的信息处理设备的硬件配置的框图。具体实施方式下面，将参考附图描述本公开的实施例。[系统的网络配置图]图1是示出根据本公开的实施例的系统的配置的示意图。如图1所示，系统包括云上的服务器100、用户的网络终端200和成像装置300。网络终端200通常是信息处理设备，诸如PC(个人计算机)、智能电话、移动电话、平板PC和PDA(个人数字助理)。成像装置300是采集静止图像的数码静态相机或采集运动图像的数字视频相机。在本实施例中，特别而言，成像装置300包括能够获取对象的多个视点图像的相机阵列。网络终端200和成像装置300可以有线或无线方式彼此通信。由成像装置300获取的对象的成像数据可被传输到网络终端200。网络终端200和成像装置300可以是移动终端400(图1)，其中网络终端200和成像装置300彼此集成。在网络(诸如因特网50)上，服务器100和网络终端200可彼此通信，或服务器100和移动终端400可彼此通信。在该系统中，网络终端200的用户可使用由服务器100提供的显影处理系统。如后面将要描述的，服务器100具有如下作为图像处理设备的功能：例如基于从网络终端200传输的多个视点图像的数据对对象的图像进行显影处理。(服务器的硬件配置)图2是示出服务器100的硬件配置的图。如图2所示，服务器100包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103、输入/输出接口105和将上述组件彼此连接的总线104。CPU101被用作控制器，其根据需要访问RAM103等并对服务器100的整个块进行整体控制，同时进行各种类型的计算处理。ROM102是非易失性存储器，由CPU101执行的OS和固件(诸如程序和各种参数)固定地存储在其中。RAM103用作CPU101的工作区等并暂时存储OS、执行中的各种应用和各条被处理的数据。显示器106、操作接收单元107、存储器108、通信单元109等连接到输入/输出接口105。显示器106是显示装置，其使用例如LCD(液晶显示器)、OELD(有机电致发光显示器)或CRT(阴极射线管)。操作接收单元107是例如指示装置，诸如鼠标、键盘、触摸面板或其它输入装置。在其中操作接收单元107是触摸面板的情况下，触摸面板可与显示器106一体形成。存储器108是例如HDD(硬盘驱动器)、闪速存储器(SSD(固态驱动器))或其它非易失性存储器，诸如固态存储器。存储器108存储OS、各种应用和各种类型的数据。在本实施例中，特别而言，存储器108从网络终端200(或移动终端400)接收对象的多个视点图像的数据并将数据存储在其中。此外，存储器108存储对应于进行显影处理所必需的多个显影参数的各种类型的光学系统的信息。通信单元109是NIC(网络本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：显影处理单元，生成在与多个视点图像和从所述多个视点图像内插得到的多个内插图像相关联的射线向量入射到对应于显影参数的光学系统上时获得的图像作为对象图像。

【技术特征摘要】
2012.05.11 JP 2012-1098981.一种图像处理设备，包括：显影处理单元，生成在与多个视点图像和从所述多个视点图像内插得到的多个内插图像相关联的射线向量入射到对应于显影参数的光学系统上时获得的图像作为对象图像。2.根据权利要求1所述的图像处理设备，其中，所述显影处理单元生成在所述射线向量入射到从对应于多个显影参数的多个光学系统中选择的光学系统上时获得的图像作为所述对象图像。3.根据权利要求2所述的图像处理设备，还包括：存储单元，存储对应于所述多个显影参数的多个光学系统。4.根据权利要求2所述的图像处理设备，其中，所述显影处理单元通过使用所述射线向量和所述显影参数进行光学模拟来生成所述对象图像。5.根据权利要求4所述的图像处理设备，其中，所述显影处理单元通过进行所述光学模拟来确定所述射线向量表示的射线到达虚拟成像装置的哪个位置。6.根据权利要求5所述的图像处理设备，其中，所述显影参数包括透镜的设计信息、滤波器、聚焦位置、光圈值、白平...

【专利技术属性】
技术研发人员：井藤功久，早坂健吾，高田将弘，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP