摄像装置、图像生成系统、服务器以及电子装置制造方法及图纸

本发明专利技术涉及一种摄像装置、图像生成系统、服务器以及电子装置。所述摄像装置包括：摄像透镜；视点分离器件，将通过摄像透镜的光束分离为多个来自彼此不同视点的光束；摄像器件，包括多个像素并且在像素中接收穿过视点分离器件的光束，根据接收的光量输出多视点摄像数据；以及数据压缩区，对摄像数据进行可逆压缩。

【技术实现步骤摘要】
摄像装置、图像生成系统、服务器以及电子装置
本公开涉及一种获取多视点摄像数据的摄像装置。
技术介绍
在相关
，提出并开发了各种摄像装置。此外，提出了一种摄像装置，根据摄像数据执行预定的图像处理，以输出经过处理的摄像数据。例如，日本未经审查的专利申请号为No. 2009-021683以及Ren. Ng等人在斯坦福技术报告CTSR 2005-02的《使用手持式全光相机的光场成像》(Light Field Photography with a Hand-Held Plenoptic Camera)，都提出了一种使用所谓的“光场成像”的摄像装置。在摄像装置中，透镜阵列配置在摄像透镜和图像传感器之间。来自物体的入射光束被透镜阵列分为来自各自视点的光束，然后由图像传感器接收。同时利用从图像传感器获取的像素数据生成多视点图像。
技术实现思路
在上述·摄像装置中，穿过透镜阵列的一个透镜的光束被接收为图像传感器上的 mXn像素，其中每个m和η是大于等于I的整数，除了 m=n=l。获取与分配至每个透镜像素的数量(mXn)相同的视点图像数量。在日本未经审查的专利申请号为No. 2009-021683以及Ren. Ng等人在斯坦福技术报告CTSR 2005-02的《使用手持式全光相机的光场成像》(Light Field Photography with a Hand-Held Plenoptic Camera)中，生成此类视点图像的过程(图像算法处理)在摄像装置中执行。例如，在此类图像处理在外部电子装置执行的情况下，有必要向电子装置传输从图像传感器输出的摄像数据(原始图像数据)或将摄像数据存储于外部存储器。因此期望减少此类摄像数据的量，从而实现有效的数据传输。期望提供一种能够实现有效的数据传输又不损害多视点摄像数据特性的摄像装置。此外，期望提供一种图像生成系统，能传输此类摄像数据，以在摄像装置的外部图像处理部生成多视点图像。根据本公开的实施方式，提供一种摄像装置，包括摄像透镜；视点分离器件，将通过摄像透镜的光束分离为多个来自彼此不同视点的光束；摄像器件，包括多个像素并且在所述像素中接收穿过视点分离器件的光束，根据接收的光量输出多视点摄像数据；以及数据压缩区，执行对摄像数据的可逆压缩。在根据本公开实施方式的摄像装置中，视点分离器件从多个不同视点分离穿过摄像透镜的光束，由摄像器件的像素接收，由此，可获得基于接收光量的多视点摄像数据。当数据压缩部对摄像数据进行可逆压缩时，使用视点分离器件获取的摄像数据量减少又不损害其特性。根据本公开的实施方式，提供一种图像生成系统，包括摄像装置；以及图像处理部，通过通信线路从摄像装置获取输出数据并根据获取的输出数据执行图像处理，其中摄像装置包括摄像透镜；视点分离器件，将通过摄像透镜的光束分离为多个彼此来自视点不同的光束；摄像器件，包括多个像素并且在所述像素中接收穿过视点分离器件的光束，根据接收的光量输出多视点摄像数据；以及图像压缩部，对从摄像器件获取的摄像数据进行可逆压缩，以生成输出数据。在根据本公开实施方式的图像生成系统中，输出数据(可逆压缩的摄像数据)从根据本实施方式的摄像装置通过通信线路传输至图像处理部，然后该输出数据解压成摄像数据，与未经过压缩的原始摄像数据基本相同。该图像处理部对解压的摄像数据进行预定的图像处理。根据本公开的实施方式，提供一种服务器，接收可逆压缩的多视点摄像数据、解压接受的多视点摄像数据、以及根据分解的多视点摄像数据执行图像处理。根据本公开的实施方式，提供一种服务器装置，接收可逆压缩的多视点摄像数据、 解压接受的多视点摄像数据、以及根据分解的多视点摄像数据执行图像处理。在根据本公开实方式中的摄像装置中，穿过摄像透镜的光束由视点分离器件分为多个来自彼此不同视点的光束，由摄像器件的像素接收，由此，可获得基于接收光量的多视点摄像数据。当执行了摄像数据的可逆压缩时，多视点摄像数据的量减少又不损害其特性。 由此，传输数据的时间更短，并且数据累积的存储容量减少。因此，可实现有效的数据传输又不损害多视点摄像数据的特性。在根据本公开实施方式的图像生成系统中，当包含了根据本公开实施方式的摄像装置时，可逆压缩的摄像数据通过通信线路传输至图像处理部，然后该可逆压缩摄像数据解压为摄像数据，与未经过压缩的原始摄像数据基本相同。在图像处理部，使用解压的摄像数据执行各种图像处理。因此，使用视点分离器件获取的摄像数据传输至摄像装置的外部图像处理部，并且图像处理部生成多视点图像。应当理解，之前的一般说明和以下的详细说明是示意性的，并且旨在提供如权利要求中本技术的进一步说明。附图说明所包括的附图提供本专利技术的进一步理解，并且包含于此形成本说明书的一部分。 附图示出实施方式，并且与说明书一起，用于解释本技术的原理。 图1是示出根据本公开实施方式的摄像装置的整个配置的图。图2是示出在图像传感器和透镜阵列之间的位置关系的示意图。图3是示出至各个像素的颜色滤光片分配(颜色排列)的示意图。图4是示出图1示出的数据压缩部与图像处理部之间的关系的功能框图。图5是示出用于说明视点分离的示意图。图6是示出图像传感器获得的摄像数据(原始图像数据)的示意图。图7A至图71是示出用于说明根据图6示出的摄像数据生成的各个视点图像的示意图。图8A至图81是示出视点图像实例的示意图。图9是示出数据压缩部中压缩操作的流程图。图10是示出图像传感器获得的摄像数据(原始图像数据)中颜色排列的示意图。图1lA至图1lI是示出各个视点图像的像素数据群中的颜色排列的示意图。图12A至图12D是示出颜色排列的单元模式的示意图。图13A至图131是示出用于说明根据颜色排列的每个视点图像的排序操作的示意图。图14是示出用于说明视点图像数据的压缩处理的示意图。图15是示出用于说明视点图像数据的压缩处理的示意图。图16是示出用于说明视点图像数据的压缩处理的示意图。图17是示出用于说明视点图像数据的压缩处理的示意图。图18A和图18B是示出用于说明块区的压缩处理的示意图。图19是示出用于说明基准块区的压缩处理的示意图。图20A和图20B是示出用于说明基准块区的压缩处理的示意图。图21是示出用于说明行基准块区的压缩处理的示意图。图22A和图22B是示出用于说明基准块区的压缩处理的示意图。图23是示出图像生成系统的示意性配置作为应用例的示意图。图24是示出图像生成系统的示意性配置作为另一个应用例的示意图。具体实施方式以下将参考附图详细说明本公开优选实施方式。应注意的是，将按以下的顺序进行说明。1.实施方式(摄像装置的实例，其执行使用透镜阵列获得的摄像数据的可逆压缩)2.应用例(图像生成系统的实例)(实施方式)[整体配置]图1示出根据本公开实施方式的摄像装置(摄像装置I)的整体配置。该摄像装置I是所谓的单眼光场相机，并且摄取，例如，物体2的图像，以输出包含多个视点分量 (perspective component)的多视点摄像数据(原始图像数据)。摄像装置I包括摄像透镜 11、透镜阵列12、图像传感器13、数据压缩部14、数据传感器驱动部15、以及控制部16。应注意的是，沿光轴的方向Zl以下称为“Z”，平面中垂直于光轴Zl的水平方向和垂直方向以后分别称本文档来自技高网...

【技术保护点】
一种摄像装置，包括：摄像透镜；视点分离器件，将穿过所述摄像透镜的光束分离为来自多个彼此不同的视点的光束；摄像器件，包括多个像素并在所述像素中接收穿过所述视点分离器件的光束，从而基于所接收的光量输出多视点摄像数据；以及数据压缩部，对所述摄像数据执行可逆压缩。

【技术特征摘要】
2011.10.14 JP 2011-2271751.一种摄像装置，包括 摄像透镜； 视点分离器件，将穿过所述摄像透镜的光束分离为来自多个彼此不同的视点的光束；摄像器件，包括多个像素并在所述像素中接收穿过所述视点分离器件的光束，从而基于所接收的光量输出多视点摄像数据；以及数据压缩部，对所述摄像数据执行可逆压缩。2.根据权利要求1所述的摄像装置，其中， 所述摄像数据由包括多组像素数据的像素数据群构成， 所述数据压缩部基于所述像素数据群生成分别对应于视点图像的N组视点图像数据，其中N是大于等于2的整数，以及 所述数据压缩部通过确定所述N组视点图像数据中位于相同坐标的像素数据之间的第一差值、然后用所述第一差值替换相应像素数据而执行第一压缩处理。3.根据权利要求2所述的摄像装置，其中， 所述摄像器件获取两种或更多种颜色中任何一种颜色的像素数据作为各个像素数据， 在所述第一压缩处理中， 所述数据压缩部，基于选自所述N组视点图像数据的作为基准视点图像数据的ー组视点图像数据，对构成其他组视点图像数据的多个像素数据群进行排序，从而使得所述多个像素数据群与形成所述基准视点图像数据的像素数据群具有相同的顔色排列，以及在对所述多个像素数据群排序之后，所述数据压缩部确定所述第一差值。4.根据权利要求3所述的摄像装置，其中， 在所述第一压缩处理中， 所述数据压缩部从第N面的视点图像数据至第二面的视点图像数据按顺序地执行以下处理确定所述第N面的视点图像数据和第(N-1)面的视点图像数据之间的所述第一差值，然后使用所述第一差值替换所述第N面的视点图像数据中的各像素数据处理，从而用所述第一差值替换除选作所述基准视点图像数据的第一面的视点图像数据之外的(N-1)组视点图像数据中的各像素数据。5.根据权利要求3所述的摄像装置，其中， 在所述第一压缩处理中， 所述数据压缩部按顺序确定所述基准视点图像数据和(N-1)组的其他视点图像数据中的各个之间的第一差值，然后按顺序用所述第一差值替换所述(N-1)组的视点图像数据中的各像素数据。6.根据权利要求3所述的摄像装置，其中， 在所述第一压缩处理之后，所述数据压缩部通过确定在形成所述基准视点图像数据的像素数据群的包括两组以上的像素数据的块区中位于相同位置的像素数据之间的第二差值、然后用所述第二差值替换相应像素数据而执行第二压缩处理。7.根据权利要求6所述的摄像装置，其中， 在所述第二压缩处理中， 所述数据压缩部将形成所述基准视点图像数据的像素数据群分割为块区，每个块区包括P X q组像素数据，其中P和q各自是大于等于2的整数，所述数据压缩部从所有块区中选定作为基准块区的多个块区，然后按顺序确定一个所述基准块区和其相邻的块区之间的所述第二差值，以及所述数据压缩部用所述第二差值替换除所述基准...

【专利技术属性】
技术研发人员：深见正，
申请(专利权)人：索尼公司，
类型：发明
国别省市：