图像处理装置、图像处理方法和程序制造方法及图纸

公开了图像处理装置、图像处理方法和程序。提供了拍摄与从不同视点观察的图像相对应的多个视点图像的成像元件和分离成像元件的输出信号、获取与从不同视点观察的图像相对应的多个视点图像并基于所获取的多个视点图像生成用于三维图像显示的左眼图像和右眼图像的图像处理单元。图像处理单元基于从成像元件获得的多个视点图像生成视差信息并通过利用所生成的视差信息的2D3D转换处理生成用于三维图像显示的左眼图像和右眼图像。利用此配置，基于一个拍摄图像获取多个视点图像并生成用于三维图像显示的图像。

【技术实现步骤摘要】

本公开涉及图像处理装置、图像处理方法和程序。更具体而言，本公开涉及执行用于生成要立体观看(三维观看)的三维图像(3D图像)的处理的图像处理装置、图像处理方法和程序。
技术介绍
可被作为具有深度的三维图像观看的立体图像(三维图像)由左眼用图像和右眼用图像这两个图像的组合配置而成，其中左眼用图像和右眼用图像是来自不同视点的图像。为了获得来自两个视点的图像，也就是双眼视差图像(binocular parallax image),两个成像装置被布置在左侧和右侧，相互分开，并且捕捉图像。所捕捉的一对立体图像是利用包括由左侧成像装置捕捉并由左眼观察的左眼用图像和由右侧成像装置捕捉并由右眼观察的右眼用图像的一对图像配置而成的。·利用包括左眼用图像和右眼用图像的该对图像配置而成的该对立体图像被显示在能够分离左眼用图像和右眼用图像以由观察者的左眼和右眼观看的显示装置上，以使得观察者可将图像认知为三维图像。然而，当来自两个视点的图像被利用两个相机来拍摄时，应当执行对这两个相机的精确同步控制，同步控制是非常困难的，并且对会聚角的准确控制是非常困难的。在专利文献I中公开了一种三维拍摄装置，其中被偏光成为正交关系的偏光滤波器被组合以促进对镜头系统的调整以便执行三维拍摄，并且光学系统被共享。在专利文献2中公开了用包括两个镜头和一个成像单元的成像装置执行三维拍摄的方法。专利文献2中公开的成像装置将被布置成相隔与人类视差相应的间隔的(a)镜头和水平成分偏光滤波器的组合配置和(b)镜头和垂直成分偏光滤波器的组合配置设定到与CCD的成像面相隔预定距离的位置，并且利用(a)和(b)这两个组合配置获取左眼用图像和右眼用图像。专利文献I JP 平 6-054991专利文献2 JP2004-309868
技术实现思路
根据平6-054991号日本专利申请公布中公开的技术，通过重叠两个偏光滤波器的输出并形成单个光路来共享镜头系统。然而，应当进一步设置偏光滤波器来在随后的步骤中提取左眼用图像和右眼用图像，应当再次分割光路，并且光应当入射到每个偏光滤波器上。由于此原因，在镜头系统中产生光损失并且难以减小装置的大小。根据专利文献2中公开的技术，因为应当设置两组镜头和偏光滤波器，所以装置变得复杂并且装置的大小增大。本公开是鉴于例如上述情况而作出的。本公开的目标是提供一种对由一个成像装置捕捉的图像执行处理的、用于生成能够被作为三维图像观看的图像的图像处理装置、图像处理方法和程序。根据本公开的第一实施例，提供了一种图像处理装置，包括成像元件；入射光控制单元，该入射光控制单元执行入射光控制以使得成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。入射光控制单元具有用以获取左眼视点图像、右眼视点图像和中央视点图像这三个视点图像的入射光控制配置，并且图像处理单元包括视差检测单元，该视差检测单元应用左眼视点图像和右眼视点图像这两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的中央视点图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。入射光控制单兀包括第一偏光单兀，该第一偏光单兀具有透过不同偏振光的第 一偏光区域和第二偏光区域；以及第二偏光单兀，该第二偏光单兀使第一偏光单兀的透过光入射，并且包括仅透过第一偏光区域的透过光的第三偏光区域、仅透过第二偏光区域的透过光的第四偏光区域以及透过第一偏光区域和第二偏光区域的透过光的全透过区域，并且图像处理单元包括视差检测单元，该视差检测单元应用基于第二偏光单元的第三偏光区域的透过光的图像和基于第二偏光单元的第四偏光区域的透过光的图像这两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的输入图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。第二偏光单元的第三偏光区域和第四偏光区域是利用线栅偏光器配置而成的偏光区域。入射光控制单元具有微透镜阵列，在该微透镜阵列中微透镜被布置在成像元件的区域的一部分上，并且图像处理单元包括视差检测单元，该视差检测单元应用从来自与微透镜布置区域相对应的形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从来自与微透镜未设定区域相对应的形成成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。入射光控制单元包括微透镜阵列，在该微透镜阵列中微透镜被布置在成像元件的区域的一部分上；以及遮光膜，该遮光膜被设定到微透镜的布置区域并且遮蔽对成像元件的入射光的一部分，并且图像处理单元包括视差检测单元，该视差检测单元应用从来自与微透镜和遮光膜的布置区域相对应的形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从与微透镜和遮光膜的未设定区域相对应的形成成像元件的像素的输出信号获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。成像元件包括用以获取用以生成反映了对象距离的视差信息的两个不同视点图像的左/右视点图像获取区域；以及用以生成从一个视点拍摄的图像的中央视点图像获取区域。左/右视点图像获取区域是利用一种颜色的像素配置而成的，并且图像处理单元具有应用从利用一种颜色的像素配置而成的左/右视点图像获取区域的输出信号获得的两个不同视点图像并生成反映了对象距离的视差信息的视差检测单元。图像处理处理单元应用从来自形成成像元件的像素的输出信号获得的两个不同视点图像并生成反映了图像的对象距离信息的深度地图(depth map)作为反映了对象距离 的视差信息，并且通过应用了深度地图的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像。图像处理单元包括视差检测单元，该视差检测单元应用从成像元件获得的两个不同视点图像并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对从成像元件获得的图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。视差图像生成单元对于由图像校正单元生成的二维图像，执行用于通过应用了视差信息的图像转换处理来生成用于三维图像显示的左眼图像和右眼图像的2D3D转换处理。图像处理单元执行的2D3D转换处理是用于对第一视点图像执行根据对象距离的图像偏移处理并生成用本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：成像元件；入射光控制单元，该入射光控制单元执行入射光控制以使得所述成像元件拍摄与从不同视点观察的图像相对应的多个视点图像；以及图像处理单元，该图像处理单元对所述成像元件的输出信号执行信号处理，其中，所述入射光控制单元具有用以获取左眼视点图像、右眼视点图像和中央视点图像这三个视点图像的入射光控制配置，并且所述图像处理单元包括：视差检测单元，该视差检测单元应用所述左眼视点图像和所述右眼视点图像这两个不同视点图像，并生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自所述成像元件的中央视点图像执行校正处理并生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由所述视差检测单元生成的视差信息，执行对由所述图像校正单元生成的二维图像的图像转换处理，并且生成用于三维图像显示的左眼图像和右眼图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：小林诚司，伊藤厚史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：