图像处理装置、图像处理方法、摄像装置及显示设备制造方法及图纸

本发明专利技术提供一种图像处理装置、图像处理方法、摄像装置及显示设备。所述图像处理装置生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；通过许可重复相同选择的、对所生成的视差图像的多个选择，生成按照选择顺序布置所选择的视差图像的系列视差图像；对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像；并且将所述插值图像布置在所述邻接视差图像之间以将所插值的视差图像作为运动图像的输出图像输出。

【技术实现步骤摘要】
本申请是申请日为2012年12月13日、申请号为201210540134.3、专利技术名称为“图像处理装置、图像处理方法、摄像装置及显示设备”的专利技术专利申请的分案申请。
本专利技术涉及图像处理装置、图像处理方法、摄像装置及显示设备，尤其是涉及被构造为生成并显示能够被传统显示设备显示的立体图像的图像处理装置、图像处理方法、摄像装置及显示设备。
技术介绍
已经提出了能够将摄影镜头的出射光瞳划分为多个光瞳区域并且能够对与所划分的光瞳区域对应的多个视差图像同时摄影的摄像装置。美国专利第4410804号公报公开了一种使用二维摄像元件的摄像装置，在所述二维摄像元件中针对一个像素形成一个微透镜以及多个划分的光电转换单元。划分的光电转换单元被构造为通过该微透镜接收摄影镜头的出射光瞳的不同部分光瞳区域，由此实现光瞳划分。可以根据来自划分的光电转换单元的光电转换信号来生成与划分的部分光瞳区域对应的多个视差图像。日本专利特开2001-083407号公报公开了通过将由划分的光电转换单元接收的全部信号相加来生成摄像图像。拍摄的多个视差图像等同于作为光强度的空间分布以及角度分布的信息的光场(Light Field，LF)数据。Stanford Tech Report CTSR 2005-02,1(2005)公开了一种再聚焦技术，其通过使用获得的LF数据在不同于摄像平面的虚拟聚焦平面上合成图像来改变摄影后的摄像图像的对焦位置。然而，需要专用的三维显示设备以及戴专用眼镜以进行通过使用多个视差图像的三维显示，并且存在降低了三维显示的便利性的问题。
技术实现思路
鉴于上述问题而作出本专利技术。本专利技术的一方面在于使用标准显示设备而不用使用专用三维显示设备来显示多个视差图像，而不降低便利性。为了解决
技术介绍
的上述问题，根据本专利技术的一方面，提供一种图像处理装置，其生成多个视差图像，所述多个视差图像具有视差图像之间的图像偏移量的大小随着散焦量的大小的增大而增大的关系；通过许可重复相同选择的、对所生成的视差图像n次选择(n为正整数)，生成按照选择顺序布置所选择的视差图像的系列视差图像；对所述系列视差图像中包括的各对邻接视差图像重复应用插值处理以生成多个插值图像；并且将所生成的插值图像布置在所述邻接视差图像之间以将所插值的视差图像作为运动图像的输出图像输出。根据以下参照附图对示例性实施例的描述，本专利技术的其他特征将变得清楚。附图说明图1是根据本专利技术的实施例的摄像装置的示意性结构图。图2是示意性地示出根据本专利技术的实施例的摄像元件的像素阵列的图。图3A和图3B是在根据本专利技术的实施例的摄像元件中形成的像素的示意性平面图和示意性截面图。图4是示意性地示出根据本专利技术的实施例的摄像元件的像素与光瞳划分之间的关系的图。图5是示意性地示出根据本专利技术的实施例的摄像元件的像素与光瞳划分之间的关系的图。图6是示出根据本专利技术的实施例的具有不同视点的视差图像的示例的图。图7是示意性地示出根据本专利技术的实施例的视差图像之间的图像偏移量以及散焦量的图。图8是示意性地示出在图6的不同视点的视差图像之间的图像偏移的图。图9是根据本专利技术的实施例的立体图像的生成处理的流程图。具体实施方式下文中，将根据附图详细说明本专利技术的示例性实施例。第一实施例图1是示出根据本专利技术的作为具有摄像元件的摄像装置的照相机的示意性结构的图。在图1中，附图标记101表示配置在聚焦光学系统的头端的第一透镜组，第一透镜组101被保持为在光轴方向上可前后移动。附图标记102表示可变快门(iris shutter)，可变快门102通过调节光圈直径来调节摄影时的光量，并且还具有作为用于调节静止图像摄影时的曝光时间的快门的功能。附图标记103表示第二透镜组。可变快门102和第二透镜组103整体沿光轴方向前后移动，并且通过第一透镜组101的前后移动的协作来起到变倍功能(变焦功能)的作用。附图标记105表示第三透镜组，第三透镜组105利用光轴方向上的前后移动来进行聚焦。附图标记106表示光学低通滤波器，光学低通滤波器106是用于减少拍摄的图像中的伪色和摩尔纹的光学元件。附图标记107表示包括二维CMOS光传感器和外围电路部分的摄像元件，摄像元件107配置在聚焦光学系统的聚焦平面上。附图标记111表示变焦致动器，变焦致动器111旋转地移动筒形凸轮(未示出)以使第一透镜组101至第三透镜组103的透镜组沿光轴方向前后移动，并且进行变倍操作。附图标记112表示光圈快门致动器，光圈快门致动器112控制可变快门102的光圈直径以调节摄影光量，同时控制静止图像摄影时的曝光时间。附图标记114表示聚焦致动器，聚焦致动器114使第三透镜组105沿光轴方向前后移动以进行聚焦。这些部件提供了聚焦光学系统。附图标记115表示用于照亮被摄体的电子闪光灯。尽管优选使用利用氙气灯的闪光照明设备，但是也可以使用配备有持续发光LED的照明设备。附图标记116表示AF辅助光单元，AF辅助光单元116通过投影透镜将具有预定光圈图案的掩模的图像投影到场上，并且增强了关于暗被摄体或低对比度被摄体的焦点检测性能。附图标记121表示照相机中包括的负责照相机主体的各种控制的CPU，CPU 121具有计算部分、ROM、RAM、A/D转换器、D/A转换器、通信接口等。CPU 121驱动照相机的各种部分，并且基于ROM中存储的预定程序执行并控制诸如AF、摄影、图像生成以及记录等的一系列操作。CPU 121提供作为根据本专利技术的生成视差图像的图像处理单元的各种功能。附图标记122表示电子闪光灯控制单元，其控制照明单元115以与摄影操作同步开启。附图标记123表示辅助光驱动单元，其控制AF辅助光单元116以与焦点检测操作同步地开启。附图标记124表示摄像元件驱动单元，其控制摄像元件107的摄像操作，同时A/D转换获得的图像信号以将该图像信号发送到CPU 121。附图标记125表示图像处理单元，图像处理单元125对由摄像元件107获得的图像进行诸如γ转换、色彩插值以及JPEG压缩等的处理。附图标记126表示聚焦驱动单元，聚焦驱动单元126基于焦点检测结果来驱动并控制聚焦致动器114，并使第三透镜组105沿光轴方向前后移动以进行聚焦。附图标记128表示快门驱动单元，快门驱动单元128驱动并控制光圈快门致动器112以控制可变快门102的光圈。附图标记129表示变焦驱动单元，变焦驱动单元129根据摄影者的变焦操作来驱动变焦致动器111。附图标记131表示诸如LCD的显示设备，显示设备131显示关于照相机的摄影模式的信息、摄影前预览图像以及摄影后确认图像、焦点检测时的对焦状态显示图像。附图标记132表示操作开关组，操作开关组132包括电源开关、释放(摄影触发)开关、变焦操作开关、摄影模式选择开关。附图标记133表示可拆装闪存存储器，闪存存储器133记录诸如拍摄的图像的图像数据。图2示出了根据本实施例的摄像元件的像素阵列和子像素阵列的概念图。图2示意性地示出了在针对像素阵列的4行×4列的范围内以及在针对子像素阵列的8行×8列的范围内本实施例的二维CMOS传感器(摄像元件)的像素阵列和子像素阵列。在实际摄像元件中，图2所示的大量4行×4列的像素阵列(8行×8列的子像素阵列)被布置在受光面上以允许图本文档来自技高网...

【技术保护点】
一种图像处理装置，所述图像处理装置包括：生成单元，其至少生成第一视差图像、第二视差图像以及第三视差图像，其中，所述第一视差图像、所述第二视差图像以及所述第三视差图像各自对应于通过不同光瞳区域的图像；以及输出单元，其按照顺序重复输出所述第一视差图像、所述第二视差图像以及所述第三视差图像，其中，所述第一视差图像与所述第二视差图像的视差比所述第一视差图像与所述第三视差图像的视差小。

【技术特征摘要】
2011.12.16 JP 2011-2759531.一种图像处理装置，所述图像处理装置包括：生成单元，其至少生成第一视差图像、第二视差图像以及第三视差图像，其中，所述第一视差图像、所述第二视差图像以及所述第三视差图像各自对应于通过不同光瞳区域的图像；以及输出单元，其按照顺序重复输出所述第一视差图像、所述第二视差图像以及所述第三视差图像，其中，所述第一视差图像与所述第二视差图像的视差比所述第一视差图像与所述第三视差图像的视差小。2.根据权利要求1所述的图像处理装置，其中，所述生成单元选择生成的视差图像，使得视差图像系列中的所述第一视差图像与最后视差图像相同。3.根据权利要求1所述的图像处理装置，其中，所述生成单元选择生成的视差图像，使得对应于邻接视差图像的所述光瞳区域彼此邻接。4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：插值处理单元，其在以逐步方式改变权重的同时对各对邻接视差图像重复应用插值处理。5.根据权利要求1所述的图像处理装置，其中，所述输出单元将视差图像作为运动图像输出。6.一种摄像装置，所述摄像装置包括：聚焦光学系统；摄像单元，在所述摄像单元中布置有接收通过所述聚焦光学系统的不同光瞳区域的光的像素；以及根据权利要求1所述的图像处理装置。7.根据权利要求6所述的摄像装置，其中，所述像素具有接收通过所述聚焦光学系统的不同光瞳区域的光的多个子像素，并且所述生成单元由对应于各光瞳区域的子像素的输出来生成视差图像。8.根据权利要求7所述的摄像装置，其中，所述子像素被二维布置。9.一种显示设备，所述显示设备包括：显示单元；以及根据权利要求1所述的图像处理装置。10.一种图像处理装置的控制方法，所述控制方法包括以下步骤：至少生成第一视差图像、第二视差图像以及第三视差图像，其中，所述第一视差图像、所述第二视差图像以及所述第三视差图像各自对应于通过不同光瞳区域的图像；以及按照顺序重复输出所述第一视差图像、所述第二视差图像以及所述第三视差图像，其中，所述第一视差图像与所述第二视差图像的视差比所述第一视差图像与所述第三视差图像的视差小。11.一种图像处理装置，所述图像处理装置包括：第一生成单元，其至少生成第一视差图像、第二视差图像以及第三视差图像，其中，所述第一视差图像、所述第二视差图像以及所述第三视差图像各自对应于通过不同光瞳区域的图像；第二生成单元，其生成基于所述第一视差图像和所述第二视差图像的第一插值图像，并且生成基于所述第二视差图像和所述第三视差图像的第二插值图像；以及输出单元，其按照顺序输出所述第一视差图像、所述第一插值图像、所述第二视差图像、所述第二插值图像以及所述第三视差图像，其中，所述第一视差图像与所述第二视差图像的视差比所述第一视差图像与所述第三视差图像的视差小。12.根据权利要求11所述的图像处理装置，其中，所述第一生成单元选择生成的视差图像，使得视差图像系列中的所述第一视差图像与最后视差图像相同。13.根据权利要求11所述的图像处理装置，其中，所述第一生成单元选择生成的视差图像，使得对应于邻接视差图像的所述光瞳区域彼此邻接。14.根据权利要求11所述的图像处理装置，所述图像处理装置还包括：插值处理单元，其在以逐步方式改变权重的同时对各对邻接视差图像重复应用插值处理。15.根据权利要求11所述的图像处理装置，其中，所述输出单元将视差图像作为运动图像输出。16.一种摄像装置，所述摄像装置包括：聚焦光学系统；摄像单元，在所述摄像单元中布置有接收通过所述聚焦光学系统的不同光瞳区域的光的像素；以及根据权利要求11所述的图像处理装置。17.根据权利要求16所述的摄像装置，其中，所述像素具有接收通过所述聚焦光学系统的不同光瞳区域的光的多个子像素，并且所述第一生成单元由对应于各光瞳区域的子像素的输出来生成视差图像。18.根据权利要求17所述的摄像装置，其中，所述子像素被二维布置。19.一种显示设备，所述显示设备包括：显示单元；以及根据权利要求11所述的图像处理装置。20.一种图像处理装置的控制方法，所述控制方法包括以下步骤：至少生成第一视差图像、第二视差图像以及第三视差图像，其中，所述第一视差图像、所...

【专利技术属性】
技术研发人员：福田浩一，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP