成像装置、图像处理装置以及图像处理方法制造方法及图纸

一种根据本发明专利技术一个方面的图像处理装置，包括：视差量计算部，计算基于来自第一成像像素组的像素信号的第一平面图像和基于来自第二成像像素组的像素信号的第二平面图像的每个部分的视差量，所述视差量是通过使用包括第一和第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；确定部，确定在第一和第二平面图像中具有大于阈值的视差量的部分为模糊部分；模糊处理部，对第一和第二平面图像中的模糊部分执行模糊处理；高分辨率平面图像生成部，通过在模糊处理之后将第一和第二平面图像彼此组合来生成高分辨率平面图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置，并且涉及一种通过利用所述成像装置获得的多个视点的平面图像来执行图像处理的图像处理装置和图像处理方法。
技术介绍
常规地，能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置是公知的。专利文献I公开了一种包括单个成像光学系统并且通过旋转光圈执行光瞳分割来生成立体图像的配置。专利文献2公开了一种包括用微镜头阵列来分割光瞳并且控制相位差聚焦的单个成像光学系统的配置。专利文献3公开了一种包括单个成像光学系统的成像装置以及一种布置有第一像素组和第二像素组的图像拾取装置，其中每个像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换，以生成包括通过第一像素组获得的平面图像和通过第二像素组获得的平面图像的立体图像。专利文献4描述了 在专利文献3描述的成像装置中，第一像素的输出和第二像素的输出彼此相加。专利文献5公开了一种图像被分割成多个区域并且仅对亮度水平低的特定区域或类似区域增加像素的配置。引用列表专利文献专利文献1:国际专利申请No. 2009-527007的国家公布专利文献2 :日本专利申请特许公开No. 4-267211专利文献3 :日本专利申请特许公开No. 10-42314专利文献4 :日本专利申请特许公开No. 2008-299184专利文献5 :日本专利申请特许公开No. 2007-25169
技术实现思路
技术问题在能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置(在下文中，称作“单眼3D成像装置”)中，当从多个视点的平面图像生成高分辨率图像时，在高分辨率平面图像内的非聚焦区域中生成噪声图。在下文中对生成这种噪声图的机制给出描述。首先， 参考图18A，对通过使用不执行光瞳分割的单眼成像装置拍摄三个对象1、92以及93的情况进行描述。在形成于图像拾取装置16上的三个图像9la、92a以及93a中，仅位于焦平面D上的对象92的图像92a聚焦于图像拾取装置16上。由于对象％与摄像镜头12之间的距离大于对象％与焦平面D之间的距离，并且由于对象％的聚焦图像9ld形成在比图像拾取装置16更接近摄像镜头12的位置处，从而对象％的图像9la导致模糊的图像。由于对象93与摄像镜头12之间的距离小于对象93与焦平面D之间的距离，并且由于聚焦图像93d形成在比图像拾取装置16距离摄像镜头12更远的位置处，从而对象93的图像93a也导致模糊的图像。随后，对使用光瞳分割型单眼3D成像装置拍摄三个对象U2以及93的情况进行描述。在根据本示例的单眼3D成像装置中，存在两种情况S卩，如图18B所示，摄像镜头12的光瞳仅限于快门95所摄的上方区域处的位置；以及如图18C所示，摄像镜头12的光瞳仅限于快门95所摄的下方区域处的位置。如上文所述，在单眼3D成像装置中，在图像拾取装置16上形成的模糊量和图像的位置与在如图18A所示的单眼成像装置中的情况不同。SP，在图18B所示的状态下，与在没有光瞳分割的情况(图19A)下的对象％的图像9&相比较，在对象％的图像9lb中，模糊量变小并且图像位置转向如图19B所示的附图中的下方位置。此外，在对象93的图像9%中，模糊量变小并且图像位置转向附图中的上方区域。在图18C所示的状态下，与在没有光瞳分割的情况(图19A)下的对象％的图像9la相比较，在对象％的图像9le中，模糊量变小并且图像位置转向如图19C所示的附图中的上方位置。此外，在对象93的图像93。中，模糊量变小并且图像位置转向附图中的下方区域。在如上文所述的单眼3D成像装置中，当图19B所示的图像和图19C所示的图像彼此组合以生成高分辨率平面图像时，由于图像9lb、图像9吣图像93b以及图像93。的图像位置彼此不同，从而导致阶梯状噪声图。即，具有在高分辨率平面图像中的模糊区域内生成由视差导致的噪声图的问题。 专利文献1-5没有公开确保高分辨率平面图像中的高分辨率并且保证消除由于视差引起的噪声图的任何配置。在专利文献4中所描述的配置中，由于相邻像素简单地彼此组合，从而具有由于像素增加从而所聚焦的主要对象的分辨率降低的问题。例如，在组合两个像素的情况下，分辨率降低到1/2。专利文献5没有公开能够生成立体图像的单眼3D成像装置。此外，对能够防止由于视差引起的噪声图的配置没有给出描述。鉴于上述问题提出了本专利技术。本专利技术的目的在于提供一种，其能够确保通过组合包括视差的多个平面图像所形成的高分辨率平面图像内所聚焦的主要对象的区域中的分辨率，并且可靠地消除由于视差引起的噪声图。技术方案为了实现该目的，本专利技术的一个方面提供了一种成像装置，包括单个成像光学系统；图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像；视差量计算部，计算所述第一平面图像和所述第二平面图像的每个部分中的视差量；确定部，确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分；模糊处理部，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。模糊“部分”的像素的数量不受限制。可对每个区域或像素进行模糊的确定和模糊处理。即，对第一平面图像和第二平面图像中光通量大于阈值的部分进行模糊处理。因此，在通过将包括视差的第一平面图像和第二平面图像组合所形成的高分辨率平面图像中，确保在所聚焦的主要对象部分中的分辨率，并且可靠地消除由视差导致的噪声图。对像素值取平均值和进行滤波处理可被用作模糊处理。可以使用另一种模糊处理。根据本专利技术的另一个方面，所述视差量计算部计算所述第一平面图像和所述第二平面图像中的每个像素的视差量，所述确定部确定具有大于所述阈值的视差量的像素为模糊像素，并且所述模糊处理部拾取包括所述第一平面图像中的像素和所述第二平面图像中的像素的像素对，每个像素对作为对象与所述图像拾取装置中被布置为彼此相邻的的第一成像像素和第二成像像素相对应，并执行对包括所述模糊像素的所述像素对中的像素之间的像素值取平均值。此外，本专利技术的另一 方面提供了一种成像装置，包括单个成像光学系统；图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像；模糊量差计算，计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量的差；模糊处理部，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及高分辨率平面图像生成部，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.06.30 JP 2010-1497891.一种成像装置，包括 单个成像光学系统； 图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量进行光电转换； 立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像以及基于来自所述第二成像像素组的像素信号的第二平面图像； 视差量计算部，计算所述第一平面图像和所述第二平面图像的每个部分中的视差量；确定部，确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分； 模糊处理部，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及 高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。2.根据权利要求1所述的成像装置，其中，所述模糊处理是对具有大于阈值的视差量的部分中的像素值取平均值或进行滤波处理。3.根据权利要求1所述的成像装置，其中， 所述视差量计算部计算所述第一平面图像和所述第二平面图像中的每个像素的所述视差量， 所述确定部确定具有大于所述阈值的视差量的像素为模糊像素，并且所述模糊处理部拾取包括所述第一平面图像中的像素和所述第二平面图像中的像素的像素对，每个像素对作为对象与彼此相邻设置在所述图像拾取装置中的第一成像像素和第二成像像素相对应，并且所述模糊处理部执行对包括所述模糊像素的所述像素对中的像素之间的像素值取平均值。4.一种成像装置，包括 单个成像光学系统； 图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量进行光电转换； 立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像； 模糊量差计算部，计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量的差； 模糊处理部，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及 高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。5.根据权利要求4所述的成像装置，其中，所述模糊量差计算部计算所述像素对中包括的像素之间的锐度差作为所述模糊量的差。6.根据权利要求4或5所述的成像装置，其中，所述模糊处理对具有大于所述阈值的模糊量的差的绝对值的所述部分中的像素值取平均值或进行滤波处理。7.根据权利要求4或5所述的成像装置，其中，所述模糊量差计算部将与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述像素对是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并且所述模糊量差计算部计算在所述像素对中包括的像素之间的模糊量的差，并且 所述模糊处理部对所述像素对中的像素之间的像素值取平均值，所述像素对中的像素之间的所述像素值具有大于所述阈值的模糊量的差的绝对值。8.根据权利要求4或5所述的成像装置，其中，所述模糊量差计算部将与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述像素对是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并且所述模糊量差计算部计算所述像素对中包括的像素之间的模糊量的差，并且 所述模糊处理部仅对所述像素对中具有较小模糊量的像素执行滤波处理，所述像素对中具有较小模糊量的所述像素具有大于所述阈值的模糊量的差的绝对值。9.根据权利要求8所述的成像装置，其中，所述模糊处理部至少基于所述模糊量的差来确定滤波器系数。10.根据权利要求1-9中任一项所述的成像装...

【专利技术属性】
技术研发人员：大岛宗之，河合智行，
申请(专利权)人：富士胶片株式会社，
类型：
国别省市：