本发明专利技术提供一种图像处理装置、摄像装置及图像处理方法。所述图像处理装置(204)包括：非必要成分确定器(204a)，其基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器(204b)，其对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器(204c)，其对所述非必要成分信息进行放大处理；以及非必要成分削减器(204d)，其基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。
【技术实现步骤摘要】
本专利技术涉及一种用于提高拍摄图像的质量的图像处理方法。
技术介绍
在通过诸如照相机等的摄像装置进行摄像时，入射于光学系统的部分光可以被透镜的表面和保持透镜的部件反射，并且作为非必要光到达成像面。该非必要光在拍摄图像中，表现为诸如重影及光斑等的非必要成分。当在远摄透镜中使用衍射光学元件来校正纵向(轴向)色像差和倍率色像差时，来自用于摄像的视角之外的高强度物体(例如，太阳)的光可能入射在衍射光学元件上，从而在整个图像之上生成作为非必要成分的非必要光。之前，已知通过使用数字图像处理来去除非必要成分的方法。日本特开2008-54206号公报公开了如下的方法，即基于表示对焦图像与散焦图像之间的差分的差分图像，来检测重影，所述对焦图像是当光学系统在被摄体上对焦时的图像，所述散焦图像是当摄像光学系统离焦时的图像。然而，在日本特开2008-54206号公报中公开的方法需要多次进行图像拍摄，因此不适合于运动被摄体的静止图像拍摄和运动图像拍摄。日本特开2011-205531号公报公开了如下的方法，即基于通过单镜头立体摄像而拍摄的多个视差图像的比较，来检测重影。在日本特开2011-205531号公报中公开的方法通过单次摄像获得多个视差图像，该方法适用于运动被摄体的静止图像拍摄和运动图像拍摄。然而，在日本特开2011-205531号公报中公开的方法通过计算主图像与副图像之间的差分，来检测重影。然而，如果简单地针对所有像素获得差分，则计算处理负荷大，因此，难以实时进行处理。此外，在仅进行差分计算的处理中，噪声增大，因此，难以维持高的图像质量。
技术实现思路
本专利技术提供能够有效地确定包含在拍摄图像中的非必要成分而不进行多次摄像以减轻处理负荷并维持高的图像质量的图像处理装置、摄像装置及图像处理方法。本专利技术的一个方面提供一种图像处理装置，该图像处理装置包括：非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。本专利技术的另一方面提供一种摄像装置，该摄像装置包括：摄像设备，其被构造为对经由光学系统而形成的光学像进行光电转换，以输出多个视差图像；非必要成分确定器，其被构造为基于与所述多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。本专利技术的另一方面提供一种图像处理方法，该图像处理方法包括以下步骤：基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；对所述非必要成分信息进行放大处理；以及基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。通过以下参照附图对示例性实施例的描述，本专利技术的其他特征及方面将变得清楚。附图说明图1A及图1B是例示第一实施例中的图像处理方法的过程的图。图2A及图2B是通过第一实施例中的图像处理方法而获得的示例性的输出图像。图3是在第一及第二实施例中的各个中的摄像系统中的、摄像元件的光接收部与光学系统的光瞳的关系图。图4是第一及第二实施例中的各个中的摄像系统的示意图。图5是第一实施例中的摄像装置的框图。图6A及图6B是第一实施例中的光学系统的结构图和在光学系统中出现的非必要光的说明图。图7是穿过第一实施例中的光学系统的孔径光阑的非必要光的说明图。图8A至图8H是当不进行缩小处理时的噪声量的说明图。图9是例示第一实施例中的图像处理方法的流程图。图10是例示第一实施例中的图像处理方法的流程图。图11是例示第一实施例中的图像处理方法的流程图。图12是第二实施例中的摄像装置的框图。图13是例示第二实施例中的图像处理方法的流程图。图14是例示第二实施例中的图像处理方法的流程图。图15是例示第二实施例中的图像处理方法的流程图。图16是例示第三及第四实施例中的各个中的摄像元件的图。图17是在第三及第四实施例中的各个中的摄像系统中的、摄像元件的光接收部与光学系统的光瞳的关系图。图18是第三实施例中的摄像系统的示意图。图19是穿过第三实施例中的光学系统的孔径光阑的非必要光的说明
图。图20是例示第三实施例中的图像处理方法的过程的图。图21是例示第三实施例中的图像处理方法的流程图。图22是例示第四实施例中的图像处理方法的过程的图。图23是例示第四实施例中的图像处理方法的流程图。图24是例示第五实施例中的摄像系统的图。图25是例示第五实施例中的摄像系统的图。图26是例示第五实施例中的摄像系统的图。图27是例示传统的摄像元件的图。图28A及图28B是例示通过图24中的摄像系统而获得的图像的图。图29是例示通过图25及图26中的各个中的摄像系统而获得的图像的图。图30是例示第五实施例中的摄像装置的示例的图。图31是例示第五实施例中的摄像装置的示例的图。图32A及图32B是例示第六实施例中的选择非必要成分削减处理区域的示例的图。具体实施方式下面，将参照附图来描述本专利技术的示例性实施例。在各实施例中，能够生成多个视差图像的摄像装置包括摄像系统，所述摄像系统将穿过光学系统(摄像光学系统)的光瞳的彼此不同的区域的多个光束，引导至摄像元件的彼此不同的光接收部(像素)，以进行光电转换。[第一实施例]首先，将描述本专利技术的第一实施例。图3例示了本实施例中的摄像系统中的摄像元件的光接收部与光学系统的光瞳之间的关系。在图3中，符号ML表示微透镜，并且符号CF表示滤色器(color filter)。符号EXP表示光学系统的出射光瞳(光瞳)，并且符号P1及P2表示出射光瞳EXP
的区域。符号G1及G2表示像素(光接收部)，并且一个像素G1和一个像素G2配对(像素G1和G2被布置为共用单个微透镜ML)。摄像元件包括多对像素G1和G2(像素对)的阵列。配对的像素G1和G2经由共用的(即为各像素对配设的)微透镜ML，与出射光瞳EXP具有共轭关系。在各实施例中，在摄像元件中阵列的像素G1及G2又分别称为像素组G1及G2。图4是本实施例中的摄像系统的示意图，所述摄像系统被假定为具有如下的结构，即替代图3中所示的微透镜ML，在出射光瞳EXP的位置上配设薄透镜。像素G1接收穿过出射光瞳EXP的区域P1的光束。像素G2接收穿过出射光瞳EXP的区域P2的光束。符号OSP表示进行图像拍摄(摄像)的物点。物点OSP上不一定必须存在物体。穿过物点OSP的光束依据光束穿过的光瞳(出射光瞳EXP)中的位置(在本实施例中，是区域P1或区域P2)，而入射于像素G1和像素G2中的一者。光束穿过光瞳的彼此不同的区域的行进，对应于入射本文档来自技高网...
【技术保护点】
一种图像处理装置，该图像处理装置包括：非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。
【技术特征摘要】
2015.03.02 JP 2015-0399211.一种图像处理装置，该图像处理装置包括：非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。2.根据权利要求1所述的图像处理装置，其特征在于：所述缩小处理器被构造为对所述多个视差图像中的各个进行所述缩小处理，所述非必要成分确定器被构造为基于与缩小后的所述多个视差图像相关的差分信息，来确定所述非必要成分信息，并且所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。3.根据权利要求1所述的图像处理装置，其特征在于：所述缩小处理器被构造为对所述差分信息进行所述缩小处理，所述非必要成分确定器被构造为基于所缩小后的差分信息，来确定所述非必要成分信息，并且所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。4.根据权利要求1所述的图像处理装置，其特征在于：所述缩小处理器被构造为对基于所述多个视差图像而确定的所述非必要成分信息，进行所述缩小处理，并且所述放大处理器被构造为进行所述放大处理，以将所缩小后的非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。5.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括被构造为进行降低噪声的平滑化处理的降噪器。6.根据权利要求5所述的图像处理装置，其特征在于，所述降噪器被构造为在所述缩小处理器进行所述缩小处理之后，进行所述平滑化处理。7.根据权利要求5所述的图像处理装置，其特征在于，所述降噪器被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行所述平滑化处理。8.根据权利要求5所述的图像处理装置，其特征在于，所述降噪器被构造为在所述缩小处理器进行所述缩小处理之前，依据所述缩小处理的缩小率进行所述平滑化处理。9.根据权利要求1所述的图像处理装置，其特征在于，所述缩小处理器被构造为通过使用基于所述非必要成分信息而确定的缩小率，来进行所述缩小处理。10.根据权利要求1所述的图像处理装置，其特征在于，所述非必要成分削减器被构造为进行所述多个视差图像的对准。11.根据权利要求1所述的图像处理装置，其特征在于，所述缩小处理器被构造为通过像素的抽取处理、像素值的平均化处理...
【专利技术属性】
技术研发人员：江口薰，井上智晓，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。