图像处理装置、图像处理方法和图像拾取装置制造方法及图纸

成像单元20具有下述配置：其中布置有非偏振像素和偏振像素，并且偏振像素针对至少两个偏振方向的各个角度设置。去马赛克处理单元50根据由成像单元20生成的拍摄图像来生成非偏振图像和针对各个偏振方向的偏振分量图像。偏振信息生成单元60根据由去马赛克处理单元50生成的非偏振图像和偏振分量图像来生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。由于如上所述不仅使用偏振分量图像而且还使用不会发生光量减少的非偏振图像来生成偏振信息，因此可以获得与基于偏振分量信息生成偏振信息时相比更准确的偏振信息。

Image Processing Device, Image Processing Method and Image Picking Device

The imaging unit 20 has the following configuration: a non-polarized pixel and a polarized pixel are arranged, and the polarized pixel is set for each angle of at least two polarization directions. The de-mosaic processing unit 50 generates a non-polarized image and a polarized component image for each polarization direction based on the photographed image generated by the imaging unit 20. The polarization information generating unit 60 generates polarization information indicating the polarization characteristics of the photographed object included in the photographed image based on the non-polarization image and the polarization component image generated by the de-mosaic processing unit 50. Since the polarization information is generated not only by using the polarization component image but also by using the non-polarization image which does not reduce the amount of light as described above, more accurate polarization information can be obtained than the polarization information generated based on the polarization component information.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和图像拾取装置
本技术涉及图像处理装置、图像处理方法和图像拾取装置以准确地获取偏振信息。
技术介绍
传统地，已经公开了一种利用图像拾取单元和偏振滤波器获取偏振图像的方法。例如，专利文献1公开了一种获取多个偏振方向上的偏振图像的方法，在该方法中，在图像拾取单元的前方设置偏振滤波器并且通过转动该偏振滤波器来执行拍摄。此外，已经公开了一种利用偏振滤波器赋予像素多个偏振方向中的任何方向，通过每次进行图像拍摄来获取其中以像素为单位表示每个偏振方向的偏振分量的偏振图像的方法。此外，存在从以像素为单位表示每个偏振方向的偏振分量的偏振图像获得的关于被拍摄对象的法线信息。例如，在非专利文献1和2中，通过将多个偏振方向中的每个偏振方向的偏振分量替换为模型表达式来计算法线信息。引用列表专利文献专利文献1：国际公布第2008/099589号非专利文献非专利文献1：LawrenceB.Wolff和TerranceE.Boult：“ConstrainingObjectFeaturesUsingaPolarizationReflectanceModel(使用偏振反射模型来限制对象特征)”，IEEETransactiononpatternanalysisandmachineintelligence(IEEE模式分析和机器智能学报)，第13卷，第7号，1991年7月非专利文献2：GaryA.Atkinson和EdwinR.Hancock：“Recoveryofsurfaceorientationfromdiffusepolarization(从散射偏振恢复表面定向)”，IEEETransactionsofImageProcessing(IEEE图像处理学报)，第15卷，第6期，第1653至1664页，2006年
技术实现思路
本专利技术要解决的技术问题同时，当非偏振光经过偏振滤波器时，通过阻挡在特定偏振方向上振荡的光、比如竖直振荡的光而仅获得水平光；然而，由于对竖直振荡光的阻挡引起了光量减少。因此，由于光量减少而导致的偏振图像中的噪声增加阻碍了从该偏振图像中准确地获取偏振信息。因此，本技术提供了能够准确地获取偏振信息的图像处理装置、图像处理方法和图像拾取装置。问题的解决方案根据本技术的第一方面，一种图像处理装置，包括：去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。在该技术中，去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像。在生成偏振分量图像时，例如针对偏振方向中的每个偏振方向，利用目标像素、目标像素的周边像素中的在其中偏振像素的偏振方向与目标像素的偏振方向相同的像素位置处的偏振像素、以及像素位置等于偏振像素和在目标像素的像素位置处的非偏振像素，并且利用偏振方向相同的像素位置处的非偏振像素的像素平均值与目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算目标像素的像素位置处的偏振像素的像素值，从而生成每个偏振方向的偏振分量图像。此外，设置有：像素处理单元，被配置成利用非偏振像素来生成偏振像素的像素位置处的像素，并且生成非偏振图像；以及噪声去除单元，基于目标像素的像素位置处的非偏振像素以及偏振方向与目标像素相同的周边像素的像素位置处的非偏振像素，来计算要用于平滑滤波处理的权重，该噪声去除单元利用计算出的权重、目标像素以及偏振方向与目标像素相同的周边像素的像素位置处的偏振像素来计算目标像素的像素位置处的偏振像素的像素值，噪声去除单元对目标像素的像素位置处的偏振像素执行噪声去除，并且去马赛克处理单元利用经噪声去除单元进行噪声去除之后的偏振像素来生成偏振分量图像。偏振信息生成单元例如基于偏振方向、目标像素位置处的非偏振像素和偏振方向中的每个偏振方向的偏振像素来计算指示目标像素位置处的偏振特性的偏振模型表达式的偏振参数，并且生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。此外，偏振信息生成单元使用灵敏度与偏振像素相等的非偏振像素的像素值作为偏振参数。此外，设置有法线信息生成单元，其基于由偏振信息生成单元生成的偏振信息来生成关于被拍摄对象的法线信息。根据该技术的第二方面，一种图像处理方法包括：由去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像来生成非偏振图像和每个偏振方向的偏振分量图像；以及由偏振信息生成单元根据由去马赛克处理单元生成的非偏振图像和偏振分量图像来生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。根据本技术的第三方面，一种图像拾取装置，在该图像拾取装置中布置有非偏振像素和偏振像素，偏振像素被设置在至少两个偏振方向的每个偏振方向上。在该技术中，布置有非偏振像素和偏振像素，偏振像素被设置在每个偏振方向上，使得至少两个偏振方向相对于各自具有矩形形状的像素的边角度对称。此外，例如，非偏振像素和偏振像素被布置成使得在2×2像素区域中，非偏振像素均被设置在对角像素位置处并且其余像素是偏振像素。此外，每个偏振方向的偏振像素的颜色相同，并且非偏振像素是每个预定颜色分量的像素。此外，设置有像素控制单元，其进行控制以使非偏振像素的灵敏度与偏振像素的灵敏度相同，例如，像素控制单元控制非偏振像素或偏振像素的曝光时间段以使非偏振像素的灵敏度与偏振像素的灵敏度相同。此外，设置有像素处理单元，并且例如，该像素处理单元利用非偏振像素进行插值处理，或者执行对偏振方向相同的相邻偏振像素的统合处理和对相邻非偏振像素的统合处理，该像素处理单元生成非偏振图像或者生成非偏振图像和偏振图像。此外，像素处理单元对颜色相同的像素执行统合处理。本专利技术的效果根据该技术，由去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像生成了非偏振图像和每个偏振方向的偏振分量图像，并且根据该非偏振图像和偏振分量图像生成了指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。如上所述，不仅利用偏振分量图像而且还利用不会使光量减少的高度灵敏的非偏振图像来生成偏振信息。因此，与基于偏振分量图像生成偏振信息的情况相比，可以获取准确的偏振信息。注意，本说明书中描述的效果仅是示例性的而并非意在进行限制并且可以具有附加效果。附图说明图1是示出图像处理装置的实施方式的配置的图。图2是例示图像拾取单元的第一实施方式的配置的视图。图3是例示图像拾取单元的第一实施方式中的图像传感器的配置的视图。图4是例示图像拾取单元的第一实施方式中的偏振滤波器的配置的视图。图5是例示图像拾取单元的第二实施方式中的图像传感器的配置的视图。图6是用于描述图像拾取单元的第二实施方式中的图像传感器的操作的时序图。图7是例示图像拾取单元的第三实施方式中的偏振滤波器的配置的视图。图8是用于描述偏振方向与矩形像素之间的位置关系的视图。图9是本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。

【技术特征摘要】
【国外来华专利技术】2016.10.17 JP 2016-2033661.一种图像处理装置，包括：去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。2.根据权利要求1所述的图像处理装置，其中，针对所述偏振方向中的每个偏振方向，所述去马赛克处理单元利用目标像素、所述目标像素的周边像素中的与所述目标像素的偏振方向相同的像素位置处的偏振像素、以及像素位置与所述偏振像素相同和在所述目标像素的像素位置处的非偏振像素，计算所述目标像素的像素位置处的偏振像素的像素值。3.根据权利要求2所述的图像处理装置，其中，所述去马赛克处理单元利用偏振方向相同的像素位置处的非偏振像素的像素平均值与所述目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算所述目标像素的像素位置处的偏振像素的像素值。4.根据权利要求1所述的图像处理装置，还包括：像素处理单元，被配置成利用非偏振像素来生成偏振像素的像素位置处的像素，以生成非偏振图像；以及噪声去除单元，被配置成：基于目标像素的像素位置处的非偏振像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的非偏振像素来计算要用于平滑滤波处理的权重，并且利用计算出的所述权重、所述目标像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的偏振像素来计算所述目标像素的像素位置处的偏振像素的像素值，其中，所述去马赛克处理单元利用经所述噪声去除单元进行噪声去除之后的偏振像素来生成偏振分量图像。5.根据权利要求1所述的图像处理装置，其中，所述偏振信息生成单元基于所述偏振方向、目标像素位置处的非偏振像...

【专利技术属性】
技术研发人员：海津俊，平泽康孝，近藤雄飞，栗田哲平，陆颖，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP