立体摄像装置及阴影校正方法制造方法及图纸

提高由光瞳分割方式的立体摄像装置得到的图像的品质。由本发明专利技术涉及的立体摄像装置得到的第1及第2图像，在光瞳分割方向具有对象的阴影。由此，如果将第1及第2图像合成，则产生阴影消除后的参考数据。能够基于该参考数据，确定第1及第2图像的阴影校正量，并基于所确定的阴影校正量，对第1及第2图像进行阴影校正。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及摄像装置，特别涉及使穿过拍摄透镜的2个方向的不同区域的被摄体像分别在摄像元件上成像，获取不同的视点图像的技术。
技术介绍
在专利文献I至3中示出现有光瞳分割方式的立体摄像装置的一个例子。在专利文献I中，公示了对从不同射出瞳区域得到的A像及B像进行阴影校正，计算相位差值的立体摄像装置。此外，该阴影校正通过将A像除以B像或将A像与B像相乘而实施。在专利文献2中，公示了一种通过使层叠在光电二极管上部的微透镜偏移而进行立体摄像的立体摄像装置。在该立体摄像时，通过在基板的受光面中央部和受光面周边部对微透镜的偏移方向和偏移量进行变更，从而进行减少阴影对画质的影响的处理。另外，作为单眼立体摄像装置，例如，已知专利文献3公示的具有图13所示的光学系统的结构。图13所示的光学系统利用反射镜4对穿过主透镜I及中继透镜2的左右方向的不同区域的被摄体像进行光瞳分割，经由各个成像透镜5、6而在摄像元件7、8上成像。图14A至图14C分别是表示由焦点靠前、合焦(最佳焦距)、及焦点靠后的差异引起的在摄像元件上成像的像的分离状态的图。此外，在图14A至图14C中，为了对由聚焦引起的分离的差异进行比较，省略 图13所示的反射镜4。如图14B所示进行光瞳分割得到的像中的合焦的像，在摄像元件上的同一位置成像(一致)，但如图14A及图14C所示，焦点靠前及焦点靠后的像，在摄像元件上的不同位置成像(分离)。因此，通过经由摄像元件7、8获取在左右方向进行光瞳分割的被摄体像，从而对应于被摄体距离得到视点不同的左视点图像及右视点图像。并且，能够从所得到的左视点图像及右视点图像生成3D图像。已知在通过变焦透镜等光学系统使作为被摄体的物体在摄像元件的摄像面上成像的情况下，通过摄像元件摄像得到的像与原物体相比，会由于光学系统的像差的影响而产生模糊，使画质恶化。由这时的像引起的图像的强度分布g，是在原物体的亮度分布f与表示光学系统成像性能的点像强度分布h的卷积(Convolution)上增加噪声n而表示，即g = f*h + n (*表示卷积积分)…(A)g、h、n已知，能够通过式(A)求出原物体的亮度分布f。由此，通过信号处理消除光学系统的模糊而得到理想像的技术，被称为像的“还原”、“反卷积”、或“解卷积(Deconvolution)”。基于点像强度分布(PSF)的还原滤波器，考虑与摄像时的图像恶化相关的信息，例如拍摄条件(曝光时间、曝光量、至被摄体的距离、焦距等)或摄像装置的特性信息(透镜的光学特性、摄像装置的识别信息等)等而生成(专利文献4)。由模糊引起的恶化模型可以用函数表示。例如，可以利用将与中心像素的距离(像高)设为参数的正态分布表示模糊现象(专利文献5)。专利文献6表示对于一个微透镜，分配摄像元件上的3X3 = 9个像素的摄像装置的例子。专利文献专利文献1:日本特开2010 - 145544号公报专利文献2:日本特开2007 - 279512号公报专利文献3:日本特表2009 - 527007号公报专利文献4:日本特开2008 - 172321号公报专利文献5:日本特开2000 - 020691号公报专利文献6:日本特开2009 - 165115号公报
技术实现思路
但是，由于光瞳分割方式的立体摄像装置特有的像素排列，会在各视点图像中出现产生明暗失真的阴影，使得视点图像间的明亮度不均匀，图像品质降低。另外，在全像素的平面图像记录时，不仅是变暗，还会发生分辨率降低或伪分辨率等画质降低的现象。此夕卜，由于阴影强度还会随着透镜的光圈变化，因此需要进行与摄像条件相对应的校正。在专利文献I中,通过分别对A像和B像实施由低通滤波器(Low Pass Filter)进行的滤波，从而进行减少随机噪声的电平校正。但是，存在电平校正的结果伴随摄像条件的变化而变化的问题。另外，在专利文献2中，由于在摄像元件的中心和周边对微透镜的偏移量进行调整，因此相位差值会随着像素的位置而改变。因此，存在需要进行与发生变化的相位差相对应的校正的问题。本专利技术就是鉴于上述情况而提出的，目的在于提供一种提高由光瞳分割方式的立体摄像装置得到的图像的品质的技术。为了实现上述目的，本专利技术的立体摄像装置输出通过对来自单一摄像光学系统的光束进行的光瞳分割而具有相位差的多个图像，并能够从多个图像还原出具有与相位差相对应的视差的立体观看图像，该立体摄像装置具有:合成部，其对多个图像进行合成，基于从多个图像合成得到的图像，输出阴影校正的参考数据；以及校正部，其通过对合成部输出的参考数据和多个图像分别进行比较，确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，对多个图像分别进行阴影校正。另外，本专利技术的立体摄像装置具有缩略部，其对多个图像分别进行像素缩略，合成部将通过缩略部进行像素缩略而得到的多个图像合成，基于从多个图像合成而成的图像，输出阴影校正的参考数据，校正部通过对参考数据进行插补以使其与多个图像各自的原始尺寸一致，并对插补后的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量对多个图像分别进行阴影校正。此外，本专利技术的立体摄像装置还具有滤波部，其由低通滤波器对参考数据、多个图像分别实施滤波并将其输出，校正部通过对滤波部输出的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，对多个图像分别进行阴影校正。此外，本专利技术的立体摄像装置优选具有:获取部，其获取多个图像各自的拍摄时的设定信息；以及判定部，其基于获取部获取的设定信息，判定是否需要校正部执行阴影校正，在判定部判定为需要校正部执行阴影校正时，校正部对多个图像分别进行阴影校正。这时，优选设定信息包含立体观看图像拍摄模式或平面图像拍摄模式中的任一个拍摄模式的设定信息，判定部在拍摄模式的设定信息为平面拍摄模式的情况下，判定为需要校正部执行阴影校正。另外，优选判定部在拍摄模式的设定信息为立体观看图像拍摄模式的情况下，判定为不需要校正部执行阴影校正处理。此外，优选设定信息包含光圈的设定信息，判定部在光圈的设定信息为与规定的光圈值相比为缩小侧的情况下，判定为需要校正部执行阴影校正。此外，优选设定信息包含变焦位置的设定信息，判定部在透镜光圈的设定信息与规定的光圈值相比为扩大侧且变焦位置的设定信息与规定的变焦位置相比为广角侧的情况下，判定为需要校正部执行阴影校正。而且，优选具有滤波部，其由低通滤波器对参考数据、多个图像分别实施滤波并将其输出，判定部在透镜光圈的设定信息与规定的光圈值相比为扩大侧且变焦位置的设定信息与规定的变焦位置相比为望远侧的情况下，判定为需要校正部执行阴影校正，在判定部判定为需要校正部执行阴影校正时，校正部通过对滤波部输出的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量分别对多个图像进行阴影校正。另外，为了实现上述目的，本专利技术是下述立体摄像装置执行的阴影校正方法，该立体摄像装置输出通过对来自单一摄像光学系统的光束进行光瞳分割而具有相位差的多个图像，并那个从多个图像还原出具有与相位差相对应的视差的立体观看图像，该阴影校正方法具有以下步骤:对多个图像分别进行合成，基于从所述多个图像合成得到的图像，输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.22 JP 2010-212460;2011.01.17 JP 2011-006991.一种立体摄像装置，其输出通过对来自单一摄像光学系统的光束进行光瞳分割而具有相位差的多个图像，并能够从所述多个图像还原出具有与所述相位差相对应的视差的立体观看图像， 该立体摄像装置具有: 合成部，其对所述多个图像进行合成，基于由所述多个图像合成而成的图像，输出阴影校正的参考数据；以及 校正部，其通过对所述合成部输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正。2.根据权利要求1所述的立体摄像装置，其中， 具有缩略部，其对所述多个图像分别进行像素缩略， 所述合成部对通过所述缩略部进行像素缩略而得到的多个图像进行合成，基于由所述多个图像合成而成的图像，输出阴影校正的参考数据， 所述校正部，通过对所述参考数据进行插补以使其与所述多个图像各自的原始尺寸一致，并对所述插补后的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，基于所述确定的阴影校正量对所述多个图像分别进行阴影校正。3.根据权利要求2所述的立体摄像装置，其中， 具有滤波部，其由低通滤波器对所述参考数据、所述多个图像分别实施滤波并将其输出， 所述校正部通过对所述滤波部输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正。4.根据权利要求1至3中任一项所述的立体摄像装置，其具有: 获取部，其获取所述多个图像各自的拍摄时的设定信息；以及 判定部，其基于所述获取部获取的设定信息，判定是否需要所述校正部执行阴影校正， 所述校正部，在所述判定部判定为需要所述校正部执行阴影校正时，对所述多个图像分别进行阴影校正。5.根据权利要求4所述的立体摄像装置，...

【专利技术属性】
技术研发人员：仓桥秀和，
申请(专利权)人：富士胶片株式会社，
类型：
国别省市：