图像处理装置、摄像装置及图像处理方法制造方法及图纸

估计至少一个输入图像的PSF(Point?Spread?Function：点扩散函数)的图像处理装置(10)，具备：信噪比估计部(11)，估计各个空间频率中的输入图像的信噪比；限制区域计算部(13)，以信噪比越低的空间频率就越被包含在限制区域中的方式来计算作为输入图像的频率成分被限制的空间频率的区域的限制区域；频率限制部(13)，通过对限制区域内的输入图像的频率成分进行限制，从而生成限制图像；以及PSF估计部(14)，利用限制图像，估计输入图像的PSF。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置及图像处理方法
本专利技术涉及，估计输入图像的PSF的技术。
技术介绍
近几年，随着数字静态照相机以及数字摄像机等中包含的摄像元件的多像素化进展，摄影图像的分辩率提高了。但是，因多像素化的影响而每一个像素的受光量减少了，摄影图像中的噪声增多了。为了抑制这样的噪声，使曝光时间变长是有效的。但是，若曝光时间变长，则容易产生手抖动(camerashakeblur)以及被摄体抖动(motionblur)，因此导致摄影图像的画质劣化。于是，提出了从如此画质劣化的摄影图像中，除去手抖动以及被摄体抖动的方法(参照专利文献1以及非专利文献1)。根据专利文献1以及非专利文献1的方法，通过利用摄影图像的点扩散函数(PSF:PointSpreadFunction)进行摄影图像的恢复处理，从而生成手抖动以及被摄体抖动被除去的图像。PSF是，表示手抖动、被摄体抖动以及散焦模糊(out－of－focusblur)的状态的函数。而且，以下，将手抖动、被摄体抖动以及散焦模糊总称为模糊(blur)。并且，会有利用PSF，估计摄影图像的距离的情况。例如，存在根据随着距离而变化的PSF来测量距离的所谓DFD(DepthfromDefocus：散焦深度)的方法。具体而言，例如，利用焦点对准的全焦点图像和焦点未对准的模糊图像这两张图像，估计模糊图像的PSF，对估计的PSF与预先按每个被摄体距离测量的PSF进行比较，从而估计距离。对于在这样的图像恢复或距离估计上利用的PSF，利用通过离散傅立叶变换(DFT：DiscreteFourierTransform)而变换为频域的摄影图像来估计的情况多。在DFD的情况下，得到焦点对准的全焦点图像和模糊图像。该模糊图像，与卷积全焦点图像和PSF而得到的图像一致。也就是说，模糊图像的各个频率成分，与全焦点图像的各个频率成分和PSF的各个频率成分的积一致。因此，PSF的各个频率成分是，例如，全焦点图像的各个频率成分除以模糊图像的各个频率成分来能够求出的。(现有技术文献)(专利文献)专利文献1：日本特开2007－116332号公报(非专利文献)非专利文献1：R.Fergus,B.Singh,A.Hertzmann,S.T.Roweis,W.T.Freeman,"RemovingCameraShakefromaSinglePhotograph",ACMTrans.onGraphics,Vol.25,Issue3,pp.787－794(2006)专利技术概要专利技术要解决的问题然而，根据所述的PSF的估计方法，会有不能准确地估计PSF的情况。
技术实现思路
于是，本专利技术，提出能够提高PSF的估计精度的图像处理装置。用于解决问题的手段本专利技术的实施方案之一涉及的图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备：信噪比估计部，估计各个空间频率中的所述输入图像的信噪比；限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域；频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及点扩散函数估计部，利用所述限制图像，估计所述输入图像的点扩散函数。而且，这样的总括性或具体的形态，可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM(CompactDiscReadOnlyMemory：只读光盘)等的记录介质实现，也可以由系统、方法、集成电路、计算机程序或以及记录介质的任意的组合实现。专利技术效果根据本专利技术的实施方案之一涉及的图像处理装置，能够提高PSF的估计精度。附图说明图1是示出实施例1的摄像装置的结构的图。图2是用于说明计算SFR的方法的图。图3是用于说明计算摄影对象的被摄体的频率特性的方法的图。图4是用于说明计算摄像元件的噪声的频率特性的方法的图。图5是用于说明估计各个频率成分的信噪比的方法的图。图6A是示出限制区域的一个例子的图。图6B是示出限制区域的另一个例子的图。图7是示出实施例1的摄像装置的处理的流程图。图8是示出实施例2的摄像装置的结构的图。图9是示出实施例3的摄像装置的结构的图。图10是示出摄像装置与每个距离的PSF的关系的图。图11是示出PSF的各个频率成分的差分的图。图12是示出各个频率成分的距离判别值的图。图13是用于说明根据距离区间而PSF的各个频率成分的差分不同的图。图14是示出其他的实施例的图像处理装置的结构的图。图15是示出其他的实施例的图像处理装置的处理的流程图。具体实施方式(成为本专利技术的基础的知见解)本专利技术人们，关于“
技术介绍
”的栏中记载的PSF的估计，发现了会产生以下的问题。在估计PSF的情况下可以考虑到，因用于估计的模糊的图像的信噪比(SN比：SignaltoNoiseRatio)而PSF估计精度发生大变化。考虑DFD中估计PSF的情况。在被摄体被拍摄的图像中信号成分少的情况(没有边缘且平坦的图像的情况)下，难以估计PSF。这是因为，由于信号成分少，因此全焦点图像的各个频率成分的振幅变小，与模糊图像的各个频率成分的差分变小。并且，在光量少的情况下，在拍摄的图像中噪声成分的影响大，难以估计PSF。这是因为，全焦点图像的频率成分和模糊图像的频率成分埋入在噪声成分中，因此，导致各个频率成分的差分不准确。根据所述内容可以认为，在拍摄的被摄体中信号成分多(边缘多)、噪声少的情况下，能够准确地估计PSF的各个频率成分。一般而言，摄影图像的信号成分，越是低频率，振幅就越大，越是高频率，振幅就越小。理由是，在由摄像机拍摄时，因透镜的频率特性(MTF：ModulationTransferFunction)以及根据透镜的F值而决定的衍射极限，而高频率成分衰减。并且，也有以下的理由，即，自然图像具有不太包含高频率成分这特性。另一方面，对于摄影图像的噪声成分，具有白噪声的特性的光散粒噪声的影响大。因此，可以认为，对于直流成分以外的频率成分，噪声成分的振幅的大小均匀。根据以上的内容，具有的特性是，在比较信号成分与噪声成分时，越是低频率成分，信号成分的比率就越大，信噪比就越高。另一方面，具有的特性是，在比较信号成分与噪声成分时，越是高频率成分，噪声成分的比率就越大，信噪比就越低。如上所述，根据一般的摄影图像的信号成分与噪声成分的关系可以认为，对于各个空间频率的PSF的估计，越是信噪比高的低频域，就越容易，越是信噪比低的高频域，就越困难。特别是，在噪声成分的量多的情况下，对于高频率成分，信号成分完全埋入在噪声成分中，因此，难以估计PSF。在这样的情况下，若也估计高频率的PSF的频率成分，则导致计算时间的浪费，也成为PSF的估计精度劣化的原因。于是，本专利技术的实施方案之一涉及的图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备：信噪比估计部，估计各个空间频率中的所述输入图像的信噪比；限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域；频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及点扩散函数估计部，利用所述限制本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.08.29 JP 2011-1854911.一种图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备：信噪比估计部，估计各个空间频率中的所述输入图像的信噪比；限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域；频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及点扩散函数估计部，利用所述限制图像，估计所述输入图像的点扩散函数。2.如权利要求1所述的图像处理装置，所述限制区域计算部，计算比所述信噪比与阈值一致的空间频率高的频率的区域，以作为所述限制区域。3.如权利要求1所述的图像处理装置，所述限制区域计算部，计算所述信噪比小于阈值的空间频率的区域，以作为所述限制区域。4.如权利要求1所述的图像处理装置，所述点扩散函数估计部，按所述输入图像的每个区域估计所述点扩散函数，所述图像处理装置还具备距离估计部，该距离估计部，利用按每个区域估计的所述点扩散函数，估计所述输入图像在拍摄场景中的距离。5.如权利要求4所述的图像处理装置，所述图像处理装置还具备距离信息数据库，该距离信息数据库，保持与多个距离分别对应的多个点扩散函数的频率特性，所述限制区域计算部，以所述信噪比越低的空间频率就越被包含在所述限制区域中的方式，并且，以所述距离信息数据库所保持的所述多个点扩散函数的频率特性中频率成分的差分越小的空间频率就越被包含在所述限制区域中的方式，来计算所述限制区域。6.如权利要求4所述的图像处理装置，所述图像处理装置还具备距离信息数据库，该距离信息数据库，将多个点扩散函数的频率特性与多个距离分别对应起来保持，所述至少一个输入图像包含第一输入图像和第二输入图像，所述第二输入图像的模糊比所述第一输入图像小，所述点扩散函数估计部，计算所述第一输入图像的限制图像与卷积图像的差分，所述卷积图像是对所述第二输入图像的限制图像与所述距离信息数据库所保持的点扩散函数进行卷积运算而得到的图像，根据计算出的所述差分，从所述距离信息数据库所保持的多个点扩散函数中选择一个点扩散函数，从而估计所述第一输入图像的点扩散函数。7.如权利要求1所述的图像处理装置，所述信噪比估计部，根据拍摄所述输入图像时所利用的透镜的频率特性和所述输入图像中包含的被摄体的频率特性之中的至少一方，估计各个空间频率中的所述输入图像的信号成分，根据拍摄所述输入图像时所利用的摄像元件中的噪声的频率特性，估计各个空间...

【专利技术属性】
技术研发人员：藤井隆志，物部祐亮，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：