摄像装置、图像处理系统、摄像系统和图像处理方法制造方法及图纸

公开了摄像装置、图像处理系统、摄像系统和图像处理方法。摄像装置（100）基于经由摄像光学系统取得的第一图像来生成第二图像，并且包括图像取得单元（101）、存储单元（106）和图像校正单元（105），图像取得单元（101）被配置成取得第一图像，存储单元（106）被配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的，图像校正单元（105）被配置成通过使用从多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。

【技术实现步骤摘要】

本专利技术涉及进行拍摄图像的图像复原处理的摄像装置。
技术介绍
近年来，随着显示设备的高清晰化，期望高质量的拍摄图像。然而，由于光学系统的像差或衍射的影响，拍摄图像的质量变坏。另一方面，提出了通过把诸如维纳滤波器之类针对劣化的逆滤波器应用于拍摄图像来改善拍摄图像的质量的方法(图像校正方法)。然而，在利用逆滤波器的图像校正方法中，不能复原其中MTF (调制传递函数)小的频率分量。 国际公布N0.W02007/074649公开一种通过将调相元件插入到光学系统中来降低深度方向上的MTF的减小的方法。日本专利N0.4872862公开一种通过学习来复原因超分辨率而丢失的频率分量以便从图像中去除由手的移动(手抖)或散焦引起的模糊的方法。 然而，在国际公布N0.W02007/074649中公开的方法是一种降低散焦区中的MTF的减小的方法，它在焦点位置中不能取得其效果。换句话说，国际公布N0.W02007/074649的目的仅仅是扩大景深，于是，归因于像差或衍射的影响，它不能复原其中MTF小的频率分量。另外，由于在拍摄图像时必须具有通过插入调相元件而配置的特殊光学系统，因此，不能校正拍摄图像。另一方面，由于日本专利N0.4872862所公开的方法的目的是去除由手的移动(手抖)或散焦引起的模糊，所以类似地，归因于像差或衍射的影响，它不能复原其中MTF小的频率分量。
技术实现思路
本专利技术提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的。 作为本专利技术的一个方面的摄像装置基于经由摄像光学系统取得的第一图像来生成第二图像，并且包括:图像取得单元，配置成取得第一图像；存储单元，配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。 作为本专利技术的另一个方面的图像处理系统基于经由摄像装置取得的第一图像来生成第二图像，并且包括:通信单元，配置成接收第一图像；存储单元，配置成存储为多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。 作为本专利技术的另一个方面的摄像系统基于经由摄像装置取得的第一图像来生成第二图像，并且包括:通信单元，配置成接收第一图像；存储单元，配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。 作为本专利技术的另一个方面的图像处理方法基于经由摄像光学系统取得的第一图像来生成第二图像，包括以下步骤:取得第一图像；以及通过使用从多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数，并且所述多份校正信息是针对如下组中的每个组预先计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的。 参考附图，根据例证实施例的以下说明，本专利技术的其它特征和方面将变得清楚。 【附图说明】 图1是实施例1中的摄像装置的方框图。 图2是实施例1中的摄像装置的外视图。 图3A和3B是描述实施例1-3的每个中的劣化函数的效果的示图。 图4是实施例1-3的每个中的图像处理方法(计算校正信息的方法)的流程图。 图5是描述实施例1-3的每个中的劣化函数的变量空间的示图。 图6是描述实施例1-3的每个中的畸变的影响的示图。 图7是描述实施例1-3的每个中的聚类(clustering)(校正信息的表格)的示图。 图8是实施例1-3的每个中的图像处理方法(校正图像的方法)的流程图。 图9是实施例2中的图像处理系统的方框图。 图10是实施例2中的图像处理系统的外视图。 图11是实施例3中的摄像系统的方框图。 图12是实施例3中的摄像系统的外视图。 【具体实施方式】 下面参考附图，说明本专利技术的例证实施例。附图中，相同的元件用相同的附图标记表示，并省略其说明。 (实施例1) 首先，参考图1和2，说明本专利技术的实施例1中的摄像装置。图1是本实施例中的摄像装置100的方框图。图2是摄像装置100的外视图。摄像装置100被配置成基于经由摄像光学系统取得的第一图像(拍摄图像)来生成第二图像(复原图像)。 本实施例的摄像装置100能够进行如下的图像处理方法，所述图像处理方法包括:取得将用于复原(恢复)由于像差或衍射而丢失的频率分量的校正信息的步骤(第一步骤)，和通过利用校正信息来进行图像复原处理的步骤(第二步骤)。在本实施例中，第一步骤由图像处理单元103 (图像处理器)的校正信息计算单元104在对图像进行拍摄之前(在取得拍摄图像之前)进行。第二步骤由图像处理单元103的图像校正单元105对拍摄图像(第一图像)进行。 校正信息计算单元104基于存储在存储单元106中的参照图像和取决于图像取得单元101的光学特性的劣化函数，在对图像进行拍摄之前计算校正信息。参照图像是受像差或衍射影响小且包含各种类型的频率分量的图像。下面将说明由校正信息计算单元104进行的计算校正信息的方法的细节。 由校正信息计算单元104计算的校正信息被存储在存储单元106中。当读取参照图像或劣化函数或者存储校正信息时，可利用用半导体存储器等构成的图像记录介质108。和由校正信息计算单元104进行的处理等同的处理也可由与摄像装置100分离的装置(夕卜部装置)进行，以把由该装置计算的校正信息存储在存储单元106或图像记录介质108中。利用校正信息计算单元104的校正信息的计算只需要进行一次。本实施例并不局限于此，而是也可在改变参照图像或劣化函数的同时定期进行校正信息的计算。 在本实施例中，图像取得单元101包括成像光学系统(摄像光学系统)和摄像元件。摄像元件包括CXD (电荷耦合器件)传感器、CMOS (互补金属氧化物半导体)传感器等。在这种结构中，图像取得单元101经由摄像光学系统取得第一图像(拍摄图像)。除了成像光学系统之外，图像取得单元101还可包括布置在摄像元件的像素上的微透镜。劣化函数例如是PSF (点扩散函数)或OTF (光学传递函数)。 当对图像进行拍摄时，进入图像取得单元101的光由成像光学系统收集，随后由摄像元件转换成模拟电信号。A/D转换器102把利用由摄像元件进行的光电转换生成的模拟电信号转换成数字信号，并把该数字信号输出给图像处理单元本文档来自技高网...

【技术保护点】
一种基于经由摄像光学系统取得的第一图像来生成第二图像的摄像装置，所述摄像装置包括：图像取得单元，配置成取得第一图像；存储单元，配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。

【技术特征摘要】
2013.03.26 JP 2013-0631701.一种基于经由摄像光学系统取得的第一图像来生成第二图像的摄像装置，所述摄像装置包括: 图像取得单元，配置成取得第一图像； 存储单元，配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及 图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。2.根据权利要求1所述的摄像装置，还包括校正信息计算单元，所述校正信息计算单元被配置成计算所述多份校正信息， 其特征在于，所述校正信息计算单元被配置成: 把基于拍摄条件信息的多个劣化函数中的每个劣化函数应用于参照图像以生成劣化图像； 基于劣化图像的信息和所述多个劣化函数来划分组； 取得用于所述组中的每个组的多份校正信息；并且 存储所述多份校正信息。3.根据权利要求1所 述的摄像装置， 其特征在于 劣化图像的信息是与劣化图像中的多个部分区域中的每个部分区域相关的信息，以及 第一图像的信息是与第一图像中的多个部分区域中的每个部分区域相关的信息。4.根据权利要求3所述的摄像装置， 其特征在于，第一图像中的多个部分区域是基于所述多个劣化函数的大小和形状而被确定的。5.根据权利要求1-4中任一项所述的摄像装置， 其特征在于 基于拍摄条件信息的劣化函数包括畸变分量，以及 图像校正单元被配置成对第一图像进行电子畸变校正然后选出校正信息。6.根据权利要求1-4中任一项所述的摄像装置， 其特征在于，基于拍摄条件信息的劣化函数是基于摄像光学系统的类型、对图像进行拍摄时的摄像光学系统的状态、图像的颜色分量和第一图像中的位置中的至少一个而被确定的。7.根据权利要求1-4中任一项所述的摄像装置， 其特征在于，应用于参照图像的多个劣化函数是点扩散函数或光学传递函数。8.一种基于经由摄像装置取得的第一图像来生成第二图像的图像处理系统，所述图像处理系统包括: 通信单元，配置成接收第一图像； 存储单元，配置成存储多份校正信息，所述多份校正信息是针对如下组中的每个组计算的，所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的；以及图像校正单元，配置成通过使用从所述多份校正信息之中选出的校正信息，基于第一图像来生成第二图像，所述选出取...

【专利技术属性】
技术研发人员：日浅法人，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP