提供了使得能够减少超分辨率处理的收敛的误判断、并提高超分辨率处理的精度的图像处理装置。该图像处理装置包括：距离测量部（２），用于测量到要拍摄的被摄体的距离；劣化图像重建部（１３４），用于通过重复计算来重建该被摄体的图像；以及结束判断部件，用于进行图像重建的结束判断。仅对使用距离测量部（２）所测量出的距离信息的特定距离层、或对使用该距离信息的每个距离层进行图像重建的结束判断。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于重建劣化图像的图像处理设备。
技术介绍
迄今为止，在利用诸如数字照相机等的摄像设备拍摄被摄体的情况下，存在当随 后观看图像时、该图像由于失焦等而变为劣化图像的情况。在这种情况下，尝试通过超分 辨率处理来重建该劣化图像，并且考虑超分辨率处理用的各种算法。例如，Irani和Peleg 在Improving Resolution by Image Registration CVGIP :GRAPHICAL MODELS AND IMAGE PROCESSING Vol. 53,No. 3,pp. 231-239,May 1991中，提出了用于根据多个模糊图像进行重 建的代表性方法(以下称为Irani-Peleg方法)。在Irani-Peleg方法的图像重建处理中使用以下的公式(1)。根据该系统，在重复 处理中根据劣化图像逐渐推定未知的原始图像。此时，计算公式(1)所示的通过对紧前的 重建图像^11)和示出所假定的模糊的点扩散函数(hPSF)进行卷积所形成的伪模糊图像g(n)、 和通过拍摄所获得的模糊图像g的范数(各像素的差分平方和)，并且假定该范数为f(n+1)。 也就是说，计算以下的公式O)中的e(n)，并且将^11)最小的情况看作为图像重建完成。f(n+1) = f(n)+(g-g(n)) XhAUX/c= f(n) + (g-f(n) XhPSF) XhittVc ...公式(1)其中，c :标准化常数，ω 空间频率，hAUX可以是针对所有ω均满足0 < l-HPSF(co) .ΗΑ Χ(ω)/0 I < 1的函数，一般地使用Hpsf，并且H :h的傅立叶变换。e(n) = Il g(n)-g(°) Il...公式 O)其中，II Il 示出各像素的差分平方和或差分绝对值和的范数。日本特开2006-242746号公报已经公开了通过改进使用用于原始图像的推定的B ayes推定的、代表性的Richardson-Lucy方法所获得的算法。日本特开2006-195856号公 报已经公开了与超分辨率处理有关的15种非专利文献。用于测量到要拍摄的被摄体的距离、并获得各像素的距离信息的技术也是已知 的。例如，日本特开平11-257951号公报已经公开了被称为立体方法(stereo method)的 如下方法通过将望远镜与用于测量到要拍摄的被摄体的距离的技术组合来提高远距离处 的距离测量精度。
技术实现思路
在执行劣化图像重建处理的情况下，通常，由于各被摄体的失焦程度的差异，在重 复重建单元的处理中，图像中的多个被摄体的最佳劣化重建次数不同。也就是说，如图9所 示，存在以下问题用于判定收敛的评价函数，例如处理前后的图像或重建图像与示出模糊 的点扩散函数(hPSF)的卷积、和模糊图像的范数具有多个最小值，并且不知晓这些最小值中 的哪一个是正确解。为了解决该问题，日本特开平05-205048号公报已经公开了以下技术按每个像素进行最佳劣化重建判定并且冻结重建完成像素的处理，由此重建所有的像素。根据该方 法，对重建图像的各像素的邻近区域执行用于获得邻接像素之间的差分的滤波，由此推定 该邻近区域中的噪声(=由于高频增强滤波器引起的振铃(ringing))并获得所推定出的 噪声的分散。对于像素值的分散和噪声的分散之间的差小于预定值的像素，判断为该像素 已经收敛。然而，以上系统是仅基于该推定的方法，并且在振铃噪声和实际图像混合存在的 部分中有可能混入了误差。本专利技术的目的是提供以下的图像处理设备在该图像处理设备中，可以消除与超 分辨率处理的收敛有关的误判定，并且可以提高超分辨率处理的精度。根据本专利技术，提供一种图像处理设备，用于重建包括被摄体的图像的劣化图像，所 述图像处理设备包括测量单元，用于测量到所述被摄体的距离，由此设置所述被摄体所属 的距离层；图像重建单元，用于通过重复计算来重建所述劣化图像；以及结束判定单元，用 于进行所述图像重建单元的重复计算的结束判定，其中，所述结束判定单元仅对距离层中 的特定距离层或对每个距离层进行所述结束判定。附图说明图1是示出根据本专利技术的图像处理设备的第一实施例的框图。图2是用于说明本专利技术第一实施例中的拍摄处理的流程图。图3是示出距离图像的示例的图。图4是用于说明本专利技术第一实施例中的图像处理的流程图。图5是示出已经基于距离信息分离了拍摄图像的部分图像的示例的图。图6是用于说明本专利技术第二实施例中的图像处理的流程图。图7A、7B和7C是各自示出重建各距离信息的图像时的范数的图。图8是示出本专利技术第三实施例的PC中的处理的流程图。图9是示出整个显示画面的范数的图。具体实施例方式随后，将参考附图来详细说明用于执行本专利技术的最佳模式。第一实施例图1是示出根据本专利技术的图像处理设备的第一实施例的结构的框图。特别地，第 一实施例示出执行属于特定距离层的被摄体的分辨率重建处理的例子。在该图中，附图标记1表示拍摄单元，并且附图标记2表示距离测量单元。例示出 在距离测量单元2中使用双镜头立体方法的例子。在拍摄单元1中配置摄像透镜120、光圈 121和诸如CXD等的摄像装置122。附图标记123表示用于对来自摄像装置122的摄像信 号进行A/D转换的ADC(A/D转换器)；附图标记IM表示用于执行滤波处理等的照相机处 理单元；附图标记130表示存储器控制器；并且附图标记131表示诸如SDRAM等的存储器。附图标记132表示图像缩小单元；附图标记133表示P SF表；附图标记134表示 劣化图像重建单元；附图标记135表示图像处理效果判定单元；附图标记140表示编码解 码器；附图标记141表示闪速存储器控制器；并且附图标记142表示闪速存储器。此外，附 图标记143表示显示器接口 ；附图标记144表示诸如液晶等的显示单元；附图标记98表示十字小键盘；附图标记99表示快门；并且附图标记100表示用于控制整个系统的系统控制ο在距离测量单元2中配置摄像透镜104R和104L。还分别与这两个摄像透镜相对 应地配置了光圈105R和105L、摄像装置(CCD等)106R和106L、以及ADC (A/D转换器)107R 和107L。附图标记108表示用于判定到被摄体的距离的距离判定单元，并且附图标记109 表示距离图像形成单元。ADC 123以及ADC 107R和107L各自具有AGC(自动增益控制)功能。在图1的左下部中示出被摄体的例子(通过俯视图示出各被摄体)。在图1中示 出了 3个被摄体。附图标记101表示(实际上存在于由箭头所示的左侧遥远的位置处的) 远景被摄体；附图标记102表示中间距离被摄体；并且附图标记103表示近景被摄体。随后，将通过使用图1、2和3来说明本实施例中的拍摄处理操作。图2是示出本实 施例中的拍摄处理的流程图。图3示出距离图像形成单元109所获得的距离图像的示例。1.准备拍摄时首先，当半按下快门99时(图2中的S101)，系统控制器100执行拍摄单元1和距 离测量单元2的AE (自动曝光)处理和AF (自动调焦)处理，从而为拍摄作准备(S102)。 通常，在AE处理中，按以下方式对光圈121、光圈105L和105R、ADC 107L和107R以及ADC 123中的AGC进行控本文档来自技高网...
【技术保护点】
１．一种图像处理设备，用于重建包括被摄体的图像的劣化图像，所述图像处理设备包括：测量单元，用于测量到所述被摄体的距离，由此设置所述被摄体所属的距离层；图像重建单元，用于通过重复计算来重建所述劣化图像；以及结束判定单元，用于进行所述图像重建单元的重复计算的结束判定，其中，所述结束判定单元仅对距离层中的特定距离层或对每个距离层进行所述结束判定。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：渡边郁夫，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。