图像处理装置、摄影装置、图像处理方法制造方法及图纸

本发明专利技术的目的在于提供一种即使被摄体中存在高亮度区域或低亮度区域，也能够避免图像锐度过度变化而稳定地进行画质改善的图像处理装置、摄影装置、图像处理方法及程序。图像处理装置具备：灰度校正部即伽马校正处理部(33)，进行灰度校正；复原处理部；锐化处理部；锐化恢复控制部(37)，其为能够通过控制复原处理部和锐化处理部，调整复原处理的复原率及锐化处理的锐化率的锐化恢复控制部(37)，其获取基于复原率和锐化率的总锐化复原率以及复原率和锐化率中的一个，并根据总锐化复原率计算出复原率和锐化率中的另一个；及亮度信息获取部，锐化恢复控制部根据所获取的亮度信息，调整复原率和锐化率。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄影装置、图像处理方法及程序。
技术介绍
在经由光学系统拍摄的被摄体像中，由于由光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的所谓点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而周知。因为该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是如下处理：预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过使用与该点像特性相应的复原滤波器(恢复滤波器)的图像处理来消除或减少摄影图像的点扩散。对于该点像复原处理提出有各种方法，例如专利文献1中公开了对已进行非线性校正的图像利用盲反卷积进行图像恢复的图像处理装置。该图像处理装置具备：校正部，对已实施非线性灰度校正的摄影图像进行减少非线性灰度校正的校正；及图像恢复部，对灰度校正减少的摄影图像适用盲反卷积从而进行图像恢复。专利文献2中公开了减少由图像恢复处理引起的图像数据的过恢复的图像处理装置。该图像处理装置中，在伽马处理之前对RGB形式的彩色图像数据进行图像恢复处理，并计算出变化量的限制值，以吸收由伽马校正引起的像素信号值的增幅和衰减的差异且使像素信号值的变化量的最大值在伽马校正之后也恒定。由此解决“由于饱和像素，发生实际获得的图像数据的劣化状态与图像恢复滤波器作为恢复对象而设想的图像数据的劣化状态不一致的情况”、“在边缘部分产生下冲和过冲等画质劣化，尤其在低亮度部的下冲因图像恢复处理之后的伽马处理而被增幅”等技术上的课题。并且，光学系统的点扩散函数还用于焦深被扩大的图像的复原技术中，专利文献3公开了在短时间内精度良好地执行图像复原的摄像模块。该摄影模块中，通过对同步处理(去马赛克处理)之后的亮度信号施以复原处理，由此无需使RGB分别具有复原处理的参数，可实现复原处理的高速化。并且，将接近的像素彼此汇集为规定单位，对该单位适用共同的复原处理参数来进行反卷积处理，由此实现复原处理精度的提高。另一方面，除了点像复原处理以外，有时还进行用于改善画质的图像处理，例如能够通过锐化处理(轮廓强调处理、边缘强调处理、清晰度强调处理等)提高图像的锐度(清晰度)。作为有关上述点像复原处理和锐化处理的具体处理方法，例如，专利文献4公开了进行“在进行了利用图像复原滤波器的图像复原处理之后进行边缘强调处理的手抖校正”和“仅进行边缘强调处理的手抖校正”的方法。并且，专利文献5公开了根据边缘强度选择不同复原强度的滤波器，从而根据边缘强度改变复原滤波器本身的强度的方法。以往技术文献专利文献专利文献1：日本特开2011-059813号公报专利文献2：日本特开2013-020610号公报专利文献3：日本特开2012-049759号公报专利文献4：日本特开2006-333061号公报专利文献5：日本特开2006-129236号公报
技术实现思路
专利技术要解决的技术课题上述的点像复原处理是将因基于光学系统的点扩散现象(光学特性)而模糊的图像复原成原来的清晰图像的处理，是对画质劣化的原图像数据适用基于点扩散函数的复原滤波器从而获得已消除画质劣化的恢复图像的技术。因此，为了获得如实再现被摄体像的恢复图像，点像复原处理中使用的“复原滤波器的特性”与“原图像数据的画质劣化”需适当匹配。即，若准确掌握由光学系统带来的画质劣化，从而设计能够严密地消除这种画质劣化的复原滤波器，且光学系统引起的画质劣化(点扩散现象)被准确地反映在原图像数据，则原理上能够由“画质劣化的摄影图像”获得“如实再现被摄体像的高画质的图像”。然而，根据被摄体像或摄影设备类的特性，有时“复原滤波器的特性”与“原图像数据的画质劣化”可能不会适当地匹配。例如，原图像数据的画质会因成像元件的摄像能力而发生变动，被摄体像非常明亮时，有时会在成像元件上产生像素饱和现象。当产生像素饱和时，该饱和像素数据(饱和像素值)被裁剪(clipping)等，因此所获得的原图像数据并不一定如实再现被摄体像。如此，成为复原处理对象的原图像数据不仅会受到光学系统引起的劣化特性的影响，还会受到成像元件引起的劣化特性的影响，尤其当被摄体像的对比度较大时，有时会产生设想外的画质劣化。因此，即使充分分析光学系统的特性而设计能够抑制点扩散现象的影响的复原滤波器，根据被摄体像，有时“复原滤波器的特性”与“原图像数据的画质劣化”可能也不会适当地匹配。若在“复原滤波器的特性”与“原图像数据的画质劣化”并未适当匹配的条件下进行复原处理，则画质劣化不会被充分消除而无法获得优质的恢复图像，有时还会助长画质劣化，导致振铃等在恢复图像中明显。在恢复图像中产生的画质劣化(振铃等)的程度受到各种因素的影响。例如，由于在复原处理中使用的复原滤波器特性、适用复原处理的原图像数据的数据特性、在复原处理前后进行的其他图像处理等的影响，点像复原处理后的恢复图像的画质会发生变动。因此，为了更有效地防止或减少恢复图像中的画质劣化，期望综合考虑了各种特性的复原处理方法。尤其，拍摄各种被摄体像时，复原处理对象的图像数据特性并不恒定，对比度在整体上或局部性较大的图像、颜色偏置的图像、一部分像素值处于饱和状态的图像等具有各种特性的图像可能会成为复原处理对象。因此，切盼能够灵活地应对具有各种特性的处理对象图像且图像韧性优异的复原处理方法。然而，上述的专利文献1～3中完全没有提及上述课题，且并未提出有关“在利用了点扩散函数的复原处理中不仅考虑复原处理本身还综合考虑复原处理前后的处理中的各种主要因素，能够灵活地应对具有各种特性的原图像且图像韧性优异的图像处理方法”的方案等。另一方面，若在“复原滤波器的特性”与“原图像数据的画质劣化”之间的匹配的偏离较大的状态下进行点像复原处理，则有可能产生过校正等画质降低。对此，本申请案申请人提出通过对已实施伽马校正等灰度校正的图像数据进行点像复原处理来提高图像韧性的方案(专利申请2013-069688和专利申请2013-069687)。但根据被摄体或摄影场景，有时也会导致由过校正等引起的画质劣化。伽马校正等灰度校正为改变图像数据的特性的处理，因此“伽马校正后的图像数据”与“摄影中使用的光学系统的点扩散函数”之间的匹配的偏离会变得比较大。尤其与低亮度侧相比，在高亮度侧(高亮(highlight)侧)，“伽马校正后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离容易变大。因此，当图像数据(摄影场景)整体偏向明亮的高亮度侧时，整个图像中的高亮度区域所占的比例增加，“伽马校正后的图像数据”与“光学系统的点扩散函数”之间的匹配的偏离变大。因此，当图像数据(摄影场景)整体偏向明亮的高亮度侧时，恢复图像中“因点像复原处理引起的过校正等而使画质劣化的区域”扩大。有对于如通过进行点像复原处理反而导致画质劣化的图像数据或图像数据区域，减弱点像复原处理的复原强度来防止图像劣化的方法。并且，在能够切换点像复原处理的开启和关闭的图像处理系统中，通过关闭点像复原处理，也能够防止这种图像劣化。但是，该情况下，若简单地减弱点像复原处理的复原强度或关闭点像复原处理本文档来自技高网...

【技术保护点】
一种图像处理装置，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理装置具备：灰度校正部，对所述原图像数据进行基于对数化处理的灰度校正；复原处理部，对已进行所述灰度校正的原图像数据适用由与所述对数化处理之前的所述原图像数据对应的滤波器系数构成的所述复原滤波器，由此进行所述复原处理；锐化处理部，对已进行所述灰度校正的所述原图像数据进行利用锐化滤波器的锐化处理；锐化恢复控制部，其为能够通过控制所述复原处理部和所述锐化处理部来调整所述复原处理的复原率和所述锐化处理的锐化率的锐化恢复控制部，其获取基于所述复原率和所述锐化率的总锐化复原率以及所述复原率和所述锐化率中的一个，并根据所述总锐化复原率计算出所述复原率和所述锐化率中的另一个；及亮度信息获取部，获取基于所述原图像数据的原图像的亮度信息，所述锐化恢复控制部根据所述获取到的亮度信息，调整所述复原率和所述锐化率。

【技术特征摘要】
【国外来华专利技术】2014.03.28 JP 2014-0701221.一种图像处理装置，其对通过利用光学系统拍摄被摄体像而获取的原图像数据进行使用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，所述图像处理装置具备：灰度校正部，对所述原图像数据进行基于对数化处理的灰度校正；复原处理部，对已进行所述灰度校正的原图像数据适用由与所述对数化处理之前的所述原图像数据对应的滤波器系数构成的所述复原滤波器，由此进行所述复原处理；锐化处理部，对已进行所述灰度校正的所述原图像数据进行利用锐化滤波器的锐化处理；锐化恢复控制部，其为能够通过控制所述复原处理部和所述锐化处理部来调整所述复原处理的复原率和所述锐化处理的锐化率的锐化恢复控制部，其获取基于所述复原率和所述锐化率的总锐化复原率以及所述复原率和所述锐化率中的一个，并根据所述总锐化复原率计算出所述复原率和所述锐化率中的另一个；及亮度信息获取部，获取基于所述原图像数据的原图像的亮度信息，所述锐化恢复控制部根据所述获取到的亮度信息，调整所述复原率和所述锐化率。2.根据权利要求1所述的图像处理装置，其中，所述亮度信息获取部获取构成所述原图像的每个像素的亮度值和该亮度值的分布作为所述亮度信息。3.根据权利要求2所述的图像处理装置，其中，所述亮度信息获取部获取从所述获取到的亮度值获得的饱和像素的信息作为所述亮度信息。4.根据权利要求3所述的图像处理装置，其中，所述锐化恢复控制部根据从所述获取到的亮度值获得的饱和像素的信息，调整所述饱和像素和位于该饱和像素周边的像素中的所述复原率和所述锐化率中的至少一个。5.根据权利要求3或4所述的图像处理装置，其中，所述亮度信息获取部获取位于所述饱和像素周边的像素的亮度值作为所述亮度信息。6.根据权利要求1至5中任一项所述的图像处理装置，其中，所述锐化恢复控制部获取所述光学系统的个体差异信息，并根据所述获取到的所述个体差异信息和所述亮度信息，调整所述复原率和所述锐化率中的至少一个。7.根据权利要求1至6中任一项所述的图像处理装置，其中，所述亮度信息获取部获取摄影曝光信息作为所述亮度信息。8.根据权利要求1至7中任一项所述的图像处理装置，其中，所述亮度信息获取部获取构成所述原图像的每个像素的亮度值的直方图作为所述亮度信息。9.根据权利要求8所述的图像处理装置，其中，所述亮度信息获取部获取所述直方图的中央值作为所述亮度信息。10.根据权利要求1至9中任一项所述的图像处理装置，所述图...

【专利技术属性】
技术研发人员：林健吉，杉本雅彦，成濑洋介，入江公祐，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP