图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置制造方法及图纸

图像处理装置(100)具有：缩小处理部(1)，其根据输入图像数据(DIN)生成缩小图像数据(D1)；暗通道计算部(2)，其改变局部区域的位置，针对缩小图像的整个区域进行在局部区域中求出暗通道值(D2)的计算，输出多个暗通道值作为多个第1暗通道值(D2)；图高分辨率化处理部(3)，其进行对由多个第1暗通道值(D2)构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值(D3)构成的第2暗通道图；以及对比度校正部(4)，其根据第2暗通道图和缩小图像数据(D1)生成校正图像数据(DOUT)。

An image processing device, an image processing method, a program, a recording medium with the program, an image capturing device, and an image recording reproducing device.

The image processing device (100) has a narrow processing section (1), according to the input image data (DIN) generated reduced image data (D1); dark channel calculation section (2), the change of regional position, in order to narrow the whole area of the image were calculated in the dark channel value in a local region (D2) calculation, outputs a plurality of dark channel value as a plurality of first dark channel value (D2); high resolution map processing part (3), which is composed of a plurality of first of the dark channel value (D2) processing of high resolution of a first dark channel map, generated by a plurality of second dark the value of the channel (D3) composed of second dark channel map; and contrast correction part (4), according to the second dark channel map and reduce the image data (D1) generates a corrected image data (DOUT).

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置
本专利技术涉及进行从基于通过摄像机拍摄而生成的图像数据的输入图像(摄像图像)中去除雾的处理从而生成没有雾的雾校正图像(去雾图像)的图像数据(校正图像数据)的图像处理装置和图像处理方法。并且，本专利技术涉及应用了所述图像处理装置或图像处理方法的程序、记录该程序的记录介质、影像拍摄装置和影像记录再现装置。
技术介绍
作为使通过摄像机拍摄而得到的摄像图像的鲜明度降低的要因，存在包含雾、霾、霭、雪、烟、烟雾和粉尘的气溶胶等。在本申请中，将它们统称作“雾(Haze)”。在存在雾的环境下对被摄体进行摄像机拍摄而得到的摄像图像(雾图像)中，雾的浓度越增加，则对比度越降低，被摄体的判别性和视觉辨认性降低。为了改善这种由雾引起的画质降低，提出了从雾图像中去除雾而生成去雾图像的图像数据(校正图像数据)的雾校正技术。在这种雾校正技术中，估计摄像图像中的透射率(transmission)并根据估计出的透射率来校正对比度的方法是有效的。例如，在非专利文献1中，作为校正对比度的方法，提出了基于暗原色先验(DarkChannelPrior)的方法。暗原色先验是根据不存在雾的室外自然图像得到的统计法则。暗原色先验是如下法则：在按照每个颜色通道调查出天空以外的室外自然图像的局部区域的多个颜色通道(红色通道、绿色通道和蓝色通道即R通道、G通道和B通道)中的光强度的情况下，多个颜色通道中的至少一个颜色通道的局部区域中的光强度的最小值是非常小的值(一般是接近0的值)。并且，将多个颜色通道(即R通道、G通道和B通道)的局部区域内的光强度的最小值(即R通道的最小值、G通道的最小值和B通道的最小值)中的最小的值称作暗通道(DarkChannel)或暗通道值。根据暗原色先验，根据通过摄像机拍摄而生成的图像数据计算每个局部区域的暗通道值，由此，能够按照摄像图像中的每个像素估计由多个透射率构成的图(透射率图)。然后，使用估计出的透射率图，能够进行用于根据摄像图像(例如雾图像)数据生成作为去雾图像的图像数据的校正图像数据的图像处理。如非专利文献1所示，摄像图像(例如雾图像)的生成模型用下式(1)表示。I(X)＝J(X)·t(X)+A·(1-t(X))式(1)在式(1)中，X是像素位置，能够用二维直角坐标系下的坐标(x,y)表现。并且，I(X)是摄像图像(例如雾图像)中的像素位置X的光强度。J(X)是雾校正图像(去雾图像)的像素位置X处的光强度，t(X)是像素位置X处的透射率，0<t(X)<1。并且，A是大气光参数，是固定值(系数)。为了根据式(1)求出J(X)，需要估计透射率t(X)和大气光参数A。J(X)中的某个局部区域的暗通道值Jdark(X)用下式(2)表示。在式(2)中，Ω(X)是摄像图像内的包含像素位置X(例如以像素位置X为中心)的局部区域。JC(Y)是R通道、G通道和B通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度。即，JR(Y)是R通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度，JG(Y)是G通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度，JB(Y)是B通道的局部区域Ω(X)内的像素位置Y处的光强度。min(JC(Y))是局部区域Ω(X)内的JC(Y)的最小值。min(min(JC(Y)))是R通道的min(JR(Y))、G通道的min(JG(Y))和B通道的min(JB(Y))中的最小值。根据暗原色先验，公知不存在雾的图像即雾校正图像的局部区域Ω(X)内的暗通道值Jdark(X)是非常低的值(接近0的值)。但是，雾的浓度越高，则雾图像中的暗通道值Jdark(X)是越大的值。因此，能够根据由多个暗通道值Jdark(X)构成的暗通道图，估计摄像图像中的由多个透射率t(X)构成的透射率图。对式(1)进行变形后，得到下式(3)。这里，IC(X)是摄像图像中的R通道、G通道和B通道的像素位置X的光强度。JC(X)是雾校正图像中的R通道、G通道和B通道的像素位置X的光强度。AC是R通道、G通道和B通道的大气光参数(每个颜色通道的固定值)。根据式(3)，得到下式(4)。在式(4)中，任意颜色通道中的min(JC(Y))是接近0的值，因此，式(4)的右边第1项中的能够利用值0来近似。因此，式(4)能够如下式(5)那样表示。根据式(5)，将(IC(X)/AC)作为输入，求出式(5)左边的值即暗通道值Jdark(X)，由此能够估计透射率t(X)。能够根据将(IC(X)/AC)作为输入而得到的透射率即校正透射率t′(X)的图(即校正透射率图)，进行摄像图像数据的光强度I(X)的校正。将式(1)的透射率t(X)置换成校正透射率t′(X)，由此得到下式(6)。在设式(6)的右边第1项的分母的最小值为表示最低透射率的正常数t0的情况下，式(6)用下式(7)表示。这里，max(t′(X),t0)是t′(X)和t0中较大的值。图1的(a)～(c)是用于说明非专利文献1的雾校正技术的图。图1的(a)对从非专利文献1的图9引用的图标注了解说，图1的(c)根据图1的(a)进行了图像处理。根据式(7)，能够根据图1的(a)所示的雾图像(摄像图像)估计图1的(b)所示的透射率图，得到图1的(c)所示的校正图像。在图1的(b)中，示出越是颜色深的区域(暗的区域)，则透射率越低(接近0)。但是，根据在计算暗通道值Jdark(X)时设定的局部区域的尺寸，产生区组效应。该区组效应的影响表现在图1的(b)所示的透射率图中，在图1的(c)所示的去雾图像中，产生被称作光晕(halo)的边界线附近的白缘。在非专利文献1提出的技术中，为了在摄像图像即雾图像中对暗通道值进行优化，进行基于匹配模型的高分辨率化(这里，将边缘与输入图像更加一致定义成高分辨率化)处理。并且，在非专利文献2提出的技术中，为了对暗通道值进行高分辨率化，提出了将雾图像作为引导图像对暗通道值进行边缘保存平滑化处理的导向滤波器(GuidedFilter)。并且，在专利文献1提出的技术中，将通常的局部区域的尺寸较大(较疏)的暗通道值分割成变化区域和不变区域，根据变化区域和不变区域，生成减小了求出暗通道时的局部区域的尺寸(较密)的暗通道，与较疏的暗通道进行合成，由此估计出高分辨率的透射率图。现有技术文献非专利文献非专利文献1：KaimingHe、JianSun和XiaoouTang著、“SingleImageHazeRemovalUsingDarkChannelPrior”、2009年、IEEE第1956-1963页非专利文献2：KaimingHe、JianSun和XiaoouTang著、“GuidedImageFiltering”、ECCV2010专利文献专利文献1：日本特开2013-156983号公报(第11～12页)
技术实现思路
专利技术要解决的课题但是，在非专利文献1中的暗通道值的估计法中，需要针对雾图像的各颜色通道的各像素设定局部区域，求出所设定的局部区域各自的最小值。并且，需要考虑噪声耐性而使局部区域的尺寸成为一定尺寸以上。因此，在非专利文献1中的暗通道值的估计法中，存在运本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，所述图像处理装置具有：缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；图高分辨率化处理部，其进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及对比度校正部，其进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。

【技术特征摘要】
【国外来华专利技术】2015.05.22 JP 2015-1048481.一种图像处理装置，其特征在于，所述图像处理装置具有：缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；图高分辨率化处理部，其进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及对比度校正部，其进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。2.根据权利要求1所述的图像处理装置，其特征在于，所述对比度校正部具有：大气光估计部，其根据所述第2暗通道图和所述缩小图像数据估计所述缩小图像数据中的大气光成分；透射率估计部，其根据所述第2暗通道图和所述大气光成分生成所述缩小图像中的第1透射率图；透射率图放大部，其进行对所述第1透射率图进行放大的处理，由此生成第2透射率图；以及雾去除部，其对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。3.一种图像处理装置，其特征在于，所述图像处理装置具有：缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及对比度校正部，其进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。4.根据权利要求3所述的图像处理装置，其特征在于，所述对比度校正部具有：大气光估计部，其根据所述第1暗通道图和所述输入图像数据估计所述输入图像数据中的大气光成分；透射率估计部，其根据所述输入图像数据和所述大气光成分生成基于所述输入图像数据的输入图像中的第1透射率图；图高分辨率化处理部，其进行将基于所述输入图像数据的输入图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；以及雾去除部，其对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。5.根据权利要求3所述的图像处理装置，其特征在于，所述对比度校正部具有：大气光估计部，其根据所述第1暗通道图和所述缩小图像数据估计所述缩小图像数据中的大气光成分；透射率估计部，其根据所述缩小图像数据和所述大气光成分生成所述缩小图像中的第1透射率图；图高分辨率化处理部，其进行将所述缩小图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；透射率图放大部，其进行对所述第2透射率图进行放大的处理，由此生成第3透射率图；以及雾去除部，其对所述输入图像数据实施根据所述第3透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，所述缩小处理是基于所述输入图像数据的输入图像中的像素的间疏处理。7.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，所述缩小处理是对基于所述输入图像数据的输入图像中的多个像素的像素值进行平均化而生成新像素的处理。8.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，所述图像处理装置还具有缩小率生成部，该缩小率生成部生成在所述缩小处理中使用的缩小率，使得从所述输入图像数据得到的特征量越小，则所述缩小图像的尺寸越大。9.根据权利要求8所述的图像处理装置，其特征在于，所述暗通道计算部根据由所述缩小率生成部生成的所述缩小率，决定求出所述第1暗通道值的计算中的所述局部区域的尺寸。10.一种图像处理方法，其特征在于，所述图像处理方法具有以下步骤：缩小步骤，通过对输入图像数据实施缩小处理，生成缩小图像数据；计算步骤，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；图高分辨率化步骤，进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及校正步骤，进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。11.根据权利要求10所述的图像处理方法，其特征在于，所述校正步骤具有以下步骤：大气光估计步骤，根据所述第2暗通道图和所述缩小图像数据估计所述缩小图像中的大气光成分；透射率估计步骤，根据所述第2暗通道图和所述大气光成分生成所述缩小图像中的第1透射率图；透射率图放大步骤，进行对...

【专利技术属性】
技术研发人员：栗原康平，的场成浩，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP