图像处理装置、摄像装置、图像处理方法及存储介质制造方法及图纸

本发明专利技术提供一种能够以高精度校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理的图像处理装置、摄像装置、图像处理方法及存储介质。本发明专利技术的方式所涉及的图像处理装置(35)具备：图像输入部(1)；判定部(2)，其判定是否为第1图像数据或第2图像数据；第1复原处理部(3)，其对判定出的第1图像数据进行利用了进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部(5)，其对判定出的第2图像数据进行利用了进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。

Image processing device, camera device, image processing method and program

The invention provides a light source as the first image data in the image generated with high precision correction of near infrared is vague and can be visible light and near infrared light source as the second image data of the image restoration processing like image processing device, camera device, image processing method and program for high precision. The image processing apparatus of the present invention relates to the method (35) includes an image input unit (1); (2), the determination unit to determine whether the first image data or image data of second; first (3), part of the restoration of the use of the phase correction and amplitude recovery first restoration filter first restoration of the first image data is determined; and 2 restoration Department (5), its use was not accompanied by amplitude phase correction of the restoration of second restoration filter for second restoration of the second image data determined.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置、图像处理方法及程序
本专利技术涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种对将可见光及近红外光作为光源的图像进行基于点扩散函数的图像处理的图像处理装置、摄像装置、图像处理方法及程序。
技术介绍
在经由光学系统拍摄的被摄体像中有时可能发现由光学系统引起的衍射及像差等的影响而点被摄体具有微小扩散的点扩散现象。表示针对光学系统对点光源的响应的函数被称为点扩散函数(PSF：PointSpreadFunction)，且为决定摄像图像的分辨率劣化(模糊)的特性而被熟知。因点扩散现象而画质劣化的摄像图像通过接受基于PSF的点像复原处理(复原处理)而能够恢复画质。该点像复原处理为预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，并通过利用了与其点像特性相应的复原滤波器(恢复滤波器)的图像处理消除或减少摄像图像的点扩散。点像复原的处理大致可分为振幅复原处理及相位校正处理。振幅复原处理为对因光学系统而劣化的调制传递函数(MTF：ModulationTransferFunction)特性进行补偿(equalize)即进行恢复的处理，相位校正处理为对因光学系统而劣化的相位传递函数(PTF：PhaseTransferFunction)特性进行补偿即进行恢复的处理。直觉上，相位校正处理为以使非点对称PSF形状尽量恢复到点对称形状的方式依赖于频率使像移动的处理。振幅复原处理及相位校正处理作为信号处理能够同时应用，但通过改变滤波器系数的设计方法，也能够设成仅对其中某一方进行校正。例如，专利文献1中公开有进行如下点像复原处理的技术：进行振幅复原处理及相位校正处理的点像复原处理、及进行不伴随相位校正的振幅复原处理的点像复原处理。并且，例如专利文献2中公开有如下技术：对通过照射可见光及近红外光而得到的图像，在可见光及近红外光的条件下改变运算系数而进行点像复原处理(卷积运算)。另一方面，作为定点设置且不论昼夜进行拍摄的相机有监控摄像机等。如监控摄像机方式的相机中，要求在白天、黄昏、黎明及夜间的摄像条件下获取适当的图像。例如，当监控摄像机在黄昏获取将近红外光及可见光作为光源的图像，且在夜间获取仅将近红外光作为光源的图像时，监控摄像机要求进行适合于将近红外光及可见光作为光源的图像的图像处理及进行适合于仅将近红外光作为光源的图像的图像处理。以往技术文献专利文献专利文献1：国际公开第2014/148074号公报专利文献2：日本特开2008-113704号公报
技术实现思路
专利技术要解决的技术课题在此，通过对产生模糊的图像的图像数据使用适当的复原滤波器进行点像复原处理中的振幅复原处理及相位校正处理这两者，模糊得到准确的校正。例如，对拍摄了被摄体的近红外光像的图像，使用根据使近红外光通过光学系统而得到的PSF生成的复原滤波器(近红外光复原滤波器)，执行点像复原处理中的振幅复原处理及相位校正处理这两者，由此模糊得到完美的校正。另一方面，当复原滤波器并不适当时，若执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理，则有可能点像复原处理没有正常进行反而成为不自然的图像。并且，通过可见光与近红外光的混合光拍摄被摄体时的PSF与在可见光下拍摄被摄体时及在近红外光下拍摄被摄体时的PSF不同。如此一来，对于以可见光与近红外光的混合光来拍摄的图像，基于关于针对光学系统的可见光的PSF生成的复原滤波器(可见光复原滤波器)或基于关于针对光学系统的红外光的PSF生成的近红外光复原滤波器，在执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理的观点上，有时并不适合。并且，即使在使用基于关于针对光学系统的可见光的PSF及针对红外光的PSF这两者生成的复原滤波器的情况下，如黄昏及黎明的时间带，可见光与近红外光的混合状态时常发生变化的情况下，容易出现成为所准备的复原滤波器的基础的PSF与实际PSF不同的情况。因此，在执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理的观点上，有时并不适合。因此，若对将可见光及近红外光作为光源的图像的图像数据，使用可见光复原滤波器或近红外光复原滤波器，执行进行振幅复原及相位校正这两者的较强的点像复原处理，则有可能点像复原处理没有正常进行反而成为不自然的图像。因此，需要根据获取的(或输入的)图像的光源切换点像复原处理的内容(进行振幅复原及相位校正这两者或进行其中一个)。然而，专利文献1中所记载的技术中，根据获取的图像的光源并未进行如下切换，即进行振幅复原处理及相位校正处理的点像复原处理及不伴随相位校正的振幅复原处理。并且，专利文献2中所记载的技术中，只是对可见光图像及近红外光图像改变运算系数来执行点像复原处理，根据获取的图像的光源并未切换点像复原处理的内容。本专利技术是鉴于这种情况而完成的，其目的在提供一种能够更准确地校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理的图像处理装置、摄像装置、图像处理方法及程序。用于解决技术课题的手段本专利技术的一的方式即图像处理装置具备：图像输入部，其输入有利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定部，其判定图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理部，其对判定部中判定出的第1图像数据进行利用了基于针对光学系统的近红外光的进行相位校正及振幅复原的第1点扩散函数的第1复原滤波器的第1复原处理；及第2复原处理部，其对判定部中判定出的第2图像数据进行利用了基于针对光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。根据本方式，对将近红外光作为光源的第1图像数据进行相位校正及振幅校正的第1复原处理，对将近红外光及可见光作为光源的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式能够更准确地校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理。优选，图像处理装置还具备检测图像数据的光量的光量检测部，判定部根据光量检测部检测出的光量判定是否为第1图像数据或第2图像数据。本方式根据光量检测部检测的光量判定是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。由此，本方式能够准确地判定第1图像数据及第2图像数据，能够分别对第1图像数据及第2图像数据进行适当的点像复原处理。优选，判定部根据获取图像数据的时刻判定是否为第1图像数据或第2图像数据。根据本方式，根据获取图像数据的时刻判定是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。由此，本方式能够准确地判定第1图像数据及第2图像数据，能够分别对第1图像数据及第2图像数据进行适当的点像复原处理。优选，图像处理装置还具备对第1图像数据进行非线性灰度校正的灰度校正处理部，灰度校正处理部对已进行相位校正的第1图像数据进行非线性灰度校正，第1复原处理部对已进行非线性灰度校正的第1图像数据进行振幅复原本文档来自技高网...

【技术保护点】
一种图像处理装置，其具备：图像输入部，其输入有利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定部，其判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理部，其对所述判定部中判定出的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其对所述判定部中判定出的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。

【技术特征摘要】
【国外来华专利技术】2015.04.23 JP 2015-0882321.一种图像处理装置，其具备：图像输入部，其输入有利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定部，其判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理部，其对所述判定部中判定出的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其对所述判定部中判定出的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。2.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还具备光量检测部，其检测所述图像数据的光量，所述判定部根据所述光量检测部检测出的光量判定是否为所述第1图像数据或所述第2图像数据。3.根据权利要求1所述的图像处理装置，其中，所述判定部根据获取所述图像数据的时刻判定是否为所述第1图像数据或所述第2图像数据。4.根据权利要求1至3中任一项所述的图像处理装置，其中，所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，所述灰度校正处理部对已进行所述相位校正的所述第1图像数据进行所述非线性灰度校正，所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述振幅复原。5.根据权利要求1至3中任一项所述的图像处理装置，其中，所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，所述灰度校正处理部对已进行所述振幅复原的所述第1图像数据进行所述非线性灰度校正，所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述相位校正。6.根据权利要求1至3中任一项所述的图像处理装置，其还具备：所述第1复原处理部及所述第2复原处理部的复原处理运算中所使用的通用的复原处理运算部、对所述第1图像数据及所述第2图像数据进行非线性灰度校正的通用的灰度校正运算部、及对所述第1图像数据及所述第2图像数据进行轮廓增强处理的通用的轮廓增强处理部中的至少一个。7.根据权利要求1至6中任一项所述的图像处理装置，其中，所述图像处理装置还具备光量比检测部，所述光量比检测部检测所述第2图像数据中的所述可见光的光量与所述近红外光的光量的光量比，所述第2复原处理部根据所述光量比检测部检测出的所述光量比，利用根据所述光学系统的所述可见光的调制传递函数及所述光学系统的所述近红外光的调...

【专利技术属性】
技术研发人员：林健吉，田中淳一，成濑洋介，杉本雅彦，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本,JP