图像处理装置、图像拾取装置、图像处理方法和存储介质制造方法及图纸

公开了图像处理装置、图像拾取装置、图像处理方法和存储介质。一种图像处理装置包括：至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为执行指令以获取使用光学系统获得的捕获图像以及关于与捕获图像对应的成像条件的信息，以及基于光学系统的F数对捕获图像执行劣化处理，所述F数被包括在关于成像条件的信息中。在F数是第一F数的情况下的劣化处理中的第一劣化量小于在F数是第二F数的情况下的劣化处理中的第二劣化量，第二F数大于第一F数。大于第一F数。大于第一F数。

【技术实现步骤摘要】
图像处理装置、图像拾取装置、图像处理方法和存储介质


[0001]本公开的一方面涉及图像处理装置、图像拾取装置、图像处理方法和存储介质(或程序)。

技术介绍

[0002]常规上已知的是通过利用诸如球面像差之类的像差的影响可以表达除了分辨率之外的期望的外观(诸如软聚焦效果之类的图像效果)的成像光学系统。例如，通过有意地产生球面像差，软聚焦效果提供了通过高亮部分过滤光的外观以及使细微的皮肤结构等平滑的外观。日本专利申请公开No.(JP)2021
‑
47297公开了一种通过控制球面像差量可以提供使主要被摄体柔和地模糊的软聚焦效果的成像光学系统。
[0003]利用在JP 2021
‑
47297中公开的成像光学系统中的孔径光阑中的小孔径(大F数(孔径值))，球面像差的影响变小，因此图像效果(软聚焦效果)减少。

技术实现思路

[0004]本公开的一方面提供了一种即使在孔径光阑中的小孔径的情况下也可以提供利用像差的图像效果的图像处理装置。
[0005]根据本公开的一方面的图像处理装置包括：至少一个存储器，所述至少一个存储器被配置为存储指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述指令以获取使用光学系统获得的捕获图像以及关于与捕获图像对应的成像条件的信息，并且基于光学系统的F数对捕获图像执行劣化处理，所述F数被包括在关于成像条件的信息中。在F数是第一F数的情况下的劣化处理中的第一劣化量小于在F数是第二F数的情况下的劣化处理中的第二劣化量，所述第二F数大于所述第一F数。一种具有以上图像处理装置的图像拾取装置还构成本公开的另一方面。一种与以上图像处理装置对应的图像处理方法还构成本公开的另一方面。
[0006]从以下参考附图对实施例的描述中，本公开的其他特征将变得清楚。下面，术语“单元”可以是指软件上下文、硬件上下文或软件与硬件上下文的组合。在软件上下文中，术语“单元”是指可以由诸如微处理器、中央处理单元(CPU)或专门设计的可编程器件或控制器之类的可编程处理器执行的功能、应用、软件模块、功能、例程、指令集或程序。存储器包含在由CPU执行时使CPU执行与单元或功能对应的操作的指令或程序。在硬件上下文中，术语“单元”是指硬件元件、电路、组件、物理结构、系统、模块或子系统。取决于具体实施例，术语“单元”可以包括机械、光学或电气部件或它们的任何组合。术语“单元”可以包括有源(例如，晶体管)或无源(例如，电容器)部件。术语“单元”可以包括具有基板和电导率浓度不同的其他材料层的半导体器件。它可以包括可以执行存储在存储器中的程序以执行指定功能的CPU或可编程处理器。术语“单元”可以包括由晶体管电路或任何其他开关电路实现的逻辑元件(例如、AND、OR)。在软件与硬件上下文的组合中，术语“单元”或“电路”是指如上所述的软件与硬件上下文的任何组合。另外，术语“元件”、“组件”、“部件”或“器件”也可以是指
在用或不用封装材料进行集成的情况下的“电路”。
附图说明
[0007]图1说明了根据每个实施例的劣化过滤器(deteriorating filter)。
[0008]图2是根据每个实施例的劣化过滤器的说明性(截面)图。
[0009]图3说明了根据每个实施例的作为劣化过滤器的点扩散函数。
[0010]图4说明了是作为根据每个实施例的劣化过滤器的点扩散函数的傅立叶变换的光学传递函数的振幅成分。
[0011]图5是根据第一实施例的图像处理方法的流程图。
[0012]图6A至图6C图示了由根据第一实施例的具有球面像差的成像光学系统捕获的图像。
[0013]图7图示了针对根据第一实施例的成像光学系统的像差量的劣化处理中的劣化量。
[0014]图8A至图8C图示了通过对由根据第一实施例的具有球面像差的成像光学系统捕获的图像执行劣化处理而获得的劣化图像。
[0015]图9A至图9C图示了由根据第一实施例的不具有球面像差的成像光学系统捕获的图像。
[0016]图10A至图10C图示了通过对由根据第一实施例的不具有球面像差的成像光学系统捕获的图像执行劣化处理而获得的劣化图像。
[0017]图11是根据第二实施例的图像处理方法的流程图。
[0018]图12A至图12E图示了生成根据第二实施例的劣化过滤器的方法。
[0019]图13说明了根据第三实施例的图像处理系统。
[0020]图14是根据第四实施例的图像拾取装置的框图。
具体实施方式
[0021]现在参考附图，将给出根据本公开的实施例的详细描述。
[0022]现在，将给出在每个实施例中说明的术语和劣化处理(图像处理方法)的定义的描述。根据下面将描述的每个实施例，适当地使用这里描述的图像处理方法。
[0023]捕获图像
[0024]由图像拾取装置获得的捕获图像是从经由成像光学系统接收光的图像传感器获得的数字图像。由于诸如球面像差、彗形像差、像场弯曲和像散之类的各种像差的影响，图像具有模糊成分并且劣化。由于像差和/或衍射的影响，由像差引起的图像的模糊成分使从被摄体上的单个点发射的光束在成像平面上散开，该光束在没有像差或衍射的情况下原本会被会聚到成像平面中的单个点上。图像的模糊成分由点扩散函数(下文中，PSF)或光学传递函数(下文中，OTF)表示。成像光学系统可以不仅包括透镜，而且包括具有曲率的镜子(反射表面)。
[0025]捕获图像的颜色成分具有例如RGB颜色成分信息。颜色成分还可以选择并使用诸如由LCH表示的亮度、色调和饱和度以及由YCbCr表示的辉度和色差信号之类的常见颜色空间。其他颜色空间可以使用XYZ、Lab、Yuv和JCh。还可以使用色温。
[0026]捕获图像(输入图像)和输出图像可以附带有诸如透镜的焦距、F数(孔径值)、成像距离之类的成像条件、以及用于执行诸如图像校正之类的处理的各种类型的校正信息。在图像从图像拾取装置被传送到另一图像处理装置用于诸如校正之类的处理的情况下，如上所述，关于诸如成像条件和校正之类的处理的信息可以被附加到捕获图像。作为关于诸如成像条件和校正之类的处理的信息的另一通信方法，图像拾取装置和图像处理装置可以被直接或间接地连接，以传送信息。在每个实施例中，作为劣化处理的目标的图像(捕获图像)可以是静止图像或移动图像。
[0027]劣化处理
[0028]现在，将给出劣化处理的概况的描述。现在考虑使用成像光学系统的成像处理。其中，g(x,y)是捕获图像，f(x,y)是原始图像并且h(x,y)是作为OTF的傅立叶对的PSF，以下式子(1)成立：
[0029]g(x,y)＝h(x,y)*f(x,y)(1)
[0030]星号*表示卷积(卷积积分、乘积和)，并且(x,y)表示捕获图像上的坐标。h(x,y)具有基于成像光学系统的像差的特性。h(x,y)取决于成像光学系统的F数而变化。换句话说，随着孔径从最大孔径开始减小(F数增大)，像差的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，包括：至少一个存储器，所述至少一个存储器被配置为存储指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述指令以：获取使用光学系统获得的捕获图像以及关于与捕获图像对应的成像条件的信息；以及基于光学系统的F数对捕获图像执行劣化处理，所述F数被包括在关于成像条件的信息中，其中，在F数是第一F数的情况下的劣化处理中的第一劣化量小于在F数是第二F数的情况下的劣化处理中的第二劣化量，所述第二F数大于所述第一F数。2.根据权利要求1所述的图像处理装置，其特征在于，第一劣化量和第二劣化量分别是在对捕获图像执行劣化处理时的第一模糊量和第二模糊量。3.根据权利要求1所述的图像处理装置，其特征在于，所述至少一个处理器进一步执行所述指令以执行劣化处理，以便减小在F数是第一F数的情况下由光学系统中的像差引起的捕获图像的模糊量、与在F数是第二F数的情况下由光学系统中的像差引起的捕获图像的模糊量之间的差异。4.根据权利要求1所述的图像处理装置，其特征在于，所述至少一个处理器进一步执行所述指令以执行劣化处理，以便减小在F数是最大孔径的情况下的焦平面的劣化量、与在F数是比所述最大孔径大的第三F数的情况下的焦平面的劣化量之间的差异。5.根据权利要求1所述的图像处理装置，其特征在于，所述至少一个处理器进一步执行所述指令以基于F数来获取劣化过滤器，其中，所述至少一个处理器执行所述指令以使用劣化过滤器执行劣化处理，其中，在F数是第一F数的情况下，劣化过滤器的劣化量是第一劣化量，并且其中，在F数是第二F数的情况下，劣化过滤器的劣化量是第二劣化量。6.根据权利要求5所述的图像处理装置，其特征在于，关于成像条件的信息包括关于光学系统的类型的信息，其中，所述至少一个处理器执...

【专利技术属性】
技术研发人员：楠美祐一，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：