图像处理方法、图像处理设备、图像处理系统和存储介质技术方案

本发明专利技术提供图像处理方法、图像处理设备、图像处理系统和存储介质。图像处理方法包括如下步骤：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与第一机器学习模型不同的第二机器学习模型基于拍摄图像所生成的第二模型输出；以及根据基于第二模型输出与拍摄图像和第一模型输出中的一者的比较，通过使用第一模型输出和第二模型输出来生成估计图像。生成估计图像。生成估计图像。

【技术实现步骤摘要】
图像处理方法、图像处理设备、图像处理系统和存储介质


[0001]本专利技术涉及抑制当通过使用机器学习模型基于拍摄图像来估计图像时固有发生的副作用的图像处理方法。

技术介绍

[0002]机器学习模型能够在实现比使用假定(assumption)或近似(approximation)来对图像进行基于理论的估计的效果高的效果的同时来估计图像。在对图像的基于理论的估计中，效果被由假定或近似忽视的要素所降低。另一方面，在机器学习模型中，通过进行使用包括这些要素的学习数据的学习，能够在不作出假定和近似的情况下，基于学习数据以高的效果估计图像。
[0003]例如，在使拍摄图像去模糊的技术中，要素是拍摄图像的饱和像素。在诸如Wiener滤波器等的基于理论的方法中，假定不存在饱和像素。因而，在饱和像素的周围，模糊未被适当地校正，并且会发生诸如振铃(ringing)等的副作用。另一方面，Li Xu等人的Deep Convolutional Neural Network for Image Deconvolution,Advances in Neural Information Processing Systems 27,NIPS 2014(在下文中，称作Li Xu等人)使用卷积神经网络(CNN，其是一种机器学习模型)使拍摄图像去模糊。通过使具有等于或高于拍摄图像中的饱和值的信号值的图像模糊来生成学习数据集，并且使CNN学习该学习数据集。由此，即使在饱和像素的附近，能够在抑制副作用的同时使图像去模糊。
[0004]然而，Li Xu等人公开的方法可能会在位于与饱和像素无关的位置处的被摄体中产生伪影(伪结构)。具体地，伪影(artifact)是与实际被摄体的结构不一致的信号值的局部减小或增大。伪影是当通过使用机器学习模型估计图像时固有发生的副作用之一。当对图像进行除了去模糊以外的估计时，可能发生对于机器学习模型而言固有的副作用。

技术实现思路

[0005]本专利技术提供图像处理方法、图像处理设备、图像处理系统和记录介质，其各自均能够抑制当通过使用机器学习模型估计图像时固有发生的副作用。
[0006]根据本专利技术的一方面的图像处理方法包括如下步骤：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像生成的第二模型输出；以及根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。
[0007]根据本专利技术的一方面的图像处理设备包括：获取单元，其被配置为获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出，并且获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像所生成的第二模型输出；以及生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，使用所述第一模型输出和所述第二模型输出来生成估计图像。
[0008]根据本专利技术的另一方面的图像处理系统具有第一设备和第二设备。所述第一设备包括发送单元，其被配置为将拍摄图像和与处理的执行有关的请求发送给所述第二设备。所述第二设备包括：接收单元，其被配置为接收所述拍摄图像和所述请求；以及第一生成单元，其被配置为响应于所述请求，利用第一机器学习模型基于所述拍摄图像来生成第一输出模型，并且利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像来生成第二模型输出。所述第一设备还包括第二生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。
[0009]存储使计算机执行以上图像处理方法的计算机程序的非暂时性计算机可读存储介质还构成本专利技术的另一方面。
[0010]通过以下参照附图对示例性实施方式的描述，本专利技术的其它特征将变得明显。
附图说明
[0011]图1是示出根据本公开的一个或多个方面的生成估计图像的流的图。
[0012]图2是示出根据本公开的一个或多个方面的图像处理系统的框图。
[0013]图3是示出根据本公开的一个或多个方面的图像处理系统的外观图。
[0014]图4A至图4C是各自示出根据本公开的一个或多个方面的伪影的说明图。
[0015]图5A至图5D是各自示出根据本公开的一个或多个方面的伪影的产生原因的说明图。
[0016]图6是示出根据本公开的一个或多个方面的机器学习模型中的学习的流程图。
[0017]图7是示出根据本公开的一个或多个方面的生成估计图像的流程图。
[0018]图8A和图8B是示出根据本公开的一个或多个方面的与生成第一图有关的说明图。
[0019]图9是示出根据本公开的一个或多个方面的图像处理系统的框图。
[0020]图10是示出根据本公开的一个或多个方面的图像处理系统的外观图。
[0021]图11A和图11B是示出根据本公开的一个或多个方面的机器学习模型的配置图。
[0022]图12是示出根据本公开的一个或多个方面的生成估计图像的流程图。
[0023]图13是示出根据本公开的一个或多个方面的图像处理系统的框图。
[0024]图14是示出根据本公开的一个或多个方面的图像处理系统的外观图。
[0025]图15是示出根据本公开的一个或多个方面的生成估计图像的流程图。
具体实施方式
[0026]现在参照附图，将给出根据本专利技术的各个实施方式的详细描述。将用相同的附图标记指代各幅图中的对应要素，并且将省略其重复描述。
[0027]在详细描述各个实施方式之前，将描述本专利技术所要解决的问题，即当通过使用机器学习模型来估计图像时固有发生的副作用。当估计图像时，代替对图像具有统一效果的处理，机器学习模型能够根据输入图像的特征执行具有不同效果的处理。在上述去模糊的示例中，机器学习模型在内部判断与饱和像素有关的模糊图像(也称作饱和模糊图像)和其它模糊图像(也称作非饱和模糊图像)，并且执行不同的校正处理。由此，能够使这两种模糊图像均去模糊。然而，机器学习模型可能会作出错误的判断，并且在对非饱和模糊图像执行
针对饱和模糊图像的校正处理的情况下，会发生上述伪影。这同样适用于对包括饱和像素的图像进行的去模糊以外的估计，并且在机器学习模型根据输入图像的特征执行不同效果的处理的情况下，如果执行了与适于该特征的处理不同的处理，则会发生副作用。副作用现象依赖于由机器学习模型对图像执行的估计的内容并且依赖于学习方法。将在各个实施方式中描述具体的示例。
[0028]接下来，将给出解决该问题的本专利技术的主旨的描述。本专利技术通过使用估计结果(第一模型输出和第二模型输出)抑制了对于机器学习模型而言固有的副作用，其中第一模型输出和第二模型输出分别获取自分别通过两种不同机器学习模型(第一机器学习模型和第二机器学习模型)对拍摄图像的估计。出于图像估计的目的，第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像所生成的第二模型输出；以及根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。2.根据权利要求1所述的图像处理方法，其中，所述比较包括差、比或相关度。3.根据权利要求1所述的图像处理方法，其中，通过使用基于所述比较所生成的第一图来生成所述估计图像。4.根据权利要求3所述的图像处理方法，其中，在所述估计图像的生成中，基于所述第一图确定使用所述第一模型输出或所述第二模型输出的区域。5.根据权利要求3所述的图像处理方法，其中，所述拍摄图像包括多种颜色成分，以及所述第一图对于所述多种颜色成分是共用的。6.根据权利要求1所述的图像处理方法，其中，所述第一机器学习模型和所述第二机器学习模型是各自均被配置为估计所述拍摄图像中的模糊的校正成分的模型，以及所述第一机器学习模型具有比所述第二机器学习模型对高亮度被摄体的模糊校正效果小的对所述高亮度被摄体的模糊校正效果。7.根据权利要求1所述的图像处理方法，其中，通过使用基于所述比较所生成的第一图来生成所述估计图像，以及根据基于所述拍摄图像的饱和像素的位置来生成所述第一图。8.根据权利要求7所述的图像处理方法，其中，所述第一图是指示所述比较满足预定条件的区域中的、不包括基于所述饱和像素的位置的像素的区域的图。9.根据权利要求7或8所述的图像处理方法，其中，生成在所述比较满足预定条件的区域中具有第二值的第二图，以及通过用第一值替换在所述第二图中具有第二值的封闭空间中的、包括基...

【专利技术属性】
技术研发人员：日浅法人，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：