用于处理图像的计算机实现的方法、计算机程序产品以及系统技术方案

提供了一种用于处理图像的计算机实现的方法。该方法包括：对具有第一分辨率的多个第一图像进行下采样，以获得具有第二分辨率的多个第二图像，第一分辨率高于第二分辨率，多个第二图像中的每一个第二图像均为多个第一图像中的一个第一图像的下采样版本；训练人工神经网络ANN模型(40)，以处理输入图像并且输出具有比输入图像更高的分辨率的输出图像，其中，用于训练的训练数据包括图像对，每个图像对均包括：多个第二图像中的一个第二图像，以作为ANN模型(40)的输入；以及在多个第二图像中的一个第二图像输入到ANN模型(40)的情况下，与多个第二图像中的一个第二图像对应的多个第一图像中的一个第一图像，以作为来自ANN模型(40)的期望输出；将多个第一图像中的至少一个第一图像输入到经训练的ANN模型(40)；以及从经训练的ANN模型(40)获得至少一个输出图像，至少一个输出图像具有高于第一分辨率的第三分辨率。三分辨率。

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像的计算机实现的方法、计算机程序产品以及系统


[0001]本申请涉及一种用于处理图像的计算机实现的方法、计算机程序产品以及系统。

技术介绍

[0002]超分辨率(SR)领域的目的是将信号分辨率提高至高于传感器分辨率。换句话说，目的是使用更多的采样点(诸如在2D图像的情况下更多数量的像素，或在3D的情况下更多的体素)来近似信号。SR的概念还可以应用于1D或2D频谱或者为其定义空间分辨率的任何类型的数据。
[0003]若干启发式方法可用于实现更高分辨率近似。例如，通常用于图像上采样的方法可以包括最近邻插值、双线性插值、双三次插值等。在此类方法中，可以通过应用与上下文无关的上采样操作来从原始像素值得到值的插值。例如，一种这样的算法可以包括插入新像素并且向新像素分配在新像素周围先前存在的像素的平均值。这些启发式方法通常会产生可能被感知为“像素化”或“模糊”的近似，因为图像的实际高分辨率(HR)版本可能看起来不像那些近似。例如，尖锐的线可能不会保持尖锐，因为沿着线边缘的缺失像素可能不具有作为线与周围之间的插值的值，而是属于线或周围。
[0004]替代方法可以由深度学习的领域提供，其中训练深度人工神经网络(ANN)模型来以高保真度近似输入的HR版本(例如，参见W.Yang、X.Zhang、Y.Tian、W.Wang和J.
‑
H.Xue的“单图像超分辨率的深度学习：简要综述(Deep Learning for Single Image Super
‑
Resolution:A Brief Review)”，《IEEE多媒体汇刊》，第1
‑
1页，2019年)。通过使用优化算法，可以训练ANN以通过以改善目标HR图像的近似的方式更新其参数来进行这个上采样。对于训练，可能需要提供训练样本的数据集。训练可以是监督式的或非监督式的。在监督式训练中，模型可以访问正在训练模型来增强的输入图像的HR版本(例如，参见C.Dong、C.C.Loy、K.He和X.Tang的“学习图像超分辨率的深度卷积网络(Learning a Deep Convolutional Network for Image Super
‑
Resolution)”，2014年)。在非监督式训练的情况下，模型可以仅访问原始分辨率(OR)图像(例如，参见WO2019/102476A2)，或者在大多数情况下，访问不是原始分辨率的输入图像的实际HR版本的HR图像(例如，参见Y.Yuan、S.Liu、J.Zhang、Y.Zhang、C.Dong和L.Lin的“使用循环生成对抗网络的非监督式图像超分辨率(Unsupervised Image Super
‑
Resolution using Cycle
‑
in
‑
Cycle Generative Adversarial Networks)”，ArXiv180900437Cs，2018年9月)。
[0005]与如上所述的启发式上采样技术相比，基于ANN的上采样可以域感知和上下文感知的。例如，ANN模型可以以与云和具有平滑线的区域的图像不同的方式学习高复杂性的上采样图像，诸如棋盘和尖锐线的区域。然而，在基于ANN的已知的上采样方法中，训练ANN模型通常需要HR图像，而这些图像并不总是容易得到的。

技术实现思路

[0006]根据一方面，问题涉及促进具有改善质量的图像分辨率外推。通过独立权利要求所公开的特征来解决该问题。此外，示例性实施方式由从属权利要求限定。
[0007]根据一方面，提供了一种用于处理图像的计算机实现的方法。该方法包括：
[0008]对具有第一分辨率的多个第一图像进行下采样，以获得具有第二分辨率的多个第二图像，所述第一分辨率高于所述第二分辨率，所述多个第二图像中的每一个第二图像均为所述多个第一图像中的一个第一图像的下采样版本；
[0009]训练人工神经网络ANN模型，以处理输入图像并且输出具有比所述输入图像更高的分辨率的输出图像，其中，用于所述训练的训练数据包括图像对，每个图像对均包括：
[0010]所述多个第二图像中的一个第二图像，以作为所述ANN模型的输入；以及
[0011]在所述多个第二图像中的所述一个第二图像输入到所述ANN模型的情况下，与所述多个第二图像中的所述一个第二图像对应的所述多个第一图像中的一个第一图像，以作为来自所述ANN模型的期望输出；
[0012]将所述多个第一图像中的至少一个第一图像输入到经训练的ANN模型；以及
[0013]从经训练的ANN模型获得至少一个输出图像，所述至少一个输出图像具有高于所述第一分辨率的第三分辨率。
[0014]在本公开中，术语“图像”可以被理解为针对其定义空间分辨率的数据。例如，“图像”可以是包括像素的2D数字图像或包括体素的3D数字图像。在这样的示例中，图像中的每个像素或体素可以指示强度或灰度等级。在其他示例中，“图像”可以是1D或2D频谱。
[0015]在本文所述的各种实施方式和示例中，“ANN模型”可以包括ANN，其中，ANN的操作不依赖于输入数据和输出数据的分辨率。换句话说，ANN模型可以包括能够处理具有不同分辨率的输入数据并且输出具有不同分辨率的数据的ANN。
[0016]根据上述方面的方法可以使得能够生成具有高于输入到ANN模型的图像的目标分辨率(例如，第三分辨率)的图像，而无需使用具有目标分辨率的图像来训练ANN模型。此外，与使用已知的启发式方法(诸如最近邻插值或双三次插值)相比，使用ANN模型可以改善所获得的具有目标分辨率的图像的质量。
[0017]在根据上述方面的方法中，ANN模型可以包括卷积神经网络。
[0018]此外，在根据上述方面的方法中，ANN模型可以包括：
[0019]发生器，所述发生器包括第一ANN，所述第一ANN用于处理所述输入图像，并且输出具有比所述输入图像更高的分辨率的所述输出图像；以及
[0020]鉴别器，所述鉴别器包括第二ANN，所述第二ANN用于将由所述第一ANN生成的图像与被认为是来自所述第一ANN的期望输出的实际图像区分开，
[0021]其中，通过以下操作可以训练所述ANN模型：
[0022]使用所述训练数据来训练所述发生器，以从所述输入图像生成具有比所述输入图像更高的分辨率的所述输出图像；
[0023]使用从所述经训练的发生器输出的图像和所述多个第一图像中的至少一些来训练所述鉴别器，以确定输入到所述第二ANN的图像是：
[0024]从所述经训练的发生器输出的图像；或
[0025]所述多个第一图像中的一个第一图像；
[0026]通过迭代以下步骤来进一步训练所述发生器和所述鉴别器：
[0027]使用来自经训练的鉴别器的输出，更新所述第一ANN的参数值，以增加所述第二ANN的错误率；以及
[0028]使用来自所述经训练的发生器的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理图像的计算机实现的方法，所述方法包括：对具有第一分辨率的多个第一图像进行下采样，以获得具有第二分辨率的多个第二图像，所述第一分辨率高于所述第二分辨率，所述多个第二图像中的每一个第二图像均为所述多个第一图像中的一个第一图像的下采样版本；训练人工神经网络ANN模型(40)，以处理输入图像并且输出具有比所述输入图像更高的分辨率的输出图像，其中，用于所述训练的训练数据包括图像对，每个图像对均包括：所述多个第二图像中的一个第二图像，以作为所述ANN模型(40)的输入；以及在所述多个第二图像中的所述一个第二图像输入到所述ANN模型(40)的情况下，与所述多个第二图像中的所述一个第二图像对应的所述多个第一图像中的一个第一图像，以作为来自所述ANN模型(40)的期望输出；将所述多个第一图像中的至少一个第一图像输入到经训练的ANN模型(40)；以及从经训练的ANN模型(40)获得至少一个输出图像，所述至少一个输出图像具有高于所述第一分辨率的第三分辨率。2.根据权利要求1所述的方法，其中，所述ANN模型(40)包括卷积神经网络。3.根据权利要求1或2所述的方法，其中，所述ANN模型(40)包括：发生器(420)，所述发生器包括第一ANN(420)，所述第一ANN用于处理所述输入图像，并且输出具有比所述输入图像更高的分辨率的所述输出图像；以及鉴别器(44)，所述鉴别器包括第二ANN(440)，所述第二ANN用于将由所述第一ANN(420)生成的图像与被认为是来自所述第一ANN(420)的期望输出的实际图像区分开，其中，通过以下操作来训练所述ANN模型(40)：使用所述训练数据来训练所述发生器(42)，以从所述输入图像生成具有比所述输入图像更高的分辨率的所述输出图像；使用从所述经训练的发生器输出的图像和所述多个第一图像中的至少一些来训练所述鉴别器(44)，以确定输入到所述第二ANN(440)的图像是：从所述经训练的发生器(42)输出的图像；或所述多个第一图像中的一个第一图像；通过迭代以下步骤来进一步训练所述发生器(42)和所述鉴别器(44)：使用来自经训练的鉴别器(44)的输出，更新所述第一ANN(420)的参数值，以增加所述第二ANN(440)的错误率；以及使用来自所述经训练的发生器的输出，更新所述第二ANN(440)的参数值，以降低所述第二ANN(440)的所述错误率。4.根据权利要求3所述的方法，还包括：计算以下项之间的加权平均值：用训练所述发生器(42)的步骤获得的所述第一ANN的所述参数值；以及用进一步训练所述发生器(42)和所述鉴别器(44)的步骤获得的所述第一ANN(420)的经更新的参数值，其中，将具有所述加权平均值作为所述参数值的所述第一ANN(420)用作用于获得所述至少一个输出图像的所述经训练的ANN模型(40)。5.根据权利要求1至4中任一项所述的方法，还包括：
在所述多个第一图像的所述下采样之前，将图像增强预处理步骤应用于所述多个第一图像，其中，所述图像增强预处理步骤能够包括以下各项中的一个或多个：模糊化；添加逐像素噪声；应用离焦失真；应用运动模糊。6.根据权利要求1至5中任一项所述的方法，其中，所述第一分辨率比所述第二分辨率高出缩放因数(S)，并且所述第三分辨率比所述第一分辨率高出所述缩放因数(S)。7.根据权利要求1至6中任一项所述的方法，其中，所述多个第一图像包括细胞的显微图像。8.一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令加载在计算机上并且在所述计算机上运行时，致使所述计算机执行根据权利要求1至7中...

【专利技术属性】
技术研发人员：克里斯托弗，
申请(专利权)人：赛多利斯司特蒂姆数据分析公司，
类型：发明
国别省市：