用于减少图像光晕的显微镜系统和方法技术方案

在一种减少图像光晕的方法中，通过显微镜捕获显示光晕(25)的显微镜图像(20)。至少该显微镜图像(20)被输入到一个训练后的图像处理模型(M)中，通过包括具有光晕(25)的输入图像(30)和没有光晕的相关目标图像(40)的训练数据(T)，至少从输入的显微镜图像(20)中计算出无光晕的显微镜图像(70)。该方法进一步包括由图像处理模型(M)输出计算出无光晕的显微镜图像(70)。像(70)。像(70)。

【技术实现步骤摘要】
用于减少图像光晕的显微镜系统和方法


[0001]本专利技术涉及一种显微镜系统和一种减少图像光晕的方法。

技术介绍

[0002]根据不同的设置，显微镜图像的捕获可能会产生光晕，即在捕获的图像中的一个或多个边缘的阴影。如果采用的相机传感器大于显微镜光学系统均匀照亮的区域，图像的亮度会向边缘下降。
[0003]可以裁剪有光晕的显微镜图像，以便只利用均匀照明的中心区域；然而，裁剪会导致捕获信息的损失。另一方面，根据相机传感器的尺寸调整光学系统的照明横截面积并不总是可能或可行的。此外，相机传感器通常是矩形的，而光学系统通常是圆形的，因此，根据相机传感器精确调整照明的横截面积也是不可行的。在扫描系统中，当扫描光束以不同的角度照射到样本上时，也会产生光晕。
[0004]为了能够使用阴影边缘区域(即较暗的外部区域)中的图像信息，在现有技术中经常使用光晕模型，该光晕模型通过计算从显微镜图像中去除光晕，并为此考虑成像光学器件的光学特性和相机传感器的尺寸。还使用图像处理滤波器，该图像处理滤波器在不考虑显微镜的特性或设置的情况下使所捕获图像的边缘区域变亮。例如，EP2318875B1，特别是段落[0094]和段落[0100]；以及US2007/0211154A1描述了将用于亮度调整的多项式校正函数应用到参考样本的图像，以便随后补偿图像中的光晕。DE102018115991A1中描述了通过将图像的像素值乘以预先确定的校正函数来进一步补偿光晕。
[0005]然而，如果在均匀照明的中心图像区域和阴影边缘区域之间存在巨大的差异，那么边缘区域的结构几乎完全消失。尤其是在这种情况下，简单的滤光或增亮是不够的。这是因为除其他以外，图像质量不会因增亮而得到改善；相反，边缘区域的图像噪声仍然很高，而边缘区域的信噪比(SNR)仍然比中心图像区域的要差。边缘区域的其他图像缺陷也仍然存在，例如颜色缺陷。
[0006]在显微镜系统的放大率和孔径发生变化的情况下，例如更换物镜或更换Optovar(即通过可调节的中间管改变放大率)的情况下，光晕会发生变化，因此有必要调整所采用的光晕模型。因此，在实际测量之前，经常要用校准玻片或其他校准对象对所有物镜和相机的组合进行耗时的校准。
[0007]为了完整起见，还请参考：
[0008]MartinWeigert等人，在https://doi.org/10.1101/236463上于2017年12月19日的bioRxiv236463的《内容感知图像修复.挑战荧光显微镜的极限》，其中描述了一种通过机器学习的模型来提高图像质量的方法。

技术实现思路

[0009]可以认为本专利技术的一个目的是提供一种能以简单的方式对显微镜图像中的光晕进行高质量的补偿的方法和显微镜系统。
[0010]这一目的是通过本专利技术的显微镜系统和本专利技术的方法来实现的。
[0011]根据本专利技术的一个实施例，在一种减少图像光晕的方法中，通过显微镜捕获样本区的显微镜图像，其中显微镜图像表现出光晕。至少将该显微镜图像输入到一个已被训练的图像处理模型中，通过包括有光晕的输入图像和无光晕的相关目标图像的训练数据，至少从输入的显微镜图像中计算出无光晕的显微镜图像。计算出的无光晕的显微镜图像由该图像处理模型输出。
[0012]机器学习的图像处理模型可以利用整个显微镜图像的图像信息，来消除边缘区域的光晕。在对生物样本的分析中，显微镜图像中通常包含多个相同类型的细胞或细胞器。这些结构可以在图像中心显示，图像中心的图像质量高于阴影图像边缘。因此，原则上，在图像中心区域以较高的图像质量显示的结构可以帮助确保图像处理模型计算出无光晕的显微镜图像，该无光晕的显微镜图像中，图像边缘的相同类型的结构与原始显微镜图像相比，显示质量有所提高。由于尽管出现了光晕，但具有大表面积的相机芯片仍能发挥其优势，因此开发和制造高质量、成本密集型光学系统以促进大型相机芯片的更大、更均匀的照明并不是当务之急。
[0013]根据本专利技术的另一个实施例的一种减少图像光晕的方法，包括通过显微镜捕获样本区的呈现出光晕的显微镜图像。同时捕获同一样本区的至少一个无光晕的对比度图像，该对比度图像是用不同于显微镜图像的对比度方法捕获的。通过训练后的图像处理模型，基于至少有光晕的显微镜图像和无光晕的对比度图像来计算出无光晕的显微镜图像。该图像处理模型被训练成使用对比度图像来计算出虚拟染色的显微镜图像，该虚拟染色的显微镜图像用于计算无光晕的显微镜图像。
[0014]不同的对比度方法可以理解为，例如，荧光图像、明场/透射光图像或光片成像。根据光学系统的不同，荧光测量的光晕可能比无荧光的透射光测量的光晕更明显。特别是当采用同一照相机芯片和/或至少部分相同的成像光学系统来捕获显微镜图像和对比度图像时，情况可能会是这样的。因此，可以利用无光晕的对比度图像(如明场图像)来补偿显微镜图像(如荧光图像)的光晕。称为虚拟染色的技术与机器学习模型一起使用，以计算从一种对比类型到另一种对比类型的图像间的映射。在此基础上，特别是显微镜图像的阴影边缘区域有可能被计算的图像内容所取代，图像处理模型主要或完全从对比度图像中通过虚拟染色的方式来计算。另一方面，可以在计算无光晕显微镜图像时采用不加修改或基本上不加修改的不受边缘阴影影响的显微镜图像的中心图像区域。
[0015]与介绍中提到的光晕校正技术相比，本专利技术有可能实现原则上相当于显微镜图像的中心区域的图像质量的边缘区域的图像质量。特别是，边缘区域的信噪比、图像清晰度和色彩保真度可以与图像中心的质量相当。
[0016]本专利技术的显微镜系统包括显微镜，该显微镜配置为执行根据本专利技术的方法。显微镜尤其可以被设计成捕获显微镜图像，并可以包括一个配置为执行图像处理模型的计算设备。
[0017]根据本专利技术的计算机程序包括命令，当该程序由计算机执行时，使所述计算机执行根据本专利技术的方法。
[0018]可选实施例
[0019]根据本专利技术的显微镜系统和根据本专利技术方法的变体是本专利技术的目的，并在以下描
述中进行解释。
[0020]图像处理模型的训练
[0021]本专利技术的变型包括在处理具有光晕的显微镜图像之前，对图像处理模型的训练的初始实施。
[0022]在有监督或部分有监督的学习过程中，训练数据包括也可以被称为地面(ground)真实数据的输入图像和相关联的目标图像。如稍后的更加详细的描述，图像处理模型从训练中提供的输入图像来计算输出图像，其中要优化的目标函数(损失函数)来检测输出图像和相关联的目标图像之间的偏差。迭代调整图像处理模型的模型参数值，以优化目标函数。在完成训练后，图像处理模型能够生成基本上类似于目标图像的输出图像。
[0023]训练数据的目标图像可以是没有光晕的显微镜图像，而相关联的输入图像是具有光晕的相同样本区域的显微镜图像。可以使用训练数据来实现图像处理模型的训练，从用于捕获光晕没有减少的显微镜图像的相同样本中获得该训练数据。这确保了训练数据中显示的结构(例如特定细胞类型)精确地对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于减少图像光晕的方法，包括：通过显微镜捕获显示渐晕(25)的显微镜图像(20)；其特征在于，将至少该显微镜图像(20)输入一个训练后的图像处理模型(M)，通过包括具有光晕(25)的输入图像(30)和没有光晕的相关目标图像(40)的训练数据(T)，从至少输入的显微镜图像(20)中计算出无光晕的显微镜图像(70)；和通过图像处理模型(M)输出计算出无光晕的显微镜图像(70)。2.根据权利要求1所述的方法，进一步包括：使用训练数据(T)来对图像处理模型(M)进行训练(15)，训练数据(T)从用于捕获显微镜图像(20)的相同样本中获得，显微镜图像(20)的光晕(25)将被减少。3.根据权利要求1所述的方法，其中，光晕(25)将被减少的显微镜图像(20)的无光晕的中心区域(24)用作训练数据(T)的目标图像(40)之一，并且其中具有计算性添加的光晕(25)的中心区域(24)用作训练数据(T)的相关输入图像(30)。4.根据权利要求1所述的方法，进一步包括：捕获多个显示相同样本区域的横向偏移、重叠的显微镜图像(20)；以及从显微镜图像(20)中具有光晕(25)的区域获得用于训练数据(T)的输入图像(30)，并从显微镜图像(20)中与一次有光晕(25)而一次无光晕(25)的相同样本区域有关的无光晕区域中获得相关的目标图像(40)。5.根据权利要求1所述的方法，其中，同一样本的另一显微镜图像的至少一个无光晕的中心区域(24)被另外地输入到图像处理模型(M)中。6.根据权利要求5所述的方法...

【专利技术属性】
技术研发人员：霍斯特，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：