用于在图像数据中检测显微检查对象的方法和装置制造方法及图纸

本发明专利技术涉及用于在图像数据中检测显微检查对象的方法、装置和计算机程序产品，图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联。所述方法包括：在第二图像中的至少一个第二图像中检测显示显微检查对象的信息；将所检测到的信息传输到第一图像中对应于第二图像中的所述至少一个第二图像的第一图像上；并且通过使用所传输的信息在如下第一图像中检测显示显微检查对象的信息，第二图像的所检测到的信息被传输到该第一图像上。所检测到的信息被传输到该第一图像上。所检测到的信息被传输到该第一图像上。

【技术实现步骤摘要】
用于在图像数据中检测显微检查对象的方法和装置


[0001]本专利技术涉及在图像数据、例如细胞或细胞成分的图像中检测显微检查对象。

技术介绍

[0002]为了改善细胞在图像上或在显微镜下观察时的可见性，已被证明的是，利用标记、例如染料或者甚至荧光染料来标记或转染这些细胞。术语“转染”一般在细胞生物学中是指将外源DNS(脱氧核糖核酸)或RNS(核糖核酸)引入到动物细胞中并且部分地也引入到其它真核细胞中。真核细胞尤其是理解为动物、植物和真菌的细胞。
[0003]然而，在本文献的上下文中，转染一般是指将外源性物质(例如标记，如染料或荧光染料)引入到任何细胞类型或任何细胞类型的任何部分中。因此，也可以利用标记转染原核生物，即不具有细胞核的细胞生物，即细菌和古菌。
[0004]转染的目的是实现细胞成分的更好的可见性，以便对于观察者改善光学可识别性。为此将标记(例如染料)引入到细胞或其成分中，并且然后以拍照方式记录或观察经处理的区域。
[0005]在常规的转染中不利的是，例如有时一些细胞不接受标记或染料并且因此在染色的图像中或在荧光图像中不可见。这些也称为缺失转染(英语为missed transfections)。通常在其它条件下(诸如改变的亮度对比度)对染色的样品进行拍照或观察。
[0006]另一个缺点是，染色在实际上不要染色的样品区域中(英语为stain)可能不期望地溢出(英语也称为stain bleeding”)，也称为错误标记不希望的对象(英文为non
‑
intended objects)。在此，例如在核染色时发荧光的DNS从细胞核溢出到周围的细胞质中并且形成所谓的“渗色(bleeding stains)”。因此，在荧光对比图像中比实际应发光更多地发光。同样，由此在图像中的大绒毛或不期望的类似对象也经常发光。因此，根据常见的技术，将这些区域评估为感兴趣的对象(英语为objects of interest)。为了消除在常规显微术中的这种错误，例如需要借助基于应用的值进行过滤。因此，例如细胞核根据相应的分辨率最多20个像点(像素)大。由此能够再次滤出尺寸过大的对象，如绒毛。
[0007]图6A以正常视图示出未染色的细胞样品。图6B示出所有细胞的无错误的染色。而图6C示出实际的正常状态，在实际的正常状态下一些细胞未被转染。虚线圆圈显示存在细胞的位置，但这些细胞没有接受标记或染料并且因此在荧光染色中不可见。
[0008]这对于许多显微术应用是关键的。存在未转染细胞的问题的应用的一个示例是训练虚拟染色模型(英语为virtual staining models)。由于未转染的细胞，所述虚拟染色模型学会错误的真实值，这导致这些模型的显著质量损失。因此，未转染的细胞在这里必须绝对从训练排除。
[0009]应用的其它示例是：
[0010]‑
训练分割方法，在该分割方法中通过化学注释(即例如通过阈值)产生注释，
[0011]‑
训练虚拟染色方法，该虚拟染色方法附加地使用掩膜注释，以便在细胞区域中调整训练信号，
[0012]‑
基于荧光信号对细胞进行计数，
[0013]‑
借助另一种标记来同定位一种标记，以及
[0014]‑
细胞增长随时间的谱系追踪(英语为lineage tracing)。

技术实现思路

[0015]本专利技术的任务是，克服现有技术的缺点，并且改善对在图像中的显微检查对象的检测，并且因此也改善地识别未转染的细胞。紧接着，这些附加识别出的显微检查对象然后可以与通过转染识别出的显微检查对象一起共同地或分开地根据使用目的被进一步处理。
[0016]所述任务通过根据权利要求的装置以及方法来解决。
附图说明
[0017]为了更好地理解本专利技术，借助于以下附图详细阐述本专利技术。
[0018]在本文献中的显微检查对象例如可以是细胞位置，但也包括细胞或细胞部分，例如细胞壁、细胞器官、细胞核等。一般，显微检查对象表示在显微镜下拍摄的对象。这包括实际的研究对象，如细胞、组织和其它待研究的对象。但图像也可以显示为此所使用的工具，如玻片、皮氏培养皿等。也可以存在如下图像，在所述图像上恰好不再有待研究的对象可见，例如因为这些图像已经到达并且超过样品的边缘。这些图像同样可以以图像数据存在，其中，在这些图像数据上不能检测到显微检查对象，即样品的成分。
[0019]在本文献中，对比度除了日常常见的亮度对比度之外也指在显微术中常见的特殊对比度。为此的示例不仅包括非荧光对比度，而且包括荧光对比度，如颜色对比度、明场法、暗场法、相位对比度法、相位梯度对比度法、偏振法、差分干涉对比法度、DIC法、光显微术法、数字对比度法或类似方法，诸如在化学染色之后的各种RGB(红、绿和蓝)信号，或超光谱数据。
[0020]分别以极度简化的示意图：
[0021]图1示出根据本专利技术的以两种不同的对比度拍摄的细胞样品的图像，
[0022]图2示出根据本专利技术的优化对显微检查对象的检测的不同可能方案，
[0023]图3示出根据本专利技术的在以一种对比度拍摄的图像中识别出的显微检查对象到以另一对比度拍摄的另一所属图像的转移，
[0024]图4示出根据本专利技术的单类分类器的训练，
[0025]图5示出根据本专利技术的对在第一图像上的显微检查对象的检测，以及
[0026]图6示出根据现有技术的细胞或细胞成分的染色和未染色的成像。
[0027]首先要注意的是，在不同地描述的实施方式中，相同元件设有相同附图标记或相同元件名称，其中，在整个说明书中包含的公开内容可以符合意义地转用到具有相同附图标记或相同元件名称的相同元件上。在说明书中选择的方位说明、例如上、下、侧等也涉及直接描述的以及示出的附图，并且这些方位说明在方位改变时可符合意义地转用到新的方位上。
具体实施方式
[0028]作为示例在此描述能够识别出如下细胞，所述细胞不接受某种标记、例如染料(例
如4
’
,6
‑
二脒
‑2‑
苯基吲哚，简称DAPI，作为荧光染料，其在荧光显微术中用于标记DNS)、即未正确转染。其它当前使用的染料是Hoechst 33342、NucSpos、Spircuit SPY、GPF(绿色荧光蛋白)和tdTomato。
[0029]描述根据本专利技术的用于在图像数据中检测显微检查对象的计算机实现方法，其中，所述图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，其中，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联。彼此关联的图像示出基本上同一细胞、即相同的细胞、同一显微检查对象亦或空白区域(如果既没有细胞也没有其它显微检查对象示出的话)。所述方法包括在第二图像中的至少一个第二图像中检测显示显微检查对象的信息。随后将所检测到的信息传输到第一图像中对应于第二图像中的所述至少一个第二图像的第一图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于检测在图像数据中的显微检查对象的计算机实现方法，其中，所述图像数据包括以第一对比度拍摄的第一图像(110)和以第二对比度拍摄的第二图像(120)，第一图像(111、112、113、114)中的各一个第一图像和第二图像(121、122、123、124)中的各一个第二图像能彼此对应地关联，所述方法包括：在第二图像(120)的至少一个第二图像中检测(200)显示显微检查对象的信息(310)；将所检测到的信息(310)传输(300)到第一图像(110)中对应于第二图像(120)中的所述至少一个第二图像的第一图像上；并且通过使用所传输的信息(320)在如下第一图像(110)中检测(400)显示显微检查对象的信息(350)，第二图像(120)的所检测到的信息(310)被传输到该第一图像上。2.根据前述权利要求中任一项所述的方法，其中，在第一图像(110)或第二图像(120)中检测(200、400)显示显微检查对象的信息包括使用经训练的机器学习模型，其中，所述机器学习模型通过具有与第一或第二图像相同的对比度的图像被训练。3.根据权利要求1所述的方法，其中，在第一图像中检测(400)显示显微检查对象的信息包括：利用被传输到第一图像(110)上的信息(320)和第一图像来训练(500)机器学习模型；并且通过应用经训练的机器学习模型在第一图像(110)中识别显示显微检查对象的信息(350)。4.根据权利要求2或3所述的方法，其中，所述机器学习模型是人工神经网络、优选是深度人工神经网络。5.根据权利要求2或3所述的方法，其中，所述机器学习模型是单类分类器，并且所述机器学习模型优选实施为单类特征分类器、单类探测器或具有像素精确定位的模型。6.根据前述权利要求中任一项所述的方法，其中，所述方法还包括接收用户输入，所述用户输入对所检测到的信息(310)进行修改，其方式为：校正错误检测的信息，和/或给出关于对象位置的附加信息。7.根据前述权利要求中任一项所述的方法，其中，以第一对比度拍摄的第一图像(110)示出所有显微检查对象，而以第二对比度拍摄的第二图像(120)示出确定存在的显微检查对象，但在第二图像中的细胞可能缺失或不完整。8.根据前述权利要求中任一项所述的方法，其中，在使用表示方式、诸如利用边界形状、优选圆形、多边形、热图、掩膜等的情况下在第一图像(110)和/或第二(120)图像中实施对显示显微检查对象的信息(200、400)的检测。9.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：将在第一图像(110)中通过所述信息检测到的显微检查对象分离成从第二图像(120)传输出来的显微检查对象(320)和不是从第二图像(120)传输出来的显微检查对象(350)。10.根据权利要求9所述的方法，其中，所述方法还包括计算在第二图像(120)中检测到的显微检查对象(310)与在第一图像(110)中检测到的显微检查对象(320、350)的比例。11.根据权利要求9或10所述的方法，其中，为了确定在第一图像(110)中检测到的细胞是否对应于已经从第二图像(120)传输其信息的细胞，使用相似性度量的阈值。

【专利技术属性】
技术研发人员：M，
申请(专利权)人：卡尔蔡司显微镜有限公司，
类型：发明
国别省市：