【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及一种显微镜系统，一种生成虚拟染色图像的计算机实施方法，以及一种生成根据显微镜图像计算出虚拟染色图像的图像处理模型的计算机实施方法。
技术介绍
1、尤其是在生物样本的分析中，染色法被广泛用于使样本的某些结构可见。在组织化学方法中，样本是通过添加染料制备的，染料集中在例如某些细胞器或组织结构。碱性染料可吸附在如酸性细胞结构像是细胞核中的dna上，从而使染色的结构于采集的图像中从背景或其他结构中更加突出。在荧光染色中，荧光团在适当的激发光照射后会发出可测量的探测光。荧光团可以天然地存在于样本中，也可以在样本制备过程中添加。例如，在转染染色中，dna或rna被导入细胞，并通过表达形成荧光团。利用这种化学染色的图像在本公开中也被称为化学染色图像。在转染染色中，某些细胞器被形成的荧光团染色因而变得更加可见。
2、虽然化学染色方法有利于提高某些结构的可见度，但也同样具有相应的缺点。样本制备工艺尤其是染料本身会对样本造成相当大的压力。光学显微镜中的照明会对样本造成额外的压力并致使如光漂白或光毒性。此外，化学染色并不总是可靠的。例如，可能会发生荧光团从待染色的结构中渗出。该需要染色的结构之外的其他样本区域也进而染色。尤其是在荧光图像的情况下，干扰源也会导致意外的染色/荧光区域。例如，盖片或样本载体上的棉絮在荧光图像中可见。在转染染色中，将特定的dna或rna序列导入细胞进行染色，转染率通常达不到100％。因此，一些细胞不表达荧光团，也就在荧光图像中并不可见。
3、虚拟染色技术的开发尤其是为了避免染色方法对细胞造成
4、这些方法在如ep3553165a1,us9,786,050b2,us10,013,760b2中进行了描述，以及在：
5、克里斯琴森(christiansen，)，埃里克(eric)等人，“计算机标记(：预测未标记图像中的荧光标签”("insilicolabeling:predictingfluorescentlabelsinunlabeledimages")，2018年，《细胞》173期，792-803，2018年4月19日，爱思唯尔(elsevier)，doi:https://doi.org/10.1016/j.cell.2018.03.040
6、奥孔科沃(ounkomol)、查特温(chawin)等人，“透射光显微镜三维荧光图像的无标签预测”("label-freepredictionofthree-dimensionalfluorescenceimagesfromtransmittedlightmicroscopy")，biorxiv预印本(biorxivpreprint)，2018年5月23日，https://doi.org/10.1101/289504为形成图像处理模型，训练数据通常采用包括显微镜图像(如未染色的相位对比图像)和与前者局部相应进行登记的化学染色图像(如荧光图像)。在图像处理模型的训练过程中，显微镜图像可用作输入数据，化学染色图像可用作目标图像(真实值)。在训练后，图像处理模型能够根据显微镜图像计算出与化学染色图像相应的虚拟染色图像。
7、如上所述，染色方法并不总是可靠的，训练数据中的化学染色图像也包含相应的误差，尤其是结构区域被错误染色或仅被微弱染色或根本未被染色。如果图像处理模型使用此类训练数据进行学习，那么模型可能生成质量中等的虚拟染色图像。用户几乎不可能或根本不可能对训练数据中的化学染色图像进行手动校正。即使可以通过旨在根据输入图像计算分割掩膜的模型(如通过在错误未染色的细胞器周围绘制轮廓)对训练中提供的分割掩膜进行简单的手动校正，但不可能如此简单地对化学染色图像进行手动校正。因而，已知的虚拟染色技术产生的质量亟待提高。
8、作为背景信息，这里要提到一种利用条件生成对抗网络根据输入图像计算输出图像的方法：
9、伊索拉(isola)、菲力普(phillip)等人，“条件对抗性网络的图像到图像翻译”("image-to-imagetranslationwithconditionaladversarialnetworks")，arxiv：1611.07004v3[cs.cv]2018年11月26日
10、一种根据显微镜图像计算分割掩膜的训练方法也可以获取自：
11、阿尔瓦伦加(alvarenga)，拉夫劳伦(lauren)，奥林巴斯发现博客(olympusdiscoveryblog)，2020年9月2日，“使用truai技术进行无标签细胞核检测的视频介绍"("avideointroductiontolabel-freenucleusdetectionwithtruaitechnology")，https://www.olympus-lifescience.com/en/discovery/a-video-introduction-to-label-free-nucleus-detection-with-truai-technology/
12、然而，在生物细胞的二进制分割掩膜中无法辨别亚细胞结构，例如dna位于细胞内的位置。因而分割掩膜并不适用于化学或虚拟染色图像。
13、因此，产生了能够提供显微样本的高质量染色图像同时避免染色方法对样本造成压力的持续需求。
技术实现思路
1、本专利技术的目的是提出一种显微镜系统和方法，能够以尽可能高的质量生成显微样本的染色图像，并将样本受到的压力降至最低。
2、通过具有权利要求20特征的显微镜系统和具有权利要求1或17特征的方法，可以实现这一目的。
3、本专利技术的一个实施方式涉及一种计算机实施方法，用于生成根据显微镜图像计算出虚拟染色图像的图像处理模型。该方法包括使用训练数据对图像处理模型进行训练。训练数据包括：作为图像处理模型的输入数据的显微镜图像；使用采集的化学染色图像形成的目标图像，其局部相应于显微镜图像进行登记，并包含染色图像区域；以及预定义分割掩膜，用于至少区分需要染色的图像区域和不需要染色的图像区域。通过优化用于采集虚拟染色图像与目标图像之间的差异的奖励/损失函数(下称：染色奖励/损失函数)，训练图像处理模型以根据输入的显微镜图像计算出虚拟染色图像。在训练图像处理模型时，将预定义分割掩膜考虑在内，以补偿化学染色图像中的误差。
4、为化学染色图像提供高质量的分割掩膜较为简单。尤其是无论是手动还是自动方式，分割掩膜都可以相对容易地进行校正。虽然部分化学染色图像包含染色误差，但可以获得或生成质量更高的分割掩膜，以避免再出现化学染色图像中的染色误差。因此，可以利用分割掩膜来补偿化学染色图像中的误差。这样就可以学习到一个模型，以尤为可靠和准确地通过计算对显微图像中给定的样本结构进行染色。由于通过预定义分割掩膜进行了误差校正，由学习到的图像处理模型输出的本文档来自技高网...
【技术保护点】
1.一种生成根据显微镜图像(20)计算出虚拟染色图像(30)的图像处理模型(M)的计算机实施方法，包括：
2.根据权利要求1所述的计算机实施方法，其特征在于，
3.根据权利要求1或2所述的计算机实施方法，其特征在于，还包括：
4.根据权利要求3所述的计算机实施方法，其特征在于，
5.根据权利要求3或4所述的计算机实施方法，其特征在于，
6.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
7.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
8.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
9.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
10.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
11.根据权利要求9或10所述的计算机实施方法，其特征在于，还包括：
12.根据权利要求10或权利要求11(当其从属于权利要求10时)所述的计算机实现方法，其特征在于，p>
13.根据权利要求9-12中任一项所述的计算机实施方法，其特征在于，
14.根据权利要求9-13中任一项所述的计算机实施方法，其特征在于，
15.根据权利要求14所述的计算机实施方法，其特征在于，
16.根据权利要求14或15所述的计算机实施方法，其特征在于，
17.一种用于生成虚拟染色图像(30)的计算机实施方法，其特征在于，包括：
18.根据权利要求17所述的计算机实施方法(当其从属于权利要求9-16中的任一项时)，其特征在于，
19.根据权利要求17所述的计算机实施方法(当其从属于权利要求13时)，其特征在于，其中，图像处理模型(M)作为自动编码器(A)，根据显微镜图像(20)计算出重建显微镜图像(29)；
20.显微镜系统，其特征在于，包括
21.根据权利要求20所述的显微镜系统，其特征在于，
22.一种计算机程序，包括指令，用于当计算机执行所述程序时使计算机执行根据权利要求1-19中任一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种生成根据显微镜图像(20)计算出虚拟染色图像(30)的图像处理模型(m)的计算机实施方法，包括：
2.根据权利要求1所述的计算机实施方法，其特征在于，
3.根据权利要求1或2所述的计算机实施方法，其特征在于，还包括：
4.根据权利要求3所述的计算机实施方法，其特征在于，
5.根据权利要求3或4所述的计算机实施方法，其特征在于，
6.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
7.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
8.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
9.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
10.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
11.根据权利要求9或10所述的计算机实施方法，其特征在于，还包括：
12.根据权利要求10或权利要求11(当其从属于权利要求10时)所述的计算机...
【专利技术属性】
技术研发人员：亚历山大·弗赖塔格，马蒂亚斯·艾布尔，克里斯蒂安·孔格尔，安塞尔姆·布拉赫曼，丹尼尔·哈泽，曼努埃尔·阿姆托尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。