【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及组织化学染色，更具体地说，涉及一种用于多光谱和无标记自发荧光组织化学即时虚拟染色的系统和方法。
技术介绍
1、组织学染色通过化学方式为特定组织成分的研究引入颜色对比，是诊断多种疾病的一个重要步骤。虽然苏木精和伊红(h&e)染色是用于细胞核分布和细胞形态学研究的最常用的常规染色法，但是还开发了其它的组织化学染色法，例如特殊染色或免疫组织化学(ihc)染色，以突出显示其它的特定生物分子，并且这些染色法已经使用了一个多世纪。在临床实践中，除了h&e染色之外，有时还会进行特殊染色或ihc染色，以进一步确认诊断。但是，这些组织化学染色通常涉及对组织具有破坏性的不可逆化学反应，因此需要从患者身上收集额外的组织。此外，染色过程可能是耗时耗力的，并且通常需要昂贵的自动化机器来保持高效率。
2、最初提出了诸如受激拉曼散射显微术和非线性显微术等替代无染色成像模式，以代替组织化学染色，同时产生对比，以便研究不同分子特征和生物分子，例如胶原蛋白。但是，由于病理学家经过良好的训练，能够基于组织化学染色图像的颜色对比来解释组织信息，因此在进行此类程序之后需要额外的颜色映射来生成类似于组织化学染色的视图。但是，这些伪着色方法并非精确地类似于真正的化学染色图像，因此需要对病理学家(和诊断算法)进行重新训练，以解释或要求大量参数和微调来优化这种伪着色与真实染色的相似性。
3、深度学习算法的最新进展激发了开发虚拟染色方案以替代组织学染色的许多努力，这些努力旨在为加快组织病理学工作流程提供重大影响；降低设备
4、生成对抗网络(gan)是一种用于虚拟染色的流行深度学习框架，它在诸如图像到图像翻译等任务中生成逼真的实例的能力令人印象深刻。根据是否使用标记数据，可以将gan框架分为无监督方法和监督方法。已经提出了多种用于图像到图像翻译的无监督方法，例如cyclegan、cut、unit和ugatit，这些方法适合用于在标记数据不可用时的虚拟染色。但是，如果训练数据的结构复杂，那么无监督方法可能会失败，并且虚拟染色的结果可能不令人满意。与无监督方法相比，监督方法(例如pix2pix和其它方法)能够更好地对具有标记训练数据的复杂组织进行虚拟染色。但是，需要精确的图像配准来确保输入图像在像素级精确对准。此外，训练需要完全相同的切片以满足严格的配准要求，这很难获得，因此对通过监督学习来实现令人满意的转换造成了限制。
5、由于虚拟染色远比真实的组织化学染色更高效(尤其是在需要多重染色时)，因此将虚拟染色推广到多重染色对临床界更有益。为此，提出了各种样式转换方法。例如，提出了一种使用cyclegan的无监督方法，以将真实ki67-cd8 ihc染色图像转换为虚拟fap-ckihc染色图像。由于染色的破坏性，在完全相同的切片上获得多重染色结果具有挑战性。因此，两个染色域之间的精确配准是不可能的，并且限制了用于实现高准确度的监督方法的使用。后来的方法利用源自完全相同的切片的多重染色的虚拟染色结果作为学习输入，以实现监督学习的完美配准。但是，这些方法依赖于两个输入图像上的共同可见特征来确保高精度学习，这在生物分子对比度成为限制时造成了染色转换的类型限制。
6、因此，需要一种克服了现有系统和方法的缺点并为组织形态学研究提供省时、廉价的特异性对比度而不需要过度的组织消耗的组织化学虚拟染色方法和系统。此外，通过结合附图和本公开的
技术介绍
一节阅读随后的详细说明和所附权利要求，其它期望的特征和特性将变得明显。
技术实现思路
1、根据本公开的实施例的至少一个方面，提供了一种用于无标记组织化学虚拟染色的系统。该系统包括样品保持架、一个或多个光源、成像装置和处理器装置。所述样品保持架被配置成将样品固定在可移动结构上，该可移动结构能够沿着至少两个维度移动。所述一个或多个光源被配置成倾斜地照射样品，以实现样品的激发。所述成像装置被配置成捕获样品的图像，所述处理装置被配置成接收样品的图像，并按照组织化学虚拟染色过程处理该图像。所述图像包括自发荧光图像，所述组织化学虚拟染色过程包括将该自发荧光图像细分成多个区域，对该自发荧光图像的选定区域进行全局采样，并且将该自发荧光图像分类为多个真实图像类别之一或伪图像类别。
2、根据本公开的实施例的另一个方面，提供了一种用于无标记组织化学虚拟染色的方法。该方法包括将一对样品图像细分成多个区域，其中所述一对图像中的一个图像包括第一自发荧光图像和第一对应图像。所述方法还包括选择所述一对图像中的每一个图像的细分区域之一，对所述一对图像中的每一个图像的所述选定区域进行全局采样，并且对所述一对图像中的每一个图像的所述选定区域的部分进行局部采样，所述一对图像中的每一个图像的所述选定区域的每个部分包括多像素裁剪图像块。然后，所述方法包括对所述一对图像中的每一个图像的局部采样的裁剪图像块进行编码和解码，以生成第二自发荧光图像和第二对应图像，并将所述第二自发荧光图像和所述第二对应图像分类为多个真实图像类别之一或伪图像类别。所述一对图像中的每一个图像的所述选定区域的全局采样包括响应于所述选定区域的相似性指数与未选定区域的相似性指数之比确定所述选定区域在当前迭代中被训练的概率。
本文档来自技高网...【技术保护点】
1.一种用于无标记自发荧光组织化学即时虚拟染色的方法，包括：
2.根据权利要求1所述的方法，还包括对所述样品成像以获得所述第一自发荧光图像和所述第一对应图像。
3.根据权利要求2所述的方法，其中对所述样品成像包括以预定的光频率激发所述样品以产生所述第一自发荧光图像。
4.根据权利要求1所述的方法，还包括对所述样品进行染色以产生所述第一对应图像，所述第一对应图像包括组织化学染色图像。
5.根据权利要求4所述的方法，其中对所述样品进行染色包括根据选自包括苏木精和伊红染色、马松三色染色和网状纤维染色的组的目标染色对所述样品进行染色。
6.根据权利要求1所述的方法，还包括响应于所述多个真实图像类别和所述伪图像类别对另一个自发荧光图像进行无标记组织化学即时虚拟染色。
7.根据权利要求1所述的方法，还包括在对所述一对图像中的每一个图像的所述选定区域进行全局采样之后，扩大所述一对图像中的每一个图像的所述选定区域的尺寸。
8.根据权利要求7所述的方法，其中扩大所述一对图像中的每一个图像的所述选定区域的大小包括使所
9.根据权利要求1所述的方法，还包括在细分所述第一自发荧光图像和所述第一对应图像之前，通过基于所述第一自发荧光图像和所述第一对应图像上的对应点估计最优转换来粗略配准所述第一自发荧光图像和所述第一对应图像。
10.根据权利要求1所述的方法，其中所述一对图像中的每一个图像的所述选定区域的全局采样还包括响应于具有特定亮度的像素的数量来确定所述选定区域的相似性指数。
11.一种用于无标记组织化学虚拟染色的系统，包括：
12.根据权利要求11所述的系统，其中所述一个或多个光源包括至少一个发光二极管，所述至少一个发光二极管中的每一个被配置成输出预定频率的光，用于根据所述预定频率激发样品。
13.根据权利要求11所述的系统，其中所述处理装置还被配置成训练用于所述组织化学虚拟染色过程的弱监督虚拟训练方法。
14.根据权利要求13所述的系统，其中所述图像包括一对图像，所述一对图像包括自发荧光图像和对应的染色图像，并且其中所述处理装置被配置成通过对所述一对图像中的每一个图像的选定区域进行全局采样来训练所述弱监督虚拟训练方法，其中对所述一对图像中的每一个图像的所述选定区域进行全局采样包括响应于所述选定区域的相似性指数与未选定区域的相似性指数之比来确定所述选定区域在当前迭代中被训练的概率。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于无标记自发荧光组织化学即时虚拟染色的方法，包括：
2.根据权利要求1所述的方法，还包括对所述样品成像以获得所述第一自发荧光图像和所述第一对应图像。
3.根据权利要求2所述的方法，其中对所述样品成像包括以预定的光频率激发所述样品以产生所述第一自发荧光图像。
4.根据权利要求1所述的方法，还包括对所述样品进行染色以产生所述第一对应图像，所述第一对应图像包括组织化学染色图像。
5.根据权利要求4所述的方法，其中对所述样品进行染色包括根据选自包括苏木精和伊红染色、马松三色染色和网状纤维染色的组的目标染色对所述样品进行染色。
6.根据权利要求1所述的方法，还包括响应于所述多个真实图像类别和所述伪图像类别对另一个自发荧光图像进行无标记组织化学即时虚拟染色。
7.根据权利要求1所述的方法，还包括在对所述一对图像中的每一个图像的所述选定区域进行全局采样之后，扩大所述一对图像中的每一个图像的所述选定区域的尺寸。
8.根据权利要求7所述的方法，其中扩大所述一对图像中的每一个图像的所述选定区域的大小包括使所述一对图像中的每一个图像的所述选定区域与所述选定区域的相邻区域的部分重叠。
9.根据权利要求1所述的方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。