【技术实现步骤摘要】
技术介绍
1、本公开涉及一种从组织样本的输入图像中产生具有被(一个或多个)具体的特殊染色化学品(诸如免疫组织化学染色剂)染色的显现的组织样本的人造或虚拟图像的方法。输入图像可以是被第一染色剂(通常是苏木精和曙红(hematoxylin and eosin，h&e))染色的组织样本的图像。
2、组织学组织图像通常用h&e染色以突出组织形态，称为“常规染色”的一种过程。存在更特定的染色剂(在本领域中称为“特殊染色剂”(例如，免疫组织化学染色剂(immunohistochemical stains，ihc))用以突出特定的靶标(例如，非常特定的肿瘤标志物或细胞或组织结构)。宽松地说，这可以看作是非常特定的图像重新着色。特殊染色剂的示例包括用于检测乳腺癌样本中特定基因突变标志物的her2染色剂、用于前列腺样品的pin4(也称为“前列腺三重染色剂”(p504s、hmw角蛋白、p63))、用于肺癌组织的verhoeff染色剂和用于淋巴结组织的ck7和ae1/ae3混合液染色剂。
3、由于染色剂本身的成本(其中一些染色剂本身的成本比h&e染色剂的价格昂贵五倍)和劳动和设备的成本，因此相对昂贵来获得用特殊染色剂染色的组织样本的图像。另外，通常没有足够的组织可用于病理医生可能想获取的用于诊断的所有染色图像，通常每个染色图像都需要从一块组织中的分离的一片组织。获取其他特殊染色图像通常也需要花费大量额外时间。因此，在某些情况下，例如在肺癌中，希望获得用许多不同的ihc染色剂染色的样本的图像，但是，如果
4、该方法旨在具有应用和益处，包括以下一个或多个：(1)减少所需要的实际染色的数量，从而降低成本并消除获取额外特殊染色的图像的额外延迟，(2)为病理医生提供实际的特殊染色的图像或特殊染色的图像组的可能的显现预览，用于病理医生决定他们需要订购什么图像；以及(3)提供可视化和解释以补充其他预测(诸如针对组织样品的肿瘤检测、分类或预测)。
5、在本文档中，术语“特殊染色剂”定义为表示除了苏木精和曙红(h&e)以外的、用于帮助可视化和/或识别在生物样本中的结构和物质的染色剂。这些包括其中的免疫组织化学染色剂(诸如用于检测乳腺癌样本中特定基因突变标记的her2染色剂、用于前列腺样品的pin4和“前列腺三重染色剂”(p504s、hmw角蛋白、p63)、以及用于淋巴结组织的ck7染色剂)以及在病理学中使用的其他类型的染色剂(包括但不限于用于分枝杆菌的耐酸染色剂、用于淀粉样蛋白的刚果红、用于细菌的革兰氏染色剂(多种方法)、用于真菌的grocott的甲基苯二胺银(grocott’s methenamine silver，gms)、用于基底膜和中膜的jones甲基苯丙胺银、用于脱髓鞘的luxol固蓝pas、用于胶原蛋白和肌肉的masson三色、高碘酸schiff(periodic acid-schiff，pas)、用于纤维蛋白的磷钨酸苏木精(phosphotungstic acid-hematoxylin，ptah)、用于三价铁的普鲁士蓝、用于脂质和脂质染料的苏丹黑、用于弹性蛋白的verhoeff染色剂、以及用于细菌的warthin-starry染色剂)。
技术实现思路
1、一般而言，我们在下面描述了一种用于生成机器学习预测器模型的系统，该模型预测组织样品的特殊染色图像。该系统包括：a)数据存储，该数据存储包含给定组织类型的组织样品的大量对齐的图像对，其中每个图像对由h&e染色(通常“第一染色”)的组织样品的第一图像和用不同于第一染色的第二染色(通常是特殊染色剂)染色的组织样品的第二图像组成；b)计算机系统，该计算机系统被配置为机器学习预测器模型，从数据存储中的大量对齐的图像对中训练所述机器学习预测器模型以输入图像中生成被特殊染色剂染色的组织样品的预测图像，所述输入图像具有图像对中的第一图像的类型(即，h&e染色的)，并且具有给定组织类型。
2、请注意，用于模型的数据存储中的对齐的图像对尽可能紧密或精确地对齐；也就是说，它们具有低于阈值(诸如1或2个像素)的、在相应图像中的对齐的对应点之间的平均距离。例如，阈值可以使得用在实践中使用的对齐过程不可能进行更精确的对齐。
3、根据本公开的一方面，一种生成用特殊染色剂染色的组织样本的虚拟高分辨率图像的方法包括以下步骤：获取输入高分辨率图像；将输入高分辨率图像提供给从组织样本的多个对齐的高分辨率图像对训练的机器学习预测器模型，所述高分辨率图像对中的高分辨率图像之一包括用特殊染色剂染色的组织样本的高分辨率图像，所述模型被训练为预测用所述特殊染色剂染色的组织样本的高分辨率图像；使用所述预测器模型，生成用所述特殊染色剂染色的组织样本的预测高分辨率图像；以及输出所述预测高分辨率图像作为虚拟高分辨率图像。
4、另一方面，一种系统包括：非暂时性计算机可读介质；和一个或多个处理器，通信地耦合到所述非暂时性计算机可读介质，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令以：获取输入高分辨率图像；将输入高分辨率图像提供给从组织样本的多个对齐的高分辨率图像对训练的机器学习预测器模型，所述高分辨率图像对中的高分辨率图像之一包括用特殊染色剂染色的组织样本的高分辨率图像，所述模型被训练为预测用所述特殊染色剂染色的组织样本的高分辨率图像；使用所述预测器模型，生成用所述特殊染色剂染色的组织样本的预测高分辨率图像；以及输出所述预测高分辨率图像作为虚拟高分辨率图像。
5、另一方面，一种方法包括：获取组织样本的输入彩色图像；将所述输入彩色图像提供给从组织样本的多个对齐的彩色图像对训练的机器学习预测器模型，所述彩色图像对中的彩色图像之一包括用特殊染色剂染色的组织样本的彩色图像，所述模型被训练为预测用所述特殊染色剂染色的组织样本的彩色图像；使用所述预测器模型生成用所述特殊染色剂染色的组织样本的预测彩色图像；以及输出所述预测彩色图像作为虚拟彩色图像。
6、另一方面，一种系统包括：非暂时性计算机可读介质；和一个或多个处理器，通信地耦合到所述非暂时性计算机可读介质，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令以：获取组织样本的输入彩色图像；将所述输入彩色图像提供给从组织样本的多个对齐的彩色图像对训练的机器学习预测器模型，所述彩色图像对中的彩色图像之一包括用特殊染色剂染色的组织样本的彩色图像，所述模型被训练为预测用所述特殊染色剂染色的组织样本的彩色图像；使用所述预测器模型生成用所述特殊染色剂染色的组织样本的预测彩色图像；以及输出所述预测彩色图像作为虚拟彩色图像。本文档来自技高网...
【技术保护点】
1.一种生成用特殊染色剂染色的组织样本的虚拟高分辨率图像的方法，包括以下步骤:
2.根据权利要求1所述的方法，其中，所述输入高分辨率图像包括处于未染色条件下的组织样本的图像。
3.根据权利要求1所述的方法，其中，所述输入高分辨率图像包括用H&E染色的组织样本的图像。
4.根据权利要求1所述的方法，其中，所述特殊染色剂包括IHC染色剂。
5.根据权利要求1所述的方法，其中，所述组织样本是以下类型之一：乳腺组织、前列腺组织、淋巴结组织和肺组织。
6.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括生成式对抗网络。
7.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括自我监督学习神经网络。
8.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括卷积神经网络。
9.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
10.根据权利要求1所述的方法，其中，对齐的图像对具有边缘部分，所述边缘部分具有空像素值。>
11.一种系统，包括:
12.根据权利要求11所述的系统，其中，所述输入高分辨率图像包括处于未染色条件的组织样本的图像。
13.根据权利要求11所述的系统，其中，所述输入高分辨率图像包括用H&E染色的组织样本的图像。
14.根据权利要求11所述的系统，其中，所述特殊染色剂包括IHC染色剂。
15.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括生成式对抗网络。
16.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括自我监督学习神经网络。
17.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括卷积神经网络。
18.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
19.一种方法，包括:
20.根据权利要求19所述的方法，其中，所述输入彩色图像包括处于未染色条件下的组织样本的图像。
21.根据权利要求19所述的方法，其中，所述输入彩色图像包括用常规染色剂染色的组织样本的图像。
22.根据权利要求19所述的方法，其中，所述特殊染色剂包括IHC染色剂。
23.根据权利要求19所述的方法，其中，所述组织样本是以下类型之一:乳腺组织、前列腺组织、淋巴结组织和肺组织。
24.根据权利要求19所述的方法，其中，所述机器学习预测器模型包括生成式对抗网络。
25.根据权利要求19所述的方法，其中，所述机器学习预测器模型包括自我监督学习神经网络。
26.根据权利要求19所述的方法，其中，所述机器学习预测器模型包括卷积神经网络。
27.根据权利要求19所述的方法，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
28.根据权利要求19所述的方法，其中，输入彩色图像和虚拟彩色图像各自包括红绿蓝(RGB)彩色图像。
29.一种系统，包括:
30.根据权利要求29所述的系统，其中，所述输入彩色图像包括处于未染色条件下的组织样本的图像。
31.根据权利要求29所述的系统，其中，所述输入彩色图像包括用常规染色剂染色的组织样本的图像。
32.根据权利要求29所述的系统，其中，所述特殊染色剂包括IHC染色剂。
33.根据权利要求29所述的系统，其中，所述组织样本是以下类型之一:乳腺组织、前列腺组织、淋巴结组织和肺组织。
34.根据权利要求29所述的系统，其中，所述机器学习预测器模型包括生成式对抗网络。
35.根据权利要求29所述的系统，其中，所述机器学习预测器模型包括自我监督学习神经网络。
36.根据权利要求29所述的系统，其中，所述机器学习预测器模型包括卷积神经网络。
37.根据权利要求29所述的系统，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
38.根据权利要求29所述的系统，其中，输入彩色图像和虚拟彩色图像各自包括红绿蓝(RGB)彩色图像。
...【技术特征摘要】
1.一种生成用特殊染色剂染色的组织样本的虚拟高分辨率图像的方法，包括以下步骤:
2.根据权利要求1所述的方法，其中，所述输入高分辨率图像包括处于未染色条件下的组织样本的图像。
3.根据权利要求1所述的方法，其中，所述输入高分辨率图像包括用h&e染色的组织样本的图像。
4.根据权利要求1所述的方法，其中，所述特殊染色剂包括ihc染色剂。
5.根据权利要求1所述的方法，其中，所述组织样本是以下类型之一：乳腺组织、前列腺组织、淋巴结组织和肺组织。
6.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括生成式对抗网络。
7.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括自我监督学习神经网络。
8.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括卷积神经网络。
9.根据权利要求1所述的方法，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
10.根据权利要求1所述的方法，其中，对齐的图像对具有边缘部分，所述边缘部分具有空像素值。
11.一种系统，包括:
12.根据权利要求11所述的系统，其中，所述输入高分辨率图像包括处于未染色条件的组织样本的图像。
13.根据权利要求11所述的系统，其中，所述输入高分辨率图像包括用h&e染色的组织样本的图像。
14.根据权利要求11所述的系统，其中，所述特殊染色剂包括ihc染色剂。
15.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括生成式对抗网络。
16.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括自我监督学习神经网络。
17.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括卷积神经网络。
18.根据权利要求11所述的系统，其中，所述机器学习预测器模型包括用于密集分割的卷积神经网络。
19.一种方法，包括:
20.根据权利要求19所述的方法，其中，所述输入彩色图像包...
【专利技术属性】
技术研发人员：M·斯坦普，P·尼尔森，L·彭，
申请(专利权)人：威里利生命科学有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。