A microscope used by a pathologist to view a section type containing a biological sample, such as tissue or blood, which is essentially provided in real time with projections of an addition to the field of vision, such as a thermogram, boundary, or annotation, when the section is moved to a new location or changes in magnification or focus occur. The addition helps pathologists characterize or classify samples, such as those that are positive for the presence of cancer cells or pathogens.
【技术实现步骤摘要】
【国外来华专利技术】用于病理学的增强现实显微镜
本公开涉及病理学领域，并且更具体地涉及一种用于帮助病理学家对生物样品(诸如血液或组织)进行分类的改进的显微镜系统和方法，这些生物样品例如包含癌细胞或包含病理试剂(诸如原生动物疟原虫或结核细菌)。
技术介绍
为了对生物样品(诸如组织)进行表征或分类，将样品放置在显微镜切片上，并且病理学家利用显微镜对该样品进行放大观察。样品可以利用诸如苏木精和伊红(hematoxylinandeosin，H&E)的试剂染色，以使样品中潜在感兴趣的特征更容易被看到。可选地，可以利用高分辨率数字扫描仪对样品进行染色和扫描，并且病理学家在工作站或计算机的屏幕上观察样品的放大图像。例如，淋巴结转移的评估是许多类型的实体瘤(包括乳腺癌)的分期的核心。该过程需要高度熟练的病理学家，非常耗时且容易出错，尤其是对于癌症呈阴性或具有小的癌症病灶的结。目前的护理标准包括检查已经利用苏木精和伊红染色的结活检的数字切片。然而，手动阅读有几个固有的局限性，包括读者疲劳，以及分级者内和分级者间的可靠性，这些都会负面影响过程的敏感性。淋巴结活检切片的准确查看和评估非常重要，因为淋巴结组织中肿瘤细胞的存在可能需要对癌症进行新的或更积极的治疗，并提高患者的生存机会。现有技术包括对深度学习技术和经训练的神经网络适应于数字组织图像的背景以便改进癌症诊断、表征和/或分期的描述。相关
技术介绍
包括以下文章：G.Litjens等人的《深度学习作为用于提高组织病理学诊断准确性和效率的工具》(Deeplearningasato...
【技术保护点】
1.一种用于帮助用户利用具有目镜的显微镜查看包含生物样品的切片的方法，包括以下步骤：/n(a)利用相机捕获通过所述显微镜的目镜看到的样品的视图的数字图像，/n(b)使用机器学习模式识别器从由所述相机捕获的图像中标识所述样品中的感兴趣区域，以及/n(c)将增加物作为覆盖叠置到通过所述显微镜的目镜看到的样品的视图上，其中，所述增加物基于所述样品中的所标识的感兴趣区域，/n(d)其中，当所述样品相对于显微镜光学器件被移动时，或者当所述显微镜的放大率或聚焦改变时，所述样品的新视图的新数字图像被所述相机捕获并被供应给所述机器学习模式识别器，并且新的增加物被基本实时地叠置在通过目镜看到的样品的新视图上，由此所述增加物帮助用户对所述生物样品进行分类或表征。/n
【技术特征摘要】
【国外来华专利技术】1.一种用于帮助用户利用具有目镜的显微镜查看包含生物样品的切片的方法，包括以下步骤：
(a)利用相机捕获通过所述显微镜的目镜看到的样品的视图的数字图像，
(b)使用机器学习模式识别器从由所述相机捕获的图像中标识所述样品中的感兴趣区域，以及
(c)将增加物作为覆盖叠置到通过所述显微镜的目镜看到的样品的视图上，其中，所述增加物基于所述样品中的所标识的感兴趣区域，
(d)其中，当所述样品相对于显微镜光学器件被移动时，或者当所述显微镜的放大率或聚焦改变时，所述样品的新视图的新数字图像被所述相机捕获并被供应给所述机器学习模式识别器，并且新的增加物被基本实时地叠置在通过目镜看到的样品的新视图上，由此所述增加物帮助用户对所述生物样品进行分类或表征。
2.根据权利要求1所述的方法，其中，步骤(b)还包括使用推理加速器来促进所述增加物的基本实时的生成的步骤。
3.根据权利要求1所述的方法，还包括在耦合到所述显微镜的计算单元中提供接口以接收用于不同类型的生物样品的新的机器学习模式识别器并将其本地存储在所述计算单元中的步骤。
4.根据权利要求1至3中任一项所述的方法，其中，所述生物样品是从由组织、淋巴结、血液、痰、尿液、粪便、水、土壤和食物组成的样品组中选择的类型。
5.根据权利要求1至3中任一项所述的方法，其中，所述感兴趣区域包括癌细胞或组织、细胞结构、细胞类型或病原体，其中，所述病原体可选地是从由疟原虫、结核杆菌、疟疾原生动物、病毒、寄生虫卵组成的组中选择的病原体。
6.根据权利要求1至3中任一项所述的方法，其中，所述增加物从由热图、感兴趣区域边界、注释、格里森评分、分类可能性预测、细胞计数和物理测量值组成的增加物组中选择，其中，所述物理测量值可选地是肿瘤直径。
7.根据权利要求1至6中任一项所述的方法，还包括在与所述显微镜相关联的工作站的监视器上显示来自一个或多个其他样品的一个或多个图像区域的步骤，所述一个或多个其他样品与所述显微镜的当前视图中的样品相似。
8.根据权利要求7所述的方法，还包括显示与所显示的一个或多个其他样品相关联的元数据的步骤。
9.根据权利要求1至8中任一项所述的方法，还包括将通过所述显微镜的目镜看到的样品的视图的图像数据和增加物输出到外部显示器的步骤。
10.根据权利要求1至9中任一项所述的方法，其中，所述显微镜还包括用于支撑和相对于所述目镜移动切片的机动载物台，并且其中，所述方法还包括使用显微镜机动载物台和数字相机以及机器学习模式识别器来执行所述生物样品中的潜在感兴趣区域的初步检测的步骤。
11.根据权利要求10所述的方法，还包括控制所述机动载物台来移动所述载物台以放置所述潜在感兴趣区域以便由用户观看以及在所述潜在感兴趣区域中的每一个区域处生成增加物的步骤。
12.根据权利要求1至11中任一项所述的方法，还包括将具有所叠置的增加物的显微镜样品的视图与从包含所述生物样品的切片的全切片扫描获得的样品的孤立的数字图像集成以生成所述样品的集成视图的步骤。
13.根据权利要求12所述的方法，还包括在所述样品的集成视图上突出显示所述样品视图的步骤。
14.根据权利要求12所述的方法，其中，所述显微镜还包括用于支撑和相对于所述目镜移动切片的机动载物台，并且其中，所述方法还包括在所述孤立的数字图像上指定区域并且移动所述机动载物台使得所指定的区域位于所述显微镜的视野中的步骤。
15.根据权利要求14所述的方法，还包括将与所指定的区域相关联的信息投射在所述孤立的数字图像上作为对所述样品的视图的增加物，其中，所述投射的信息可选地包括标签和/或注释。
16.根据权利要求1至15中任一项所述的方法，还包括通过网络从远程数据源下载机器学习模式识别器的附加集合的步骤。
17.根据权利要求1至15中任一项所述的方法，还包括：
接收指示所述显微镜的放大率的数据；以及
基于所接收的数据选择多个机器学习模式识别器中的机器学习模式识别器；
其中，所选择的机器学习模式识别器被用于从由所述相机捕获的图像中标识所述样品中的感兴趣区域。
18.一种帮助用户查看包含生物样品的切片的系统，包括：
显微镜，所述显微镜具有用于容纳包含生物样品的切片的载物台、至少一个物镜和目镜，
数字相机，所述数字相机被配置为捕获通过所述显微镜的目镜看到的样品的视图的数字图像，
计算单元，所述计算单元包括机器学习模式识别器，所述机器学习模式识别器被配置为从所述数字相机接收数字图像，其中，所述模式识别器被训练为标识当前放置在所述载物台上的类型的生物样品中的感兴趣区域，并且其中，所述模式识别器识别由所述相机捕获的数字图像上的感兴趣区域，并且其中，所述计算单元生成表示对通过所述显微镜的目镜看到的样品视图的增加物的数据，其中，所述增加物基于所述样品中的感兴趣区域；以及
耦合到所述目镜的一个或多个光学组件，所述一个或多个光学组件用于将所述增加物叠置在视野上；
其中，所述相机、计算单元和一个或多个光学组件被配置成使得当所述样品相对于显微镜光学器件被移动时，或者当显微镜的放大率或聚焦改变时，所述样品的新视图的新数字图像被所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。