生成未染色样本的虚拟染色图像制造技术

提供了用于生成未染色样本的虚拟染色图像的系统和方法。根据本发明专利技术的一个方面，一种方法包括访问包括多个图像对的图像训练数据集。每一个图像对包括未染色的第一组织样本的第一图像，以及当第一组织样本被染色时获取的第二图像。该方法还包括访问人工神经网络的参数集，其中，该参数集包括与人工神经网络内的人工神经元相关联的权重；通过使用图像训练数据集和参数集来训练人工神经网络以调整权重；访问未染色的第二组织样本的第三图像；使用训练后的人工神经网络从第三图像生成第二组织样本的虚拟染色图像；以及输出虚拟染色图像。

【技术实现步骤摘要】
【国外来华专利技术】生成未染色样本的虚拟染色图像相关申请的交叉引用根据35U.S.C.§119，本申请要求于2017年12月15日提交的美国临时专利申请第62/599,271号的优先权，出于所有目的，该申请的内容通过引用整体并入本文。
技术介绍
组织学中可以使用各种染色剂以在显微镜下研究细胞和组织。因为生物组织在显微镜下几乎没有对比度，所以通常使用染色剂来提供对比度并突出感兴趣的特定特征。染色剂允许病理学家对亚细胞成分进行成像，并且区分不同的细胞类型和组织元素。例如，至少一个世纪以来，苏木素和伊红(hematoxylinandeosin，H&E)一直是用于诊断各种疾病的黄金标准。苏木素是结合到嗜碱性物质的深蓝色或紫色染色剂，而伊红是结合到嗜酸性物质的红色或粉红色染色剂。H&E将细胞核染成紫色并且将细胞质染成粉红色。为了制备用于分析的生物样本，样本一般被固定、脱水、包埋在石蜡中、切片、染色并安装在显微镜载玻片上。然而，这种样本制备可能花费一天才能完成。石蜡包埋样本的染色一般需要30分钟，并且冷冻样本的染色一般需要15分钟。这阻碍了手术室的实时评估和即时反馈本文档来自技高网...

【技术保护点】
1.一种计算机实施的方法，包括：/n访问包括多个图像对的图像训练数据集，其中：/n所述多个图像对中的每一个图像对包括当第一组织样本未染色时获取的所述第一组织样本的第一图像，以及当所述第一组织样本被染色时获取的所述第一组织样本的第二图像；/n所述第一图像包括所述第一组织样本的第一多个光谱图像，并且所述第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；以及/n所述第二图像包括多种颜色，对于所述第二图像内的多个位置中的每一个位置，所述多种颜色指示在所述位置处至少一种染色剂结合到所述第一组织样本的程度；/n访问人工神经网络的参数集，其中，所述参数集包括与所述人工神经网络内的人工神经元相关联的...

【技术特征摘要】
【国外来华专利技术】20171215 US 62/599,2711.一种计算机实施的方法，包括：
访问包括多个图像对的图像训练数据集，其中：
所述多个图像对中的每一个图像对包括当第一组织样本未染色时获取的所述第一组织样本的第一图像，以及当所述第一组织样本被染色时获取的所述第一组织样本的第二图像；
所述第一图像包括所述第一组织样本的第一多个光谱图像，并且所述第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；以及
所述第二图像包括多种颜色，对于所述第二图像内的多个位置中的每一个位置，所述多种颜色指示在所述位置处至少一种染色剂结合到所述第一组织样本的程度；
访问人工神经网络的参数集，其中，所述参数集包括与所述人工神经网络内的人工神经元相关联的权重；
通过使用所述图像训练数据集和所述参数集来训练所述人工神经网络以调整所述权重；
访问未染色的第二组织样本的第三图像，其中，所述第三图像包括所述第二组织样本的第三多个光谱图像，并且所述第三多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；
使用训练后的人工神经网络以从所述第三图像生成所述第二组织样本的虚拟染色图像；以及
输出所述虚拟染色图像。


2.根据权利要求1所述的计算机实施的方法，还包括，对于所述多个图像对中的每一个图像对，将所述第一图像与所述第二图像空间配准，使得所述第一图像中的每一个像素与所述第二图像中位于相同空间坐标处的相应像素相关。


3.根据权利要求2所述的计算机实施的方法，其中，将所述第一图像与所述第二图像空间配准包括通过最大化互信息来使用仿射变换。


4.根据权利要求1-3中任一项所述的计算机实施的方法，其中，训练所述人工神经网络包括使用所述第一图像作为特征和使用所述第二图像作为标记。


5.根据权利要求1-4中任一项所述的计算机实施的方法，其中，所述人工神经网络的输出层包括三个人工神经元，所述三个人工神经元分别预测所述虚拟染色图像的红色通道、蓝色通道和绿色通道。


6.根据权利要求1-5中任一项所述的计算机实施的方法，其中，所述人工神经网络是卷积神经网络，并且训练所述人工神经网络包括识别所述第一图像和所述第二图像内的点、边缘、连接元素或属性之间的相关性中的至少一个。


7.根据权利要求1-6中任一项所述的计算机实施的方法，其中，所述第二组织样本包括与所述第一组织样本的组织类型相同的组织类型。


8.一种系统，包括：
一个或多个数据处理器；以及
包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上运行时，使所述一个或多个数据处理器执行动作，所述动作包括：
访问包括多个图像对的图像训练数据集，其中：
所述多个图像对中的每一个图像对包括当第一组织样本未染色时获取的所述第一组织样本的第一图像，以及当所述第一组织样本被染色时获取的所述第一组织样本的第二图像；
所述第一图像包括所述第一组织样本的第一多个光谱图像，并且所述第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；以及
所述第二图像包括多种颜色，对于所述第二图像内的多个位置中的每一个位置，所述多种颜色指示在所述位置处至少一种染色剂结合到所述第一组织样本的程度；
访问人工神经网络的参数集，其中，所述参数集包括与所述人工神经网络内的人工神经元相关联的权重；
通过使用所述图像训练数据集和所述参数集来训练所述人工神经网络以调整所述权重；
访问未染色的第二组织样本的第三图像，其中，所述第三图像包括所述第二组织样本的第三多个光谱图像，并且所述第三多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；
使用训练后...

【专利技术属性】
技术研发人员：CH吴，HW张，J希格比，A霍梅克，C圣托里，
申请(专利权)人：威里利生命科学有限责任公司，
类型：发明
国别省市：美国;US