基于深度学习的多重荧光免疫组化图像的分析系统及分析方法技术方案

本发明专利技术涉及基于深度学习的多重荧光免疫组化图像的分析系统及分析方法

【技术实现步骤摘要】
基于深度学习的多重荧光免疫组化图像的分析系统及分析方法


[0001]本申请涉及利用机器学习识别荧光图像的生物医学领域，更具体地涉及基于深度学习的多重荧光免疫组化图像的分析系统以及分析方法
。

技术介绍

[0002]多重荧光免疫组化染色技术利用多个抗体对一张组织切片中的不同标志物进行荧光染色，实现在同一张切片上能同时分析多个标志物的表达情况
。
将染色后的组织切片进行扫描，进而利用荧光图像分析软件可以对图像中的细胞进行荧光定性和定量分析
。
该技术广泛应用于肿瘤免疫微环境分析，或者其它需要同时分析多种细胞相互作用的情景中
。
[0003]多重荧光免疫组化染色的图像由多层荧光通道的扫描图像叠加组成，每一个荧光通道对应一种标志物的染色
。
目前，对多重荧光免疫组化的图像进行定性和定量分析需要病理医生借助软件才能完成
。
常规的操作步骤是先在细胞核荧光通道中利用分水岭算法或者深度学习等人工智能算法对细胞核进行分割，识别出细胞核
。
基于细胞核的识别，通过人工设定每个荧光通道的荧光阈值，然后对每种抗体的荧光进行定性和定量分析，从而可以进一步分析各种细胞的数量
、
空间分布和相互作用等
。
然而，该过程操作复杂
、
人为设置的荧光阈值主观性比较大，且无法去除背景或者非特异性染色的细胞，使结果的准确性降低
。
[0004]现有技术的另一种分析方法是通过单一的荧光阈值指标来判断一个细胞的阴阳性
。
然而这种方法的准确性低，忽略了形态等特征在识别细胞上的重要作用
。
而且这种方法无法实现自动化，效率低
。
[0005]另外，有报道利用深度学习对细胞荧光图像进行分类的方法
(
中国申请公布号
CN106650796A)
，此方法直接将荧光阳性细胞和荧光阴性细胞作为输入图像进行训练和识别
。
但是，此方法适合解决单色荧光图像，而无法很好的解决与多重荧光免疫组化图像相关的一些特定问题，如判断多个标志物在一个细胞中共表达的问题，以及标志物增加导致的计算量增加的问题
。
[0006]因此，对以下方法和系统存在需要，其能够过滤荧光阴性细胞，减少了深度学习模型预测的时间，通过深度学习预测来提高结果的准确性，并实现自动化判读
。

技术实现思路

[0007]本专利技术基于在识别出来的细胞核的基础上，先通过计算细胞在各荧光通道上荧光表达的强度，过滤低于默认荧光阈值的阴性细胞，再利用深度学习模型对每个通道中高于默认荧光阈值的细胞进行判定，从而减少了深度学习模型预测的时间，提高了结果的准确性，并实现自动化判读
。
本专利技术利用深度学习通过学习颜色
、
形态
(
例如标志物表达的部位
(
细胞膜
、
细胞质和
/
或细胞核
))
等特征，识别出真正阳性表达的细胞，可排除非特异性染色导致的假阳性细胞
。
[0008]在第一方面，本专利技术涉及一种基于深度学习的多重荧光免疫组化图像的分析系统，其特征在于所述分析系统包括：细胞分割模块，其经配置用于对细胞核进行分割，从而将一个细胞分成不同的组成部位，即细胞膜
、
细胞质和细胞核；默认荧光阈值设定模块，其经配置用于根据每个荧光通道中针对每个标志物的抗体荧光在细胞中表达的部位，设定各部位荧光表达的默认荧光阈值；和荧光细胞预测模块，其经配置用于对待预测的多重荧光免疫组化图像进行预测
。
[0009]在一些实施方案中，所述分析系统还包括图像分类模型训练模块，其经配置用于基于深度学习获得不同标志物的抗体荧光的预测模型
。
在一些实施方案中，所述细胞表达的部位包括细胞膜
、
细胞核和细胞质
。
在一些实施方案中，设定各部位荧光表达的默认荧光阈值如下进行：获取每个标志物一定数量的阳性样本，作为设定默认荧光阈值的训练样本；以及判断每个样本的阳性阈值，以最低的阈值作为基于深度学习的预测模型中的默认荧光阈值
。
[0010]在一些实施方案中，细胞分割模块经配置用于在细胞核荧光通道中利用人工智能算法例如分水岭算法或者深度学习算法对细胞核进行分割，识别出细胞核轮廓
Mask
图，然后将
Mask
图转换成
Polygon
坐标，根据细胞核轮廓向外形成一定大小的细胞膜，从而将一个细胞分成不同的组成部位，即细胞膜
、
细胞质和细胞核
。
[0011]在一些实施方案中，细胞分割模块经配置用于根据细胞膜
Polygon
的边缘轮廓坐标
x_Min、y_Min、x_Max
和
y_Max
生成矩形框，并且矩形框中的细胞作为训练模块的数据集或者预测模型的输入
。
[0012]在一些实施方案中，图像分类模型训练模块经配置用于：
(i)
根据训练图像中多重荧光免疫组化图像中每个细胞的边缘轮廓坐标，提取细胞图像小块，作为深度学习模型的输入图像；
(ii)
将细胞图像小块标注为阳性细胞图像小块和阴性细胞图像小块；和
(iii)
将标注的细胞图像小块按一定的比例
(
例如训练集：验证集＝
7:3
或者
8:2)
分成训练集和验证集，从而分别得到不同的标志物的预测模型
。
[0013]在一些实施方案中，荧光细胞预测模块经配置用于对待预测的多重荧光免疫组化图像，根据多重荧光免疫组化图像中每个细胞的中心点坐标及细胞的边缘轮廓坐标，提取高于默认荧光阈值的细胞图像小块，输入到预测模型中进行预测
。
[0014]在一些实施方案中，所述图像分类模型训练模块和
/
或荧光细胞预测模块经配置用于在提取细胞图像小块后且在输入深度学习模型或预测模型前，对细胞图像小块进行下列处理：
(iv)
获取每个标志物的抗体荧光的荧光通道和
DAPI
通道的灰度图；
(v)
将
DAPI
的灰度图和每个标志物的抗体荧光的灰度图转换成
RGB
中的两个颜色通道，从而使细胞核和每个标志物的抗体荧光都分别合成为一张
RGB
图；和
(vi)
将每个标志物的阴性细胞和阳性细胞
RGB
图像输入到深度学习模型中进行训练，或将每个标志物的
RGB
图像输入到预测模型中进行预测
。
[0015]在一些实施方案中，所述图像分类模型训练模块和
/
或荧光细胞预测模块经配置用于在将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的多重荧光免疫组化图像的分析系统，其特征在于所述分析系统包括：细胞分割模块，其经配置用于对细胞核进行分割，从而将一个细胞分成不同的组成部位，即细胞膜
、
细胞质和细胞核；默认荧光阈值设定模块，其经配置用于根据每个荧光通道中针对每个标志物的抗体荧光在细胞中表达的部位，设定各部位荧光表达的默认荧光阈值；和荧光细胞预测模块，其经配置用于对待预测的多重荧光免疫组化图像进行预测
。2.
如权利要求1所述的分析系统，其特征在于所述分析系统还包括图像分类模型训练模块，其经配置用于基于深度学习获得不同标志物的抗体荧光的预测模型；和
/
或所述细胞表达的部位包括细胞膜
、
细胞核和细胞质
。3. 如权利要求1或2所述的分析系统，其特征在于设定各部位荧光表达的默认荧光阈值如下进行：获取每个标志物一定数量的阳性样本，作为设定默认荧光阈值的训练样本；以及判断每个样本的阳性阈值，以最低的阈值作为基于深度学习的预测模型中的默认荧光阈值
。4.
如权利要求1或2所述的分析系统，其特征在于细胞分割模块经配置用于在细胞核荧光通道中利用人工智能算法例如分水岭算法或者深度学习算法对细胞核进行分割，识别出细胞核轮廓
Mask
图，然后将
Mask
图转换成
Polygon
坐标，根据细胞核轮廓向外形成一定大小的细胞膜，从而将一个细胞分成不同的组成部位，即细胞膜
、
细胞质和细胞核
。5.
如权利要求4所述的分析系统，其特征在于细胞分割模块经配置用于根据细胞膜
Polygon
的边缘轮廓坐标
x_Min、y_Min、x_Max
和
y_Max
生成矩形框，并且矩形框中的细胞作为训练模块的数据集或者预测模型的输入
。6.
如权利要求2或5所述的分析系统，其特征在于图像分类模型训练模块经配置用于：
(i)
根据训练图像中多重荧光免疫组化图像中每个细胞的边缘轮廓坐标，提取细胞...

【专利技术属性】
技术研发人员：陈培林，陈诗婷，邢艺释，周慧容，于士程，
申请(专利权)人：上海思路迪生物医学科技有限公司，
类型：发明
国别省市：