多任务组织病理图像病灶分割方法技术

多任务组织病理图像病灶分割方法，本发明专利技术涉及胃癌CAD技术中，判断胃癌组织图像中的真实肿瘤区域和病变类型的问题。准确的组织病灶分割和病变分类对于临床评估疾病的病变状态和制定合适的诊断方案具有重要意义。由于胃癌组织病变在形状、颜色和纹理上的个体差异和视觉相似性，导致胃肿瘤分割不易，难以进行准确分类。为解决这一问题，本发明专利技术提出了一种基于多任务学习的组织病理图像病灶分割方法。实验表明，该方法对于胃癌组织病理学图像实现了准确率为98.19％和F1分数为95.83％的分类，准确率为86.74％和mIoU分数为88.83％的分割。本发明专利技术能够进行准确的胃癌组织病理图像病灶分割和病变分类。和病变分类。和病变分类。

【技术实现步骤摘要】
多任务组织病理图像病灶分割方法


[0001]本专利技术设计多任务组织病理图像病灶分割方法

技术介绍

[0002]在世界范围内，胃癌是最常见的癌症之一，每年新增患者超过100万，占所有癌症诊断的5.7％，胃癌的发病率有着很大的地域差异，在东亚、东欧、中美洲和南美洲尤为高发。胃癌是一种由异常细胞群引起的癌症，异常细胞群在胃中无休止地增殖，最终形成肿瘤。病理图像诊断是确诊胃癌的金标准，病理图像诊断一般依赖解剖病理学家对病患的全扫描组织病理学图像进行观察后得出诊断。而在全世界范围内，具备丰富经验的解剖病理学家十分稀缺。这不仅导致大量胃癌患者得不到早期干预，病理学家的超负荷工作也容易导致误诊。引入计算机辅助诊断系统，医师通过全数字切片获得机器的辅助诊断结果，在提高诊断效率的同时有效降低漏诊。
[0003]胃癌计算机辅助诊断方法有两项重要任务：病灶分割和肿瘤分类。肿瘤分类任务旨在识别肿瘤组织学亚型，可以提供图像级的预测结果，即可以给出被预测图像中所包含的疾病类别，只需要图像级的标注数据进行训练。病灶分割任务旨在检测肿瘤位置和边界，会给出像素级的预测结果，即被预测图像中每一个像素都会给出一个预测分类结果，通过最终的预测掩码可以得出病灶的位置和详细边界信息。本文研究深度学习算法并结合胃癌组织病理图像的特点和实际临床诊断需求，基于胃癌的2D病理组织图像建立了一个同时分割和分类模型。不同类型的肿瘤细胞具有不同的组织学特征。因此，肿瘤分割和组织学亚型分类在医学诊断中具有很好的相关性。该模型由一个共享的特征提取通道组成，以获得多尺度特征图，从而进行自动分割和分类。

技术实现思路

[0004]本专利技术的目的是为了自动分割胃癌图像中的真实肿瘤区域，而提出的一种基于多任务学习的组织病理图像病灶分割方法。
[0005]上述专利技术目的主要是通过以下技术方案实现的：
[0006]步骤1，对输入图像进行尺寸调整及归一化预处理；
[0007]对原始输入图像x进行尺寸调整，生成样本集{x}，对每一个样本逐波段归一化，通过其中b
i
,mean
i
,std
i
分别代表原始组织图像的第i个单波段栅格数据、第i个单波段栅格均值以及第i个单波段栅格方差，代表归一化后第i个单波段栅格数据，对样本集所有影像对归一化，输出为归一化后样本集{x
′
}。
[0008]步骤2，编码路径分别采用Residual block和Tokenized MLP Block获得高级语义特征；
[0009]首先，将样本集{x
′
}放入卷积层得到特征图x1，公式如下：
[0010]x1＝Convblock(x
′
)
[0011]上式中，Convblock代表3
×
3卷积模块，由卷积
‑
批归一化
‑
最大池化
‑
激活模块组
成；
[0012]其次，将特征图x1放入Residual block，依次得到特征图x2，x3公式如下：
[0013]f＝W2σ(W1x
i
),i＝1或2
[0014]x2＝f(x1)+W
s
x1[0015]x3＝f(x2)+W
s
x2[0016]在上式中，函数f表示要学习的残差映射，W1，W2表示权重参数，σ表示激活模块，W
s
用来匹配维度；
[0017]最后，将x3在宽度上进行移位(Shift)，然后进行映射编码标记化(token)，再将特征传递给多层感知机(MLP)，接下来，特征通过深度可分离卷积(DWConv)传递，再通过GELU激活层，获得特征图y。将y在高度上依次进行移位
‑
标记化
‑
多层感知机
‑
规范化(LN)
‑
GELU激活模块，得到特征图x4,将特征图x4重复两次上述过程，得到特征图x5，x6，公式如下：
[0018]x
s
h
ift
＝shift
w
(x
i
),i＝3,4,5
[0019]t
w
＝Tokenize(x
shift
)
[0020]y＝f(DWConv((MLP(t
w
))))
[0021]y
shift
＝shift(y)
[0022]t
h
＝Tokenize(y
shift
)
[0023]x
i+1
＝f(LN(T+MLP(GELU(t
h
))))
[0024]在上式中，T代表token，h代表高度，w代表宽度，f代表GELU激活层。
[0025]步骤3，解码路径利用四次上采样操作将特征映射恢复到原始输入大小，并拼接从步骤2提取的特征以预测目标的分割掩码；
[0026]将多阶段特征图{x1，x2，x3，x4，x5，x6}输入至解码器，解码器包含k个上采样模块，公式如下：
[0027]f
upk
＝up_Convblock(C(F
interpolate
(f
upk
‑1),x6‑
k
)),f
up0
＝x6，k＝1,2,3,4
[0028]在上式中，f
upk
代表第k个上采样模块输出特征图，up_Convblock代表3
×
3卷积模块，由卷积
‑
批归一化
‑
激活模块组成，C(
·
)代表在通道维度对输入特征进行叠加，F
interpolate
(
·
)代表对输入特征图进行原图尺寸两倍大小的空间维度的双线性上采样，当k＝1时，将双线性上采样后与x5在通道维度对输入特征进行叠加，后经过3
×
3卷积模块后得到f
up1
，当k＝2,3,4，依此类推，最终得到特征图f
uo2
，f
up3
，f
up4
；
[0029]步骤4，在编码
‑
解码交接处，采用分类器，预测输入病理学类型；
[0030]步骤5，将步骤3和步骤4中输出的结果输入多任务联合优化损失函数中，输出loss值，反向传播loss值更新网络模型参数；
[0031]将病灶区域预测结果p
seg
，组织亚型分类预测结果p
cla
，输入到多任务联合损失函数L
num
中，公式如下：
[0032][0033][0034]在上式中，分别代表真实的病灶区域标签，组织亚型类别标签，L
seg
是二进制交叉熵损失函数与Dic本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多任务组织病理图像病灶分割方法，其特征在于，包括以下步骤：步骤1，对输入图像进行尺寸调整及归一化预处理；步骤2，编码路径分别采用Residual block和Tokenized MLP Block获得高级语义特征；步骤3，解码路径利用四次上采样操作将特征映射恢复到原始输入大小，并拼接从步骤2提取的特征以预测目标的分割掩码；步骤4，在编码
‑
解码交接处，采用分类器，预测输入病理学类型；步骤5，将步骤3和步骤4中输出的结果输入多任务联合优化损失函数中，输出loss值，反向传播loss值更新网络模型参数；步骤6，将胃癌组织病理图像输入到网络模型，输出病变区域分割和组织亚型分类。2.如权利要求1所述的一种基于多任务学习的组织图像病灶分割方法，其特征在于：所述步骤1的实现方式如下，对原始输入图像x进行尺寸调整，生成样本集{x}，对每一个样本逐波段归一化，通其中b
i
,mean
i
，std
i
分别代表原始组织图像的第i个单波段栅格数据、第i个单波段栅格均值以及第i个单波段栅格方差，代表归一化后第i个单波段栅格数据，对样本集所有影像对归一化，输出为归一化后样本集{x
′
}。3.根据权利要求1所述的方法，其特征在于，所述步骤2的实现方式如下，步骤3.1，将样本集{x
′
}放入卷积层得到特征图x1，公式如下：x1＝Convblock(x
′
)上式中，Convblock代表3
×
3卷积模块，由卷积
‑
批归一化
‑
最大池化操作
‑
激活模块组成；步骤3.2，将特征图x1放入Residual block，依次得到特征图x2，x3公式如下：f＝W2σ(W1x
i
),i＝1或2x2＝f(x1)+W
s
x1x3＝f(x2)+W
s
x2在上式中，函数f表示要学习的残差映射，W1，W2表示权重参数，σ表示激活模块，W
s
用来匹配维度；步骤3.3，首先将x3在宽度上进行移位(Shift)，然后进行映射编码标记化(token)，再将特征传递给多层感知机(MLP)，接下来，特征通过深度可分离卷积(DWConv)传递，再通过GELU激活层，获得特征图y。将y在高度上进行移位
‑
标记化
‑
多层感知机
‑
规范化(LN)
‑
GELU激活模块，得到特征图x4，将特征图x4重复两次上述过程，依次得到特征图x5，x6，公式如下：x
shift
＝shift
w
(x
i
),i＝3,4,5t
w
＝Tokenize(x
shift
)y＝f(DWConv((MLP(t
w
))))y
shift
＝shift
h
(y)t
h
＝Tokenize(y
shift
)x
i+1
＝f(LN(T+MLP(GELU(t
h
))))在上式...

【专利技术属性】
技术研发人员：谢怡宁，朱银平，赵晶，张宇明，陈晓凯，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：