一种用于病理图像分割的双端层次化的特征融合方法技术

本发明专利技术公开了一种用于病理图像分割的双端层次化的特征融合方法，包括：S1、将整个全视野数字切片分成切片小块，并行放入全局编码器和局部编码器中；S2、在全局编码器中，块嵌入层将切片分割成不重叠的补丁，将特征维度映射到维度转换后的特征通过连续的Swin Transformer块和块合并层在各个阶段以生成分层的全局特征表示；S3、在局部编码器中，Stem层生成补丁特征，通过ConvNeXt块和下采样层在各个阶段以生成相应的分层局部特征表示；S4、在解码器中，借助全局

【技术实现步骤摘要】
一种用于病理图像分割的双端层次化的特征融合方法


[0001]本专利技术涉及病理图像分割、计算机应用
，更具体地说，特别涉及一种用于病理图像分割的双端层次化的特征融合方法。

技术介绍

[0002]癌症是全球主要死亡原因之一，其中肺癌、肝癌、胃癌、乳腺癌是癌症相关死亡的前四位癌症。2020年中国占全球新增确诊病例的24％，占全球癌症相关死亡人数的30％。世界卫生组织报告称，到2040年，全球癌症负担预计将增加2940万新病例。目前，大多数癌症患者的诊断结果显示在中晚期，这极大地减小了治愈癌症的概率。因此，癌症的早期筛查和及时诊断对于改善患者的预后和生活质量至关重要。
[0003]组织病理学图像是诊断癌症的黄金标准。苏木精和伊红(H&E)染色的全视野数字切片(WSI)的准确分割也已成为手术评估不可或缺的参考，为癌症的早期诊断显著增加了生存概率。不幸的是，传统的手动病理分析是通过显微镜依赖于眼睛进行辨别，这是一个艰难、耗时且低效率的过程，即使是专业的病理学家也可能因主观诊断而犯错误，导致癌症的误诊和预后的不确定性。因此，迫切需要一种能够显著减轻病理学家负担的全自动化和可靠的WSI癌症检测方法。
[0004]近年来，深度学习技术已广泛应用于组织病理学图像任务，并表现出强大的学习能力。然而，病理学图像分割模型的选择依然依赖于数据集的疾病类型、密集程度以及目标大小，不同的模型适应的场景可能不一样，这将限制模型的分割效果。出色的分割性能和泛化能力是目前大多数实验所追求的目标。受启发于最近的研究，卷积神经网络(CNNs)在学习判别特征和提取可概括的先验方面是有效的，由于卷积操作的特性，擅长获取局部信息，但是在网络深度增加而空间分辨率逐渐降低的过程中，对密集预测像素分割任务至关重要的局部信息也易于被丢弃，同时对于具有小医学图像数据集的深度网络往往不稳定且容易过拟合；Transformers擅长学习明确的全局和远程语义信息交互，具有较高的可解释性，但是它在医学图像捕获细粒度细节方面存在局限性。
[0005]为了充分利用CNNs和Transformers的优点，有必要开发一种用于病理图像分割的双端层次化的特征融合方法，以便于自动化检测癌症病变区域，以便后续的早期筛查和及时诊断。

技术实现思路

[0006]本专利技术的目的在于提供一种用于病理图像分割的双端层次化的特征融合方法，以克服现有技术所存在的缺陷。
[0007]为了达到上述目的，本专利技术采用的技术方案如下：
[0008]一种用于病理图像分割的双端层次化的特征融合方法，包括以下步骤：
[0009]S1、将整个长为H，宽为W的全视野数字切片X∈R
H
×
W
×3分成切片长为h，宽为w的小图像切片x∈R
h
×
w
×3，然后将其并行放入全局编码器和局部编码器中，R是空间维度；
[0010]S2、在所述全局编码器中，块嵌入层将小图像切片分割成不重叠的补丁，将特征维度映射到数量C，特征的尺寸为(w/4,h/4,C)，映射转换后的特征通过连续的Swin Transformer块和块合并层在各个阶段以生成分层的全局特征；
[0011]S3、在所述局部编码器中，Stem层生成尺寸为(w/4,h/4,C)的补丁特征，通过ConvNeXt块和下采样层在各个阶段以生成相应的局部特征；
[0012]S4、在解码器中，通过借助全局
‑
局部融合模块GLFusion，使得在上采样过程中通过跳跃连接获取全局粗粒度特征信息和局部细粒度特征信息，以便后续进行精确地分割；
[0013]S5、由线性映射层应用于上采样过程最后的一个GLFusion模块的输出，以获得图像的像素级分割，并合并所有切片块分割结果以恢复最终的分布图。
[0014]进一步地，所述步骤S2中全局编码器的块嵌入层、Swin Transformer块和块合并层通过以下方式实现：
[0015]S21、块嵌入层通过将输入小图像切片x∈R
h
×
w
×3转换为patch size为4
×
4的不重叠的补丁，每个补丁被视为一个令牌，通过将4
×4×
3的补丁特征维度映射到任意维度C，通过块嵌入层后的特征记为：其计算公式为：
[0016][0017]S22、通过块嵌入层后的特征将通过一系列的Swin Transformer块促进与附近窗口的信息通信，维持令牌的数量，所述Swin Transformer块是基于滑动窗口构造的，所述Swin Transformer块成对出现，第一个Swin Transformer块由LayerNorm层、基于窗口的多头自注意力模块W
‑
MSA、残差连接和多层感知器MLP组成，下一个Swin Transformer块将W
‑
MSA替换为基于移位窗口的多头自注意力模块SW
‑
MSA，Swin Transformer块计算过程公式为：
[0018][0019][0020][0021][0022]其中，表示阶段i中残差相加的输出，表示阶段i计算出的全局特征；
[0023]S23、通过公式(2)、(3)、(4)和(5)将阶段i中的Swin Transformer块的计算过程归纳为：
[0024][0025]S24、通过公式(1)、(6)，阶段1的全局特征计算过程表示为：
[0026][0027]S25、块合并层在网络加深过程中，连接每组2
×
2相邻补丁的特征和并用一个映射层，使得降采样2倍分辨率和双倍通道维度，得到阶段2、3、4的全局特征计算过程表示为：
[0028][0029]进一步地，所述步骤S3中局部编码器的Stem层、ConvNeXt块和下采样层通过以下步骤实现：
[0030]S31、Stem层为使用一个输出通道为C，核大小、步长均为4的卷积操作，并通过一个LN层，Stem层的计算结果可表示为
[0031][0032]S32、通过ConvNeXt块以促进局部特征融合，局部特征通过一个7
×
7的大内核的逐通道卷积，跟随一个LN层，再通过第一个逐点卷积，将隐藏维度调整成输入维度的四倍，以形成倒瓶颈残差设计，第二个逐点卷积将隐藏维度调整成输入维度，通过与输入特征进行残差连接形成一个块的输出，一个ConvNeXt块的计算过程表示为：
[0033][0034]式中，表示阶段i中计算的特征，表示中逆瓶颈处的特征，每个ConvNeXt块的结构是一样的，根据式(10)将阶段i中的3个连续的ConvNeXt块串联输出的过程归纳为：
[0035][0036]S33、通过式(9)、(11)，阶段1的局部特征计算过程表示为：
[0037][0038]S34、下采样层在每个阶段之间通过一个核大小和步长都为2的卷积操作实现降采样2倍分辨率和双倍通道维度，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于病理图像分割的双端层次化的特征融合方法，其特征在于，包括以下步骤：S1、将整个长为H，宽为W的全视野数字切片X∈R
H
×
W
×3分成切片长为h，宽为w的小图像切片x∈R
h
×
w
×3，然后将其并行放入全局编码器和局部编码器中，R是空间维度；S2、在所述全局编码器中，块嵌入层将小图像切片分割成不重叠的补丁，将特征维度映射到数量C，特征的尺寸为(w/4,h/4,C)，映射转换后的特征通过连续的Swin Transformer块和块合并层在各个阶段以生成分层的全局特征；S3、在所述局部编码器中，Stem层生成尺寸为(w/4,h/4,C)的补丁特征，通过ConvNeXt块和下采样层在各个阶段以生成相应的局部特征；S4、在解码器中，通过借助全局
‑
局部融合模块GLFusion，使得在上采样过程中通过跳跃连接获取全局粗粒度特征信息和局部细粒度特征信息，以便后续进行精确地分割；S5、由线性映射层应用于上采样过程最后的一个GLFusion模块的输出，以获得图像的像素级分割，并合并所有切片块分割结果以恢复最终的分布图。2.根据权利要求1所述的用于病理图像分割的双端层次化的特征融合方法，其特征在于，所述步骤S2中全局编码器的块嵌入层、Swin Transformer块和块合并层通过以下方式实现：S21、块嵌入层通过将输入小图像切片x∈R
h
×
w
×3转换为patch size为4
×
4的不重叠的补丁，每个补丁被视为一个令牌，通过将4
×4×
3的补丁特征维度映射到任意维度C，通过块嵌入层后的特征记为：其计算公式为：S22、通过块嵌入层后的特征将通过一系列的Swin Transformer块促进与附近窗口的信息通信，维持令牌的数量，所述Swin Transformer块是基于滑动窗口构造的，所述Swin Transformer块成对出现，第一个Swin Transformer块由LayerNorm层、基于窗口的多头自注意力模块W
‑
MSA、残差连接和多层感知器MLP组成，下一个Swin Transformer块将W
‑
MSA替换为基于移位窗口的多头自注意力模块SW
‑
MSA，Swin Transformer块计算过程公式为：Transformer块计算过程公式为：Transformer块计算过程公式为：Transformer块计算过程公式为：其中，表示阶段i中残差相加的输出，表示阶段i计算出的全局特征；S23、通过公式(2)、(3)、(4)和(5)将阶段i中的Swin Transformer块的计算过程归纳为：S24、通过公式(1)、(6)，阶段1的全局特征计算过程表示为：S25、块合...

【专利技术属性】
技术研发人员：彭绍亮，王练，潘良睿，王鹤恬，刘明婷，陈佐，
申请(专利权)人：湖南大学，
类型：发明
国别省市：