一种基于深度学习的肺癌病理图像中主肿瘤分割方法技术

本发明专利技术涉及一种基于深度学习的肺癌病理图像中主肿瘤分割方法，包括：获取经HE染色的肺癌WSI病理图像切片，由病理专家手动注释，并进行数据集划分；构建主肿瘤分割模型，以获得肺癌病理切片中的主肿瘤区域；优化主肿瘤分割模型，基于区域分割模型添加TCA模块，加强模型学习主肿瘤边界内外的特征的能力，同时通过ABL和LOU损失，细化区域分割边界信息，训练模型直至收敛；评估与测试以及结果可视化。在经HE染色的肺癌WSI切片中，该方法基于图像分割模型，利用TCA模块、ABL和LOU损失，加强模型学习主肿瘤边界内外的特征的能力，使模型关注边界相关的信息，有效提高了图像分割模型在边界处的分割效果。处的分割效果。处的分割效果。

【技术实现步骤摘要】
一种基于深度学习的肺癌病理图像中主肿瘤分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于深度学习的肺癌病理图像中主肿瘤分割方法。

技术介绍

[0002][0003]肺癌分为小细胞肺癌和非小细胞肺癌，非小细胞肺癌是最常见的病理组织学类型，约占肺癌的85％，该癌患者一经确诊，75％的患者就已经处于晚期，死亡率极高。因此肺癌的早期诊断意义重大。
[0004]目前对于肿瘤的诊断需要经过五个步骤，分别为临床诊断、影像诊断、手术诊断、细胞病理学诊断、组织病理学诊断。这五个步骤可靠性依次递增，组织病理学诊断为最高级别、最可靠的诊断依据，是确诊癌症的金标准。
[0005]在2015年，气腔播散(spread through air spaces，STAS)被WHO认可是肺癌的一种新的侵袭模式，STAS被定义为“微乳头簇、实体巢和/或单个癌细胞扩散到主要肿瘤边缘以外的肺实质的气腔中”。愈来愈多的研究表明STAS的存在预示着高复发率和低总生存期。目前，STAS的诊断依靠病理医生的人工判读。在显微镜下结合不同的放大倍数，确定主肿瘤范围，然后在主肿瘤范围之外的全视野病理切片当中寻找以微乳头簇、实体巢或单细胞形式存在的肿瘤细胞团或细胞。因此在肺癌病理图像中确定主肿瘤的位置是气腔播散或者其它浸润型癌症诊断的第一步。该方法极大的依赖于病理医生的级别、病理诊断经验等，具有较大的主观性，容易造成误诊。
[0006]近年来，随着人工智能的飞速发展，结合深度学习方法的计算机辅助诊断已经大量应用到了病理诊断工作中，数字病理在肿瘤的诊断和预后中发挥着越来越重要的作用。因此利用计算机技术辅助病理医生完成病理诊断成为了目前的趋势。全幻灯片图像(Whole Slide Images，WSI)是染料样本的数字拷贝。WSI分析为病理学家提供了对数据内容的全面洞察，并使准确诊断肿瘤和癌症亚型成为可能。基于此，如果将人工智能与肺癌WSI结合，开发一个基于深度学习的肺癌WSI主肿瘤分割模型，能够极大地提高病理医生的工作效率，减少漏诊及误诊率，减轻工作量。

技术实现思路

[0007]针对目前肺癌WSI中医生对主肿瘤区域诊断费时费力，且容易错判的技术问题，本专利技术的目的在于，提供一种基于深度学习的肺癌肺癌病理图像中主肿瘤分割方法，从而提高病理医生检测效率。
[0008]为了实现上述任务，本专利技术通过以下技术解决方案予以实现：
[0009]一种基于深度学习的肺癌病理图像中主肿瘤分割方法，其特征在于，包括下列步骤：
[0010]步骤一：获取经HE染色的肺癌WSI病理图像切片，由病理专家手动注释，并进行数
据集划分；
[0011]步骤二，构建主肿瘤分割模型，以获得肺癌病理切片中的主肿瘤区域，具体包括：
[0012]所述构建主肿瘤分割模型首先采用deeplabv3+图像分割网络将所划分的训练数据进行特征提取，使用空洞卷积、多尺度融合、以及编码结构和解码结构进行语义分割；其中，空洞卷积可以增加感受野，从而在保证分辨率的前提下，获取更多的上下文信息；编码解码结构用于逐渐获得清晰的物体边界；然后将得到的特征输入到ASPP模块中，以获取不同尺度下的上下文信息，并从中提取出更加丰富的特征；紧接着将其输入到TCA模块，加强模型学习主肿瘤边界内外的特征的能力，最后与解码结构得到的特征进行融合，实现肺癌WSI中主肿瘤分割；
[0013]步骤三，优化主肿瘤分割模型，基于区域分割模型添加TCA模块，加强模型学习主肿瘤边界内外的特征的能力，同时通过ABL和LOU损失，细化区域分割边界信息，训练主肿瘤分割模型直至收敛；
[0014]步骤四，评估与测试以及结果可视化。
[0015]根据本专利技术，步骤一中所述数据集划分为训练集，验证集和测试集，且训练集，验证集和测试集的比率为6：2：2；并分别对腺癌和鳞状癌进行了划分，表示在训练集，验证集和测试集中，腺癌和鳞癌的比例是相同的。
[0016]进一步地，步骤三的具体方法是，基于构建的主肿瘤分割模型，对模型进行优化，添加TCA模块，TCA模块的输入是经过ASPP模块后的中间层特征，TAC模块的输出为与输入特征长、宽和通道数一致的增强后特征，TCA模块通过Visual Transformer和Coordinate attention，实现加强模型学习主肿瘤边界内外的特征的能力；最后根据损失收敛的情况，在100个训练周期后停止训练；图像最小批量大小为四个，为了确保分割模型对不同数据的泛化性能，在训练过程中，使用随机尺度，随机裁剪和随机水平翻转的数据增强方式训练图像。
[0017]具体地，所述TAC模块，主要包含两部分，分别是Visual Transformer和Coordinate attention，具体内容包括如下：
[0018]Visual Transformer包含Embedding和Transformer Encoder；其中Embedding包含Patch Embedding和Position Embedding，Patch Embedding将输入图像切分成大小相同的图块，然后使用一个小的卷积神经网络来提取每个图块的特征，并将其转换为固定大小的token表示，这个过程可以看做是一种将2D图像转换为1D序列的操作，类似于NLP中的词嵌入，对图像进行向量化表示；另外，Visual Transformer还需要对每个图块的位置信息进行建模，以便网络能够区分各个图块之间的位置关系；为此，Visual Transformer采用了Position Embedding，它在Patch Embedding的基础上加入了位置嵌入，即为每个位置增加一个特定的向量表示，用于表示该位置在整个图像中的位置信息；
[0019]Coordinate attention是一种用于卷积神经网络的注意力机制，旨在提高网络对于空间信息的建模能力，通过计算特征图中不同位置之间的相似度来确定哪些位置应该受到更多的关注，并将注意力系数应用于特征表示，以加强与相关信息的交互；具体来说，Coordinate attention采用了坐标嵌入，将特征图上每个位置的坐标编码为一个向量，用于表示该位置的位置信息。然后，将这些位置和特征向量进行拼接，输入一个小型的前馈神经网络中，以得到该位置的注意力系数。
[0020]具体地，所述图像分割网络以端到端的方式进行训练，使用Adam优化器进行训练，结合了自适应学习率和动量的优点，并通过维护梯度的指数加权平均值来更新参数。
[0021]本专利技术的基于深度学习的肺癌病理图像中主肿瘤分割方法，与现有技术相比，带来的有益技术效果如下：
[0022](1)提升模型分割效果：针对主肿瘤边界内外的特征非常相似导致边界上分割效果较差问题，通过引入TCA模块、abl损失和iou损失，加强算法关注主肿瘤边界内外的差异的能力，提升主肿瘤分割的效果。
[0023](2)可以辅助病理医生进行肺癌WSI中主肿瘤区域的确定，极大提升病理医生的诊断速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的肺癌病理图像中主肿瘤分割方法，其特征在于，包括下列步骤：步骤一：获取经HE染色的肺癌WSI病理图像切片，由病理专家手动注释，并进行数据集划分；步骤二，构建主肿瘤分割模型，以获得肺癌病理切片中的主肿瘤区域，具体包括：所述构建主肿瘤分割模型首先采用deeplabv3+图像分割网络将所划分的训练数据进行特征提取，使用空洞卷积、多尺度融合、以及编码结构和解码结构进行语义分割；其中，空洞卷积可以增加感受野，从而在保证分辨率的前提下，获取更多的上下文信息；编码解码结构用于逐渐获得清晰的物体边界；然后将得到的特征输入到ASPP模块中，以获取不同尺度下的上下文信息，并从中提取出更加丰富的特征；紧接着将其输入到TCA模块，加强模型学习主肿瘤边界内外的特征的能力，最后与解码结构得到的特征进行融合，实现肺癌WSI中主肿瘤分割；步骤三，优化主肿瘤分割模型，基于区域分割模型添加TCA模块，加强模型学习主肿瘤边界内外的特征的能力，同时通过ABL和LOU损失，细化区域分割边界信息，训练主肿瘤分割模型直至收敛；步骤四，评估与测试以及结果可视化。2.如权利要求1所述的方法，其特征在于，步骤一中所述数据集划分为训练集，验证集和测试集，且训练集，验证集和测试集的比率为6：2：2；并分别对腺癌和鳞状癌进行了划分，表示在训练集，验证集和测试集中，腺癌和鳞癌的比例是相同的。3.如权利要求1所述的方法，其特征在于，步骤三的具体方法是，基于构建的主肿瘤分割模型，对模型进行优化，添加TCA模块，TCA模块的输入是经过ASPP模块后的中间层特征，TAC模块的输出为与输入特征长、宽和通道数一致的增强后特征，TCA模块通过Visual Transformer和Coordinate attention，实现加强模型学习主肿瘤边界内外的特征的能力；最后根据损失收敛的情况，在100个训练周期后停止训练；图像最小批量大小为四个，为了确保分割模型对不同数据的泛化性能，在训练过程中，使用随机尺...

【专利技术属性】
技术研发人员：崔磊，王亚栋，刘苗，亢宇鑫，张育，杨林，
申请(专利权)人：西北大学，
类型：发明
国别省市：