一种基于迁移学习和多任务学习的病理图像分类方法技术

本发明专利技术为一种基于迁移学习和多任务学习的病理图像分类方法。一种基于迁移学习和多任务学习的病理图像分类方法，包括以下步骤：(1)将病理切片图像进行特征提取；(2)采用多任务学习的方法将不同特征融合；(3)采用基于迁移学习对所述的步骤(2)中整合后的特征进行微调后，再进行分类。本发明专利技术所述的一种基于迁移学习和多任务学习的病理图像分类方法，将迁移学习和多任务学习结合，可准确区分结直肠癌组织病理图像，并且泛化性能高。并且泛化性能高。并且泛化性能高。

【技术实现步骤摘要】
一种基于迁移学习和多任务学习的病理图像分类方法


[0001]本专利技术属于医疗图像处理
，具体涉及一种基于迁移学习和多任务学习的病理图像分类方法。

技术介绍

[0002]组织病理图像是医学领域中常用的诊断工具之一。然而，与其他图像数据相比，组织病理图像的标注十分稀疏且困难，这成为了组织病理图像分析中的重要瓶颈之一。为了解决这个问题，近年来出现了许多基于深度学习的方法，其中迁移学习和多任务学习是常用的方法之一。迁移学习可以通过预训练模型在大规模数据集上训练得到模型的参数和知识，并将其迁移到新的任务中，从而加速模型的训练和提高模型的性能。多任务学习可以同时学习多个相关任务，共享模型的参数和特征，从而提高模型的泛化能力。
[0003]已有应用迁移学习和多任务学习的研究主要针对结直肠癌良恶性之间的分类进行了探索，但均未涉及结直肠癌中较难区分的癌旁组织和高分化组织间的分类。
[0004]有鉴于此，本专利技术提出一种新的病理图像分类方法，是基于迁移学习和多任务学习的病理图像分类方法，可准确区分结直肠癌组织病理图像。

技术实现思路

[0005]本专利技术的目的在于提供一种基于迁移学习和多任务学习的病理图像分类方法，将迁移学习和多任务学习结合，可准确区分结直肠癌组织病理图像，并且泛化性能高。
[0006]为了实现上述目的，所采用的技术方案为：
[0007]一种基于迁移学习和多任务学习的病理图像分类方法，包括以下步骤：
[0008](1)将病理切片图像进行特征提取；
>[0009](2)采用多任务学习的方法将不同特征融合；
[0010](3)采用基于迁移学习对所述的步骤(2)中整合后的特征进行微调后，再进行分类。
[0011]进一步的，所述的步骤(1)中，采用预训练模型进行特征提取。
[0012]再进一步的，所述的步骤(1)中，采用3个不同的、基于ImageNet的预训练模型提取不同ROI区域的病理图像特征。
[0013]再进一步的，所述的步骤(1)中，预训练模型为DenseNet201、NasNetMobile和Vgg16。
[0014]进一步的，所述的步骤(1)中，病理切片图像是通过滑动窗口采样，再转换为Numpy数组。
[0015]进一步的，所述的步骤(2)中，特征融合的过程为：将所有的特征图展平为向量，再将所有的特征向量连接起来形成一个特征向量。
[0016]进一步的，所述的步骤(3)中，使用密集层、批归一化层和Dropout层进行微调，再使用softmax进行分类任务。
[0017]进一步的，所述的步骤(3)中，用评价指标、混淆矩阵和可视化的形式输出分类结果。
[0018]与现有技术相比，本专利技术的有益效果在于：
[0019]本专利技术将Multi
‑
TransPathoNet应用于结直肠癌的分类,通过使用深度学习算法，可以对结直肠癌图像进行自动分类检测，从而减少误诊和漏诊，提高诊断准确率和医疗效率。实验结果表明其分类准确率比单任务学习模型Resnet50分类准确率高21％,比Vgg19分类准确率高7％，为结直肠癌的多分类研究提供较为准确的辅助指导,从而更好地为基于组织病理学图像的辅助诊断研究提供指导方向。
附图说明
[0020]图1为Multi
‑
TransPathoNet整体架构图；
[0021]图2为滑动窗口采样示意图；
[0022]图3为实验整体流程图；
[0023]图4为模型可视化，其中白色编码点表示模型预测的癌组织区域，黑色编码点表示模型预测的癌旁正常对照组织区域；
[0024]图5为本实施例提出的Multi
‑
TransPathoNet与Resnet50和Vgg19的混淆矩阵对比。
具体实施方式
[0025]为了进一步阐述本专利技术一种基于迁移学习和多任务学习的病理图像分类方法，达到预期专利技术目的，以下结合较佳实施例，对依据本专利技术提出的一种基于迁移学习和多任务学习的病理图像分类方法，其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0026]下面将结合具体的实施例，对本专利技术一种基于迁移学习和多任务学习的病理图像分类方法做进一步的详细介绍：
[0027]组织病理图像是医学领域中常用的诊断工具之一。然而，结直肠癌组织病理图像内部复杂的细胞和组织结构，使得医生很难对其进行高效的癌症诊断和定量分析。因此，本专利技术提出一种基于多任务学习的病理图像分类方法Multi
‑
TransPathoNet(A transfer learning
‑
based neural network for pathology image classification with multi
‑
task learning,Multi
‑
TransPathoNet)对结直肠癌组织病理图像进行分类检测和可视化输出，从而帮助提高医疗效率。本专利技术的技术方案为：
[0028]一种基于迁移学习和多任务学习的病理图像分类方法，包括以下步骤：
[0029](1)将病理切片图像进行特征提取；
[0030](2)采用多任务学习的方法将不同特征融合；
[0031](3)采用基于迁移学习对所述的步骤(2)中整合后的特征进行微调后，再进行分类。
[0032]优选的，所述的步骤(1)中，采用预训练模型进行特征提取。
[0033]进一步优选的，所述的步骤(1)中，采用3个不同的、基于ImageNet的预训练模型提
取不同ROI区域的病理图像特征。
[0034]进一步优选的，所述的步骤(1)中，预训练模型为DenseNet201、NasNetMobile和Vgg16。
[0035]优选的，所述的步骤(1)中，病理切片图像是通过滑动窗口采样，再转换为Numpy数组。
[0036]优选的，所述的步骤(2)中，特征融合的过程为：将所有的特征图展平为向量，再将所有的特征向量连接起来形成一个特征向量。
[0037]优选的，所述的步骤(3)中，使用密集层、批归一化层和Dropout层进行微调，再使用softmax进行分类任务。
[0038]优选的，所述的步骤(3)中，用评价指标、混淆矩阵和可视化的形式输出分类结果。
[0039]为了验证本专利技术技术方案的实际应用价值，使用了结直肠癌中较难区分的癌旁、高分化和高中分化的组织病理图像作为数据集进行分类测试，得到了92％的准确率，并与单任务学习模型Resnet50，Vgg19做了对比，通过准确率，精度、召回率、F1值、混淆矩阵等指标综合评价所提出模型的性能。
[0040]实施例1.
[0041]A材料...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习和多任务学习的病理图像分类方法，其特征在于，包括以下步骤：(1)将病理切片图像进行特征提取；(2)采用多任务学习的方法将不同特征融合；(3)采用基于迁移学习对所述的步骤(2)中整合后的特征进行微调后，再进行分类。2.根据权利要求1所述的病理图像分类方法，其特征在于，所述的步骤(1)中，采用预训练模型进行特征提取。3.根据权利要求2所述的病理图像分类方法，其特征在于，所述的步骤(1)中，采用3个不同的、基于ImageNet的预训练模型提取不同ROI区域的病理图像特征。4.根据权利要求3所述的病理图像分类方法，其特征在于，所述的步骤(1)中，预训练模型为DenseNet201、NasNet...

【专利技术属性】
技术研发人员：李敏，邓鑫，吕小毅，陈晨，
申请(专利权)人：新疆大学，
类型：发明
国别省市：