肺癌病理图像识别方法技术

本申请涉及一种肺癌病理图像识别方法

【技术实现步骤摘要】
肺癌病理图像识别方法、装置、计算机设备以及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种肺癌病理图像识别方法
、
装置
、
计算机设备以及存储介质
。

技术介绍

[0002]肺癌治疗手段众多，但是肺癌
III
期及以上五年生存率不足
10
％
。
因此有效预测和及时诊断肺癌是增加早期治愈的可能性和生存率的重要途径
。
组织病理切片是肺癌诊断的金标准
。
病理切片识别对病理医生的要求很高，全世界都面临病理学家人员短缺问题
。
[0003]深度学习技术可以辅助病理医生检测肺癌，专家学者在这方面进行了大量的研究，也取得的一定的研究成果，例如：在
EfcientNet
‑
B3
结构的基础上利用迁移学习和弱监督学习训练了
CNN
，可以准确识别肺癌和非肿瘤；将癌症基因组图谱
(TCGA)
数据库
1634
张切片图像训练
inception
‑
v3,
准确率和病理学家相当；在一个经过3位病理学家标注的数据集上训练
ResNet
架构，模型分类结果与病理学家的标注类别高度一致；在
ResNet
的基础上通过多维度特征注意和多尺度信息融合模块串行的方式，使用
Relu
激活函数形成一种新网络模型
RacNet<br/>，在
TCGA
数据库下的
TCGA
‑
LUAD
数据进行训练，
AUC
值达到
0.883。
但是这些方法在提取肺癌深层特征方面仍然存在特征信息丢失
、
多尺度信息缺乏等问题，因此在预测效果方面仍有提升空间
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种肺癌病理图像识别方法
、
装置
、
计算机设备以及存储介质
。
[0005]一种肺癌病理图像识别方法，所述方法包括：
[0006]获取肺癌病理学图像，并对其进行数据预处理，得到训练样本
。
[0007]构建肺癌病理图像识别模型，所述肺癌病理图像识别模型是指将
EfficientNet
模型的
MBConv
模块结合多尺度并行双重注意模块重新构建网络结构得到的网络；所述多尺度并行双重注意模块用于采用多尺度并行模块提取经过卷积和池化操作后的训练样本的不同尺度特征和不同池化特征，并将不同尺度特征和不同池化特征经过空间和通道双重注意力机制，得到融合特征；所述多尺度并行模块用于采用多个不同尺度的卷积核提取图像的不同尺度特征，并采用多个不同种类的池化方式提取图像的不同池化特征
。
[0008]采用所述训练样本对所述肺癌病理图像识别模型进行训练，得到训练好的肺癌病理图像识别模型
。
[0009]采用训练好的肺癌病理图像识别模型对待识别的肺癌病理学图像进行识别，得到肺癌病理图像识别结果
。
[0010]在其中一个实施例中，获取肺癌病理学图像，并对其进行数据预处理，得到训练样本，包括：
[0011]获取肺癌病理学图像
。
[0012]采用人工方式对所述肺癌病理学图像进行特征提取和标注
。
[0013]将标注后的图像作为参考图像，通过
SIFT
算法对图像进行特征提取和匹配，并辅助人工进行二次特征提取和标注，得到训练样本
。
[0014]在其中一个实施例中，所述肺癌病理图像识别模型包括一个卷积模块
、
一个所述多尺度并行双重注意模块
、
由若干个
MBConv
模块依次连接组成的特征提取网络以及一个分类网络
。
[0015]采用所述训练样本对所述肺癌病理图像识别模型进行训练，得到训练好的肺癌病理图像识别模型，包括：
[0016]将所述训练样本输入到所述卷积模块中，得到卷积特征
。
[0017]将所述卷积特征输入到所述多尺度并行双重注意模块中，得到融合特征
。
[0018]将所述融合特征输入到所述特征提取网络中，得到图像的最优特征
。
[0019]将所述最优特征输入到所述分类网络中，得到预测识别结果
。
[0020]根据所述预测识别结果以及标注，对所述肺癌病理图像识别模型进行反向传播，得到训练好的肺癌病理图像识别模型
。
[0021]在其中一个实施例中，所述多尺度并行双重注意模块包括一个多尺度并行模块和一个空间和通道注意力机制；所述多尺度并行模块包括多个不同卷积和的并行分支和多个不同池化方式的并行分支，每个分支中的激活函数为
LeakyRelu
函数；所述空间和通道注意力机制包括两个空间注意力机制和一个通道注意力机制；将所述卷积特征输入到所述多尺度并行双重注意模块中，得到融合特征，包括：
[0022]将所述卷积特征输入到所述多尺度并行双重注意模块的所述多尺度并行模块中，得到不同尺度特征和不同池化特征；
[0023]将所述不同尺度特征和所述不同池化特征分别输入到第一个空间注意力机制和第二个空间注意力机制中，并将输出的特征融合后输入到所述通道注意力机制中，得到融合特征
。
[0024]在其中一个实施例中，将所述卷积特征输入到所述多尺度并行双重注意模块的所述多尺度并行模块中，得到不同尺度特征和不同池化特征，所述不同尺度特征和所述不同池化特征分别为：
[0025]F
conv
＝
LR(conv
1*1
(F)+conv
3*3
(conv
1*1
(F))+conv
3*3
(conv
3*3
(conv
1*1
(F))))
[0026]F
Pool
＝
LR(conv
1*1
(AvgPool(F))+conv
1*1
(MaxPool(F))+conv
1*1
(MinPool(F)))
[0027]其中，
F
conv
为不同尺度特征，
F
Pool
为不同池化特征，
F
表示输入的卷积特征，
conv
1*1
为点卷积，
conv
3*3
为两个卷积核大小为3的卷积，
AvgPool
表示平均池化，
MaxPool
表示最大池化，
MinPool
表示最小池化，...

【技术保护点】

【技术特征摘要】
1.
一种肺癌病理图像识别方法，其特征在于，所述方法包括：获取肺癌病理学图像，并对其进行数据预处理，得到训练样本；构建肺癌病理图像识别模型，所述肺癌病理图像识别模型是将
EfficientNet
模型的
MBConv
模块结合多尺度并行双重注意模块重新构建网络结构得到的网络；所述多尺度并行双重注意模块采用多尺度并行模块提取经过卷积和池化操作后的训练样本的不同尺度特征和不同池化特征，并将不同尺度特征和不同池化特征经过空间和通道双重注意力机制，得到融合特征；所述多尺度并行模块用于采用多个不同尺度的卷积核提取图像的不同尺度特征，并采用多个不同种类的池化方式提取图像的不同池化特征；采用所述训练样本对所述肺癌病理图像识别模型进行训练，得到训练好的肺癌病理图像识别模型；采用训练好的肺癌病理图像识别模型对待识别的肺癌病理学图像进行识别，得到肺癌病理图像识别结果
。2.
根据权利要求1所述的方法，其特征在于，获取肺癌病理学图像，并对其进行数据预处理，得到训练样本，包括：获取肺癌病理学图像；采用人工方式对所述肺癌病理学图像进行特征提取和标注；将标注后的图像作为参考图像，通过
SIFT
算法对图像进行特征提取和匹配，并辅助人工进行二次特征提取和标注，得到训练样本
。3.
根据权利要求1所述的方法，其特征在于，所述肺癌病理图像识别模型包括一个卷积模块
、
一个所述多尺度并行双重注意模块
、
由若干个
MBConv
模块依次连接组成的特征提取网络以及一个分类网络；采用所述训练样本对所述肺癌病理图像识别模型进行训练，得到训练好的肺癌病理图像识别模型，包括：将所述训练样本输入到所述卷积模块中，得到卷积特征；将所述卷积特征输入到所述多尺度并行双重注意模块中，得到融合特征；将所述融合特征输入到所述特征提取网络中，得到图像的最优特征；将所述最优特征输入到所述分类网络中，得到预测识别结果；根据所述预测识别结果以及标注，对所述肺癌病理图像识别模型进行反向传播，得到训练好的肺癌病理图像识别模型
。4.
根据权利要求3所述的方法，其特征在于，所述多尺度并行双重注意模块包括一个多尺度并行模块和一个空间和通道注意力机制；所述多尺度并行模块包括多个不同卷积和的并行分支和多个不同池化方式的并行分支，每个分支中的激活函数为
LeakyRelu
函数；所述空间和通道注意力机制包括两个空间注意力机制和一个通道注意力机制；将所述卷积特征输入到所述多尺度并行双重注意模块中，得到融合特征，包括：将所述卷积特征输入到所述多尺度并行双重注意模块的所述多尺度并行模块中，得到不同尺度特征和不同池化特征；将所述不同尺度特征和所述不同池化特征分别输入到第一个空间注意力机制和第二个空间注意力机制中，并将输出的特征融合后输入到所述通道注意力机制中，得到融合特征
。
5.
根据权利要求4所述的方法，其特征在于，将所述卷积特征输入到所述多尺度并行双重注意模块的所述多尺度并行模块中，得到不同尺度特征和不同池化特征，所述不同尺度特征和所述不同池化特征分别为：
F
conv
＝
LR(conv
1*1
(F)+conv
3*3
(conv
1*1
(F))+conv
3*3
(conv
3*3
(conv
1*1
(F))))F
Pool
＝
LR(conv
1*1
(AvgPool(F))+conv

【专利技术属性】
技术研发人员：晏峻峰，朱勇，陈颖，董云春，汤嵛猗，
申请(专利权)人：湖南中医药大学，
类型：发明
国别省市：