一种电子内镜食管病灶智能检测模型建立方法技术

本发明专利技术公开了一种电子内镜食管病灶智能检测模型建立方法，本发明专利技术通过在图像级标注数据集上训练病灶分类教师网络，利用教师网络推断生成无标签数据集的伪标签，最后使用置信度高的伪标签数据集训练图像分类学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化病灶分类网络的泛化能力；然后将病灶分类网络学习的特征与目标检测网络融合，最终得到高精度的食管病灶检测网络。本发明专利技术利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升目标检测网络对食管病灶的检测能力。充分提升目标检测网络对食管病灶的检测能力。充分提升目标检测网络对食管病灶的检测能力。

【技术实现步骤摘要】
一种电子内镜食管病灶智能检测模型建立方法


[0001]本专利技术涉及生物医学图像处理与深度学习领域，尤其涉及一种电子内镜食管病灶智能检测模型建立方法。

技术介绍

[0002]食管癌是世界最常见的恶性肿瘤之一,中国为食管癌发病率及病死率最高的国家.近年来,随着内镜技术的发展,早期食管癌的诊断率大大提高,内窥镜已作为早期食管癌诊断的首选检查。精确的筛查食管癌前疾病和癌前病变，尤为重要。食管癌前疾病指与食管癌相关并有一定癌变率的良性疾病，包括慢性食管炎、Barrett食管、食管白斑症、食管憩室、贲门失弛缓症、反流性食管炎、各种原因导致的食管良性狭窄等。癌前病变指已证实与食管癌发生密切相关的病理变化，包括食管鳞状上皮异型增生Barrett食管相关异型增生等。传统的白光内镜检查得到的食管图像，这种光学诊断需要大量的专业知识和经验，使得医生在进行判断分析时需要花费过多的时间，并且往往带有主观性，易造成误判，这阻碍了它在内镜检查中的普遍使用。
[0003]近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。深度学习取得的突破性进展为辅助医生进行内窥镜影像分析提供了良好的机会，与时间消耗性强、复现性差、主观性强的人工处理过程相比，基于深度学习的计算机辅助诊断，可以快速、准确、可重现的获得客观的定量数据，从而提高对内窥镜图像的分析效率。在保证准确率的前提下，显著提高观测的复现性、时效性和客观性，可以将基础科学研究者和临床医生从无聊和重复的日常工作中解救出来。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。深度学习网络目前也应用到了消化内镜中，通过对病灶的检测识别来辅助医生检查。现有技术均采用卷积神经网络(CNN)架构对结肠镜检查中的息肉进行检测，但是目前大多数的卷积神经网络(CNN)方法都是建立大量的样本库，从而实现对图像上的病灶进行检测。深度学习样本数据集有一个重要的前提，需要有大规模的数据集来支持深度学习的模型训练，才能防止过拟合，提高准确性和鲁棒性。内窥镜图像数据是具有高度复杂性以及高度异质性的一种医学图像数据，只有经验丰富的医生才能给出准确的标注，标注成本很高，以致难以获取足够有代表性的训练样本，这就给计算机辅助诊断提高普通白光内镜的诊断率提出了一个巨大的难题。因此，以少量优质的影像数据集为基础，使用大量未经过医生标注的原始数据，建立食管病灶智能检测模型就显得格外重要。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供了一种电子内镜食管病灶智能检测模型建立方法，该方法包含图像分类自训练算法，梯度加权类激活映射方法，模型间特征融合方法以及目标检测方法。图像分类自训练算法，通过在图像级标注数据集上训练病灶分类教师网络，利用教师网络推断生成无标签数据集的伪标签，最后使用置信度高的伪标签
数据集训练图像分类学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化病灶分类网络的泛化能力；基于梯度加权类激活映射方法，将病灶分类网络学习的特征与目标检测网络融合，最终得到高精度的食管病灶检测网络。本方法通过利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升目标检测网络对食管病灶的检测能力。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种电子内镜食管病灶智能检测模型建立方法，包括如下步骤：
[0006]步骤S1：病灶分类网络自训练，得到高泛化能力的病灶分类网络。训练教师网络，收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集X
c
；在数据集X
c
上训练食管病灶分类教师网络f
c
；生成伪标签，无标签数据集通过教师网络f
c
推断生成伪标签，得到食管类别伪标签标注数据集训练学生网络，在食管病灶类别标注数据集X
c
、伪标签数据集上训练学生网络f
cnoised
；迭代训练，使用得到的学生网络f
cnoised
作为新的教师网络替代教师网络f
c
，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络f
c
。
[0007]步骤S2：求取病灶分类网络f
classification
中食管病灶的加权特征热图A
gradcam
。选取目标检测网络f
d
，通过空间金字塔池化与梯度加权类激活映射实现f
classification
中食管病灶加权特征热图A
gradcam
的特征聚合，得到病灶检测网络f
fusion
。
[0008]步骤S3：训练融合网络f
fusion
，得到高精度强泛化能力的食管病灶检测网络f
fusion
。从食管病灶类别数据集X
c
，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集X
d
；在对象级标注数据集X
d
上训练病灶检测网络f
fusion
。
[0009]本专利技术具有以下有益效果：本公开的电子内镜食管病灶智能检测模型建立方法，无需大量标注食管病灶分类数据集，即可得到强泛化能力的食管病灶分类模型；病灶检测使用改进的CenterNet模型，通过梯度加权类激活映射算法得到食管病灶分类模型的梯度加权类激活热图，无缝集成到食管病灶检测模型中，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，凭借小样本的病灶位置信息数据，便可以训练CenterNet网络，且无须提前预设锚框，将病灶目标描述成一个中心点，目标的其他特性，如尺寸等则通过在特征聚合的特征图中直接得到，方法原理简单，兼容性强，且无需复杂的后处理，实现真正的端到端检测。同时充分提升网络对内镜食管病灶的学习能力。
附图说明
[0010]图1是本专利技术提供的电子内镜食管病灶智能检测模型建立方法的流程图；
[0011]图2是本专利技术中病灶分类网络自训练方法的流程图；
[0012]图3是本专利技术中采用的图像数据增强效果示意图，其中，(a)为原始图片，(b)为图像色彩变换后的图片，(c)为图像仿射变换后的图片，(d)为区域填充后的图片；
[0013]图4是本专利技术中采用的金字塔池化(SPP)网络结构图；
[0014]图5是本专利技术中采用的病灶分类网络f
classification
中食管病灶的加权特征热图A
gradcam
的可视化效果示意图；
[0015]图6是本专利技术中采用的通过特征聚合的CenterNet网络结构图；
[0016]图7是本专利技术中采用的通过特征聚合的CenterNet网络食管病灶检测效果示意图。
具体实施方式
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子内镜食管病灶智能检测模型建立方法，其特征在于，包括如下步骤：步骤S1：病灶分类网络自训练，得到高泛化能力的病灶分类网络。训练教师网络，收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集X
c
；在数据集X
c
上训练食管病灶分类教师网络f
c
；生成伪标签，无标签数据集通过教师网络f
c
推断生成伪标签，得到食管类别伪标签标注数据集训练学生网络，在食管病灶类别标注数据集X
c
、伪标签数据集上训练学生网络f
cnoised
；迭代训练，使用得到的学生网络f
cnoised
作为新的教师网络替代教师网络f
c
，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络f
c
。步骤S2：求取病灶分类网络f
classification
中食管病灶的加权特征热图A
gradcam
。选取目标检测网络f
d
，通过空间金字塔池化与梯度加权类激活映射实现f
classification
中食管病灶加权特征热图A
gradcam
的特征聚合，得到病灶检测网络f
fusion
。步骤S3：训练融合网络f
fusion
，得到高精度强泛化能力的食管病灶检测网络f
fusion
。从食管病灶类别数据集X
c
，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集X
d
；在对象级标注数据集X
d
上训练病灶检测网络f
fusion
。2.根据权利要求1所述一种基于自训练与梯度加权类激活映射的内窥镜轻量化小样本食管病灶检测方法，其特征在于，步骤S1包括以下子步骤：S1
‑
1：获取n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集X
c
；在数据集X
c
上训练食管病灶分类教师网络f
c
。其中，f
c
为教师网络，θ
t
为教师网络参数,x
i
为食管病灶类别数据集第i张图像,y
i
为第i张图像的食管病灶类别标签，n为食管病灶类别标注数据集中图像数量。l
c
为教师网络的损失函数。当损失函数符合预设的要求时，得到训练完成的教师网络模型f
c
。S1
‑
2：获取无标签食管内窥视频，采样得到无标签食管数据集在无标签数据集数据集上生成伪标签：其中，为无标签数据集的第i个图像，为第i个图像的伪标签,设定阈值T
threshold
，选取置信度大于阈值T
threshold
的伪标签，将筛选后伪标签与相对应的食管内窥图像组建食管病灶伪标签数据集S1
‑
3：在标签数据集X
c
、伪标签数据集上训练学生网络，学生网络与教师网络结构相同，参数各异：其中，f
cnoised
为添加了噪声的学生网络，θ
s
为学生网络参数，k为食管病灶类别伪标签数据集中图像数量。S1
‑
4：迭代训练。使用S1
‑
3得到的学生网络f
cnoised
作为新的教师网络替代S1

【专利技术属性】
技术研发人员：牛春阳，王立强，杨青，胡冰，高道键，
申请(专利权)人：之江实验室，
类型：发明
国别省市：