一种胶囊内窥镜图像病变识别装置及训练方法制造方法及图纸

一种胶囊内窥镜图像病变识别装置及训练方法，将胶囊内窥镜图像输入到多个复杂的教师网络，每个网络输出诊断结果、特征图和显著性图。集成教师网络的诊断结果，特征图和显著性图作为监督信号为学生网络提供额外的监督，从而将教师网络的知识传递到学生网络中。由此，本发明专利技术能够获得具有高诊断精度的轻量级模型。本发明专利技术中利用知识蒸馏算法将复杂网络的表达能力压缩到轻量级网络中，从而实现高精度且高效率的诊断。本发明专利技术中的每个教师网络可学习一类疾病的诊断，这样能够在该类疾病上取得更加精确的诊断效果，而学生网络通过学习多个精通不同疾病诊断的教师网络，可以实现对多类型疾病的高精度实时诊断。病的高精度实时诊断。病的高精度实时诊断。

【技术实现步骤摘要】
一种胶囊内窥镜图像病变识别装置及训练方法


[0001]本专利技术涉及图像识别，特别是涉及一种胶囊内窥镜图像病变识别装置及训练方法。

技术介绍

[0002]目前，深度学习模型在多种医疗疾病诊断任务中取得了很高的精度。但是高精度模型具有较高的复杂度，需要大量算力、内存和推断时间。然而在临床疾病诊断中，医院的算力资源有限，无法满足实时诊断的需要。为了提高推断效率，实现实时诊断，需要在临床实践中部署轻量级模型。但是现有的轻量级模型一般特征表达能力差，诊断精度低。为了真正地在临床诊断中实现实时诊断，需要开发出具有高诊断精度的轻量级模型。知识蒸馏框架又称为教师
‑
学生网络，复杂的教师网络具有更强的拟合能力。现有方法将教师网络的知识通过预测结果、特征图、注意力图、样本间关系的形式传递给轻量级的学生网络，从而使得轻量级模型达到接近于复杂模型的诊断精度。如何高效的将教师网络的知识蒸馏到学生网络，以及将哪些知识蒸馏到学生网络，是知识蒸馏的主要研究课题。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本专利技术的主要目的在于克服上述
技术介绍
的缺陷，提供一种胶囊内窥镜图像病变识别装置及训练方法，以实现高精度且高效率的疾病诊断。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种胶囊内窥镜图像病变识别装置，包括计算机程序存储介质和处理装置，所述处理装置执行计算机程序时实现训练过程和测试过程；
[0007]所述训练过程包括如下步骤：
[0008]S1、将胶囊内窥镜图片输入到模型的教师网络1至N；
[0009]S2、对于每张胶囊内窥镜图片，由每个教师网络生成各自的特征图h*w*c,其中h,w,c分别为所述特征图的高度、宽度和通道数，通过对所述特征图的不同通道求平均，得到所述图片的显著性图；由模型进行分类任务或分割任务；
[0010]S3、对模型的预测结果和真实标签计算交叉熵损失；
[0011]S4、最小化交叉熵损失，不断更新模型参数，直到交叉熵损失不再下降，模型收敛；
[0012]S5、将所有教师网络生成的特征图、显著性图和预测结果合并，作为集成教师网络的指导信息；
[0013]S6、将胶囊内窥镜图片输入学生网络，通过知识蒸馏算法将集成教师网络的特征图、显著性图和预测结果传递给所述学生网络；
[0014]S7、根据交叉熵函数和各级知识蒸馏损失函数，得到所述学生网络的损失函数，通过优化所述损失函数训练学生网络，直至收敛；
[0015]所述测试过程包括如下步骤：
[0016]T1、将胶囊内窥镜图片输入已训练好的学生网络，得到图片的各类别预测概率，概率最大的类别为该测试图片的所属预测类别；
[0017]T2、对每个测试图像生成显著性图，可以根据显著值粗略地标注出图像的病变区域，为模型的预测提供解释性。
[0018]进一步地：
[0019]步骤S1中，所述教师网络选自DenseNet121、ResNet50、NASNet中的任一种。
[0020]步骤S2中，根据所述显著性图中的不同区域的显著性，确定疾病相关的区域与背景区域；对于分类任务，模型的最后一层特征图经过全局平均池化和全连接层映射后得到图像的类别预测概率(p1,p2,
…
,p
C
),其中p
i
为图片被判断为类别i的概率，C为类别总数，所有类别的预测概率相加为1，预测概率最大的类别为图片最终被判断的类别，作为预测结果；对于分割任务，模型对每个像素点生成预测结果。
[0021]步骤S4中，基于梯度下降算法最小化所述交叉熵损失。
[0022]步骤S7中、通过交叉熵函数和各级知识蒸馏损失函数的加和得到所述学生网络的损失函数。
[0023]所述测试过程还包括如下步骤：
[0024]T2、对每个测试图像生成显著性图；优选地，还根据显著值标注出图像的病变区域，为模型的预测提供解释性。
[0025]一种基于多教师蒸馏的胶囊内窥镜图像病变识别网络的训练方法，包括如下步骤：
[0026]S1、将胶囊内窥镜图片输入到模型的教师网络1至N；
[0027]S2、对于每张胶囊内窥镜图片，由每个教师网络生成各自的特征图h*w*c,其中h,w,c分别为所述特征图的高度、宽度和通道数，通过对所述特征图的不同通道求平均，得到所述图片的显著性图；由模型进行分类任务或分割任务；
[0028]S3、对模型的预测结果和真实标签计算交叉熵损失；
[0029]S4、最小化交叉熵损失，不断更新模型参数，直到交叉熵损失不再下降，模型收敛；
[0030]S5、将所有教师网络生成的特征图、显著性图和预测结果合并，作为集成教师网络的指导信息；
[0031]S6、将胶囊内窥镜图片输入学生网络，通过知识蒸馏算法将集成教师网络的特征图、显著性图和预测结果传递给所述学生网络；
[0032]S7、根据交叉熵函数和各级知识蒸馏损失函数，得到所述学生网络的损失函数，通过优化所述损失函数训练学生网络，直至收敛。
[0033]一种胶囊内窥镜图像病变识别装置，包括计算机程序存储介质和处理装置，所述处理装置执行计算机程序时实现测试过程，所述测试过程包括如下步骤：
[0034]T1、将胶囊内窥镜图片输入使用所述的方法训练好的学生网络，得到图片的各类别预测概率，概率最大的类别为该测试图片的所属预测类别。
[0035]所述测试过程还包括如下步骤：
[0036]T2、对每个测试图像生成显著性图；优选地，还根据显著值粗略地标注出图像的病变区域，为模型的预测提供解释性。
[0037]一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的装置执行的步骤，或实现所述的方法。
[0038]本专利技术具有如下有益效果：
[0039]本专利技术提供一种基于多教师蒸馏的轻量级胶囊内窥镜图像病变识别装置及训练方法，将胶囊内窥镜图像输入到多个复杂的教师网络，每个网络输出诊断结果、特征图和显著性图。多个教师网络经过集成得到更加强大的病变识别网络。之后，集成教师网络的诊断结果，特征图和显著性图作为监督信号为学生网络提供额外的监督，从而将教师网络的知识传递到学生网络中。由此，本专利技术能够获得具有高诊断精度的轻量级模型。本专利技术中利用知识蒸馏算法将复杂网络的表达能力压缩到轻量级网络中，从而实现高精度且高效率的诊断。本专利技术中的每个教师网络可学习一类疾病的诊断，这样能够在该类疾病上取得更加精确的诊断效果，而学生网络通过学习多个精通不同疾病诊断的教师网络，可以实现对多类型疾病的高精度实时诊断。本专利技术可用于胶囊内窥镜图像的疾病诊断以及病变区域的分割，如出血，溃疡，以及息肉等。利用本专利技术，还可以将已有高精度的算法通过知识蒸馏的方式部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胶囊内窥镜图像病变识别装置，其特征在于，包括计算机程序存储介质和处理装置，所述处理装置执行计算机程序时实现训练过程和测试过程；所述训练过程包括如下步骤：S1、将胶囊内窥镜图片输入到模型的教师网络1至N；S2、对于每张胶囊内窥镜图片，由每个教师网络生成各自的特征图h*w*c,其中h,w,c分别为所述特征图的高度、宽度和通道数，通过对所述特征图的不同通道求平均，得到所述图片的显著性图；由模型进行分类任务或分割任务；S3、对模型的预测结果和真实标签计算交叉熵损失；S4、最小化交叉熵损失，不断更新模型参数，直到交叉熵损失不再下降，模型收敛；S5、将所有教师网络生成的特征图、显著性图和预测结果合并，作为集成教师网络的指导信息；S6、将胶囊内窥镜图片输入学生网络，通过知识蒸馏算法将集成教师网络的特征图、显著性图和预测结果传递给所述学生网络；S7、根据交叉熵函数和各级知识蒸馏损失函数，得到所述学生网络的损失函数，通过优化所述损失函数训练学生网络，直至收敛；所述测试过程包括如下步骤：T1、将胶囊内窥镜图片输入已训练好的学生网络，得到图片的各类别预测概率，概率最大的类别为该测试图片的所属预测类别。2.如权利要求1所述的胶囊内窥镜图像病变识别装置，其特征在于，步骤S1中，所述教师网络选自DenseNet121、ResNet50、NASNet中的任一种。3.如权利要求1或2所述的胶囊内窥镜图像病变识别装置，其特征在于，步骤S2中，根据所述显著性图中的不同区域的显著性，确定疾病相关的区域与背景区域；对于分类任务，模型的最后一层特征图经过全局平均池化和全连接层映射后得到图像的类别预测概率(p1,p2,
…
,p
C
),其中p
i
为图片被判断为类别i的概率，C为类别总数，所有类别的预测概率相加为1，预测概率最大的类别为图片最终被判断的类别，作为预测结果；对于分割任务，模型对每个像素点生成预测结果。4.如权利要求1或2所述的胶囊内窥镜图像病变识别装置，其特征在于，步骤S...

【专利技术属性】
技术研发人员：孟庆虎，邢小涵，许杨昕，王建坤，
申请(专利权)人：香港中文大学深圳研究院，
类型：发明
国别省市：