基于多尺度知识蒸馏的结核性脑膜脑炎预测方法及系统技术方案

本发明专利技术公开了一种基于多尺度知识蒸馏的结核性脑膜脑炎预测方法及系统，本方法通过对结核性脑膜脑炎图像进行多尺度拆分获得多尺度特征图；将多尺度特征图输入至特征编码器中获得每种尺度特征图的单维特征向量；对教师模型进行预训练获得教师模型的权重，根据教师模型的权重获得多尺度教师预测结果；将多尺度教师预测结果和多尺度学生预测结果进行交叉熵损失计算获得第一损失，将真实标签和多尺度学生预测结果进行交叉熵损失计算获得第二损失；将第一损失和第二损失相加获得总损失；将每种尺度特征图的单维特征向量进行拼接获得拼接向量；根据拼接向量和总损失获得结核性脑膜脑炎预测结果。本发明专利技术能够提高结核性脑膜脑炎预测的准确度。测的准确度。测的准确度。

【技术实现步骤摘要】
基于多尺度知识蒸馏的结核性脑膜脑炎预测方法及系统


[0001]本专利技术涉及人工智能与智慧医疗
，尤其是涉及一种基于多尺度知识蒸馏的结核性脑膜脑炎预测方法及系统。

技术介绍

[0002]在结核性脑膜脑炎的影像诊断过程中，影像科医生需要通过观察头部各个剖面的所有MRI图像，在不同剖面对应位置上同时定位到病灶才能进行诊断。这种诊断方式不仅效率低，诊断的错误率也比较高。因此，如何帮助医生实现高效、准确的进行影像诊断是亟待解决的难题。
[0003]而在目前的深度学习图像分类模型中，大多数模型都是利用网络结构的最后一层特征图进行分类预测。由于网络的不同特征图上学习到原图信息范围的不同，越靠近顶部的特征图保留着原图更多的细节信息，越靠近底部的特征图保留的是原图整体的语义信息，因此细节信息在底层特征图有所丢失，这就造成了分类的不准确。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于多尺度知识蒸馏的结核性脑膜脑炎预测方法及系统，能够提高结核性脑膜脑炎预测的准确度。
[0005]第一方面，本专利技术实施例提供了一种基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，所述基于多尺度知识蒸馏的结核性脑膜脑炎预测方法包括：
[0006]对输入的结核性脑膜脑炎图像进行多尺度拆分，获得多尺度特征图；
[0007]根据Transformer结构构建特征编码器，并将所述多尺度特征图输入至所述特征编码器中，获得每种尺度特征图的单维特征向量；/>[0008]采用结核性脑膜脑炎图像数据集对教师模型进行预训练，获得所述教师模型的权重，并根据所述教师模型的权重，获得多尺度教师预测结果；
[0009]将所述多尺度教师预测结果和通过学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第一损失，并将真实标签和通过所述学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第二损失；
[0010]将所述第一损失和所述第二损失相加，获得总损失；
[0011]将所述每种尺度特征图的单维特征向量进行拼接，获得拼接向量；
[0012]根据所述拼接向量和所述总损失，通过所述学生模型获得结核性脑膜脑炎预测结果。
[0013]与现有技术相比，本专利技术第一方面具有以下有益效果：
[0014]本方法通过对输入的结核性脑膜脑炎图像进行多尺度拆分，获得多尺度特征图；根据Transformer结构构建特征编码器，并将多尺度特征图输入至特征编码器中，获得每种尺度特征图的单维特征向量，提取多种尺度特征信息，为后面学生模型进行分类预测提高
准确度；采用结核性脑膜脑炎图像数据集对教师模型进行预训练，获得教师模型的权重，并根据教师模型的权重，获得多尺度教师预测结果，将多尺度教师预测结果和通过学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第一损失，并将真实标签和通过学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第二损失，将第一损失和第二损失相加，获得总损失，通过将复杂模型(即教师模型)学到的知识迁移到轻量级模型(即学生模型)上，对轻量级模型进行了多尺度损失计算，克服了轻量级模型因数据不足带来的影响；将每种尺度特征图的单维特征向量进行拼接，获得拼接向量，根据拼接向量和总损失，通过学生模型获得结核性脑膜脑炎预测结果，通过将每种尺度特征图的单维特征向量进行拼接，使得顶层的细节信息和底层抽象的语义信息结合起来，采用拼接向量和总损失进行预测，能够获得很好的预测效果。因此，本方法能够辅助医生判断结核性脑膜脑炎，提高结核性脑膜脑炎判断的准确度，减少判断失误。
[0015]根据本专利技术的一些实施例，将ResNet50网络作为学生模型，所述对输入的结核性脑膜脑炎图像进行多尺度拆分，获得多尺度特征图，包括：
[0016]将所述结核性脑膜脑炎图像输入所述学生模型进行多尺度拆分；
[0017]提取所述学生模型中第二层layer2、第三层layer3和第四层layer4的特征图，获得多尺度特征图。
[0018]根据本专利技术的一些实施例，所述将所述多尺度特征图输入至所述特征编码器中，获得每种尺度特征图的单维特征向量，包括：
[0019]通过所述特征编码器中的卷积层和展平层将所述多尺度特征图转换为多个特征向量；
[0020]采用注意力机制计算每种特征向量与其他特征向量之间的相关性；
[0021]根据所述相关性，对每种尺度特征图对应的特征向量通过全局求平均的方式获得所述每种尺度特征图的单维特征向量。
[0022]根据本专利技术的一些实施例，通过如下方式获得所述注意力机制：
[0023]MultiHead(Q,K,V)＝concat(head1(q1,k1,v1),
…
,head
h
(q
h
,k
h
,v
h
))W
o
[0024]head
i
(q
i
,k
i
,v
i
)＝Attention(q
i
,k
i
,v
i
)
[0025][0026]其中，Q、K、V表示一组可学习的权重矩阵，q
i
,k
i
,v
i
表示Q、K、V权重矩阵相应的分量，W
o
表示一个可学习的参数，表示比例因子。
[0027]根据本专利技术的一些实施例，采用以注意力机制搭建的Swin
‑
Transfomer网络模型作为教师模型，所述采用结核性脑膜脑炎图像数据集对教师模型进行预训练，获得所述教师模型的权重，并根据所述教师模型的权重，获得多尺度教师预测结果，包括：
[0028]采用结核性脑膜脑炎图像数据集对所述教师模型进行预训练，获得所述教师模型的权重；
[0029]输入结核性脑膜脑炎图像至所述教师模型，获取所述教师模型中第二层layer2、第三层layer3和第四层layer4输出的特征向量；
[0030]将所述教师模型中第二层layer2、第三层layer3和第四层layer4输出的特征向量
通过所述教师模型的权重进行分类预测，获得多尺度教师预测结果。
[0031]根据本专利技术的一些实施例，所述将所述多尺度教师预测结果和通过学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第一损失，并将真实标签和通过所述学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第二损失，包括：
[0032]将所述教师模型中第二层layer2、第三层layer3和第四层layer4对应的所述多尺度教师预测结果分别和所述学生模型中第二层layer2、第三层layer3和第四层layer4对应的多尺度学生预测结果进行交叉熵损失计算，获得第一损失；
[0033]将所述真实标签和所述学生模型中第二层layer2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，其特征在于，所述基于多尺度知识蒸馏的结核性脑膜脑炎预测方法包括：对输入的结核性脑膜脑炎图像进行多尺度拆分，获得多尺度特征图；根据Transformer结构构建特征编码器，并将所述多尺度特征图输入至所述特征编码器中，获得每种尺度特征图的单维特征向量；采用结核性脑膜脑炎图像数据集对教师模型进行预训练，获得所述教师模型的权重，并根据所述教师模型的权重，获得多尺度教师预测结果；将所述多尺度教师预测结果和通过学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第一损失，并将真实标签和通过所述学生模型获得的多尺度学生预测结果进行交叉熵损失计算，获得第二损失；将所述第一损失和所述第二损失相加，获得总损失；将所述每种尺度特征图的单维特征向量进行拼接，获得拼接向量；根据所述拼接向量和所述总损失，通过所述学生模型获得结核性脑膜脑炎预测结果。2.根据权利要求1所述的基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，其特征在于，将ResNet50网络作为学生模型，所述对输入的结核性脑膜脑炎图像进行多尺度拆分，获得多尺度特征图，包括：将所述结核性脑膜脑炎图像输入所述学生模型进行多尺度拆分；提取所述学生模型中第二层layer2、第三层layer3和第四层layer4的特征图，获得多尺度特征图。3.根据权利要求2所述的基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，其特征在于，所述将所述多尺度特征图输入至所述特征编码器中，获得每种尺度特征图的单维特征向量，包括：通过所述特征编码器中的卷积层和展平层将所述多尺度特征图转换为多个特征向量；采用注意力机制计算每种特征向量与其他特征向量之间的相关性；根据所述相关性，对每种尺度特征图对应的特征向量通过全局求平均的方式获得所述每种尺度特征图的单维特征向量。4.根据权利要求3所述的基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，其特征在于，通过如下方式获得所述注意力机制：MultiHead(Q，K，V)＝concat(head1(q1，k1，v1)，...，head
h
(q
h
，k
h
，v
h
))W
o
head
i
(q
i
，k
i
，v
i
)＝Attention(q
i
，k
i
，v
i
)其中，Q、K、V表示一组可学习的权重矩阵，q
i
，k
i
，v
i
表示Q、K、V权重矩阵相应的分量，W
o
表示一个可学习的参数，表示比例因子。5.根据权利要求3所述的基于多尺度知识蒸馏的结核性脑膜脑炎预测方法，其特征在于，采用以注意力机制搭建的Swin
‑
Transfomer网络模型作为教师模型，所述采用结核性脑膜脑炎图像数据集对教师模型进行预训练，获得所述教师模型的权重，并根据所述教师模型的权重，获得多尺度教师预测结果，包括：
采用结核性脑膜脑炎图像数据集对所述教师模型进行预训练，获得所述教师模型的权重；输入结核性脑膜脑炎图像至所述教师模型，获取所述教师模型中第二层layer2、第三层layer3和第四层layer4输出的特征向量...

【专利技术属性】
技术研发人员：李文军，朱泽宙，梁伟军，杨红忠，
申请(专利权)人：长沙市中心医院，
类型：发明
国别省市：