基于知识蒸馏的DSA影像语义分割方法、系统及存储介质技术方案

本发明专利技术公开了一种基于知识蒸馏的DSA影像语义分割方法、系统及存储介质。所述方法在UNet网络结构上引入了语义掩膜知识蒸馏技术，在每个编码器阶段和解码器阶段都设置了一个语义掩膜层，该层可以根据输入特征图生成一个二值化的语义掩膜图。将教师模型生成的语义掩膜图作为监督信号来指导学生模型生成相似或者一致的语义掩膜图，并计算两者之间的损失函数。本发明专利技术可以有效地提取教师模型中的语义掩码特征，将其传递给学生模型，提高学生模型的泛化能力和鲁棒性；可以根据不同任务的特点，自适应地生成不同形状和大小的掩码，从而减少信息损失和噪声干扰；可实现多种任务之间的知识转移，节省计算资源和时间成本；减少背景噪声和伪影的干扰。声和伪影的干扰。声和伪影的干扰。

【技术实现步骤摘要】
基于知识蒸馏的DSA影像语义分割方法、系统及存储介质


[0001]本专利技术涉及DSA影像语义分割
，更具体地，涉及一种基于知识蒸馏的DSA影像语义分割方法、系统及存储介质。

技术介绍

[0002]数字减影血管造影(Digital Subtraction Angiography,DSA)是一种利用X射线和计算机技术对血管结构和功能进行动态显示的医学影像技术。它在心血管疾病的诊断和介入手术治疗等领域内具有重要的辅助参考意义，被认为是血管疾病诊断的“金标准”。
[0003]然而，DSA影像在临床上也存在一些困难和局限性。在进行医学成像时，往往受到患者运动、心跳、呼吸等因素的干扰，容易产生运动伪影、重叠伪影等噪声，导致产生的DSA影像具有模糊和对比度低的特点，加之临床医生对DSA影像的辨识经验因人而异，对血管等有用信息的观察和分析存在主观偏差和误差，会对相关诊疗效果产生不良影响。
[0004]为了解决上述临床痛点，人们采用了语义分割技术来对DSA影像进行处理，从中提取出有用的信息，以辅助医生诊疗。目前主流的DSA影像语义分割技术有基于图划分与形态学的算法、马尔科夫随机场算法、与深度学习方法等。但传统的语义分割方法难以获得准确和鲁棒的结果。
[0005]四川工商学院的黄晓雪等提出了一种冠脉造影方法、设备及计算机可读存储介质【申请号：CN201910568453.7】，该方法提供了一种大津法结合阈值化处理的图形学冠脉造影分割方法。但该方法分割出的图形具有大量的斑点噪声，仍会干扰医生或智慧医疗系统的判断。
[0006]北京悦唯医疗科技有限责任公司提出了一种造影图像冠脉分割方法、电子设备、处理系统及存储介质【申请号：CN202211706591.5】，该方法提供了一种利用关键编码器和记忆造影图像片段进行心血管造影图像冠脉分割的方法，能够提高分割准确度，但该训练方法需要大量的造影图像，通常相关医疗图像由于其特殊性，数量较少。

技术实现思路

[0007]针对现有技术的上述缺陷，本专利技术提供了一种基于知识蒸馏的DSA影像语义分割方法及系统，在UNet网络结构上引入了语义掩膜知识蒸馏技术，具体地，在每个编码器阶段和解码器阶段都设置了一个语义掩膜层(Semantic Mask Layer)，该层可以根据输入特征图生成一个二值化的语义掩膜图(Semantic Mask Map)，表示每个像素点所属类别或者前景/背景区域。然后将教师模型生成的语义掩膜图作为监督信号来指导学生模型生成相似或者一致的语义掩膜图，并计算两者之间的损失函数(Loss Function)。通过这种方式，可以使得学生模型在每个阶段都能够捕捉到教师模型中包含的丰富而有用的语义信息和结构信息，并加速其收敛过程。
[0008]为实现上述目的，一方面，本专利技术提供一种基于知识蒸馏技术的DSA影像语义分割方法，其特征在于，包括以下步骤：
[0009]步骤S101、对DSA影像数据集进行预处理操作，按次序执行裁剪、缩放，使得图片大小达到一致，再执行归一化操作；
[0010]步骤S102、选取已预训练完成的DeepLabV3网络作为教师模型，并在其每个编码器阶段和解码器阶段添加一个语义掩膜层；
[0011]步骤S103、初始化裁剪部分参数，以降低复杂度和计算量的UNet网络作为学生模型，并在其每个编码器阶段和解码器阶段添加一个与教师模型对应位置相同类型但参数可变化的语义掩膜层；
[0012]步骤S104、在训练过程中，给定一批DSA影像输入所述教师模型和学生模型，并分别得到它们的输出特征图和语义掩膜图；
[0013]步骤S105、计算教师模型输出特征图与真实标签之间的第一交叉熵损失函数，作为教师模型的监督信号；计算学生模型输出特征图与真实标签之间的第二交叉熵损失函数，作为学生模型的监督信号；
[0014]步骤S106、计算所述教师模型和学生模型在每个阶段生成的语义掩膜图之间的均方误差损失函数，作为知识蒸馏信号；
[0015]步骤S107、将所述第一交叉熵损失函数、第二交叉熵损失函数和均方误差损失函数按比例加权求和，得到最终的总体损失函数，并对教师模型和学生模型进行反向传播和参数更新；
[0016]步骤S108、重复所述步骤S107直到达到预设的训练轮数或者满足收敛条件，然后保存训练好的学生模型，并用其对新的DSA影像进行分割预测。
[0017]进一步地，所述DeepLabV3网络采用ASPP model结构，具体结构为ResNet101，参数传递为：利用骨干模型提取图像特征。
[0018]进一步地，所述ASPP model结构使用ResNet101，所述骨干模型的最后几层使用了空洞卷积；最后，所述ASPP model结构将输出图像的不同像素进行分类，并通过1
×
1卷积层进行处理以恢复其原始大小。
[0019]进一步地，所述UNet网络为五层结构。
[0020]进一步地，假设教师模型输出特征图为T，学生模型输出特征图为S，真实标签为Y，教师模型和学生模型在第i个阶段生成的语义掩膜图分别为M
iT
和M
iS
，总体损失函数可以表示为：
[0021][0022]其中L
CE
表示交叉熵损失函数，定义为：
[0023][0024]其中P，Q表示两个概率分布向量，C表示类别数；
[0025]L
MSE
表示均方误差损失函数，定义为：
[0026][0027]其中X，Z表示两个语义掩膜图，H，W分别表示高度和宽度；
[0028]α，β，γ表示三种损失函数的权重系数。
[0029]另一方面，本专利技术提供一种基于知识蒸馏技术的DSA影像语义分割系统，其特征在于，包括图像预处理模块、知识蒸馏模块和图像预测模块：
[0030]所述图像预处理模块对DSA影像数据集进行预处理操作，按次序执行裁剪、缩放，使得图片大小达到一致，再执行归一化操作；
[0031]所述知识蒸馏模块包括教师模型、学生模型，用以训练所述学生模型；已预训练完成的DeepLabV3网络作为教师模型，并在其每个编码器阶段和解码器阶段添加一个语义掩膜层；初始化裁剪部分参数，以降低复杂度和计算量的UNet网络作为学生模型，并在其每个编码器阶段和解码器阶段添加一个与教师模型对应位置相同类型但参数可变化的语义掩膜层；所述知识蒸馏模块计算教师模型输出特征图与真实标签之间的第一交叉熵损失函数，作为教师模型的监督信号；计算学生模型输出特征图与真实标签之间的第二交叉熵损失函数，作为学生模型的监督信号；计算所述教师模型和学生模型在每个阶段生成的语义掩膜图之间的均方误差损失函数，作为知识蒸馏信号；将所述第一交叉熵损失函数、第二交叉熵损失函数和均方误差损失函数按比例加权求和，得到最终的总体损失函数，并对教师模型和学生模型进行反向传播和参数更新；
[0032]所述图像预测模块包括训练好的学生模型，采用所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏技术的DSA影像语义分割方法，其特征在于，包括以下步骤：步骤S101、对DSA影像数据集进行预处理操作，按次序执行裁剪、缩放，使得图片大小达到一致，再执行归一化操作；步骤S102、选取已预训练完成的DeepLabV3网络作为教师模型，并在其每个编码器阶段和解码器阶段添加一个语义掩膜层；步骤S103、初始化裁剪部分参数，以降低复杂度和计算量的UNet网络作为学生模型，并在其每个编码器阶段和解码器阶段添加一个与教师模型对应位置相同类型但参数可变化的语义掩膜层；步骤S104、在训练过程中，给定一批DSA影像输入所述教师模型和学生模型，并分别得到它们的输出特征图和语义掩膜图；步骤S105、计算教师模型输出特征图与真实标签之间的第一交叉熵损失函数，作为教师模型的监督信号；计算学生模型输出特征图与真实标签之间的第二交叉熵损失函数，作为学生模型的监督信号；步骤S106、计算所述教师模型和学生模型在每个阶段生成的语义掩膜图之间的均方误差损失函数，作为知识蒸馏信号；步骤S107、将所述第一交叉熵损失函数、第二交叉熵损失函数和均方误差损失函数按比例加权求和，得到最终的总体损失函数，并对教师模型和学生模型进行反向传播和参数更新；步骤S108、重复所述步骤S107直到达到预设的训练轮数或者满足收敛条件，然后保存训练好的学生模型，并用其对新的DSA影像进行分割预测。2.根据权利要求1所述的一种基于知识蒸馏技术的DSA影像语义分割方法，其特征在于，所述DeepLabV3网络采用ASPP model结构，具体结构为ResNet101，参数传递为：利用骨干模型提取图像特征。3.根据权利要求2所述的一种基于知识蒸馏技术的DSA影像语义分割方法，其特征在于，所述ASPP model结构使用ResNet101，所述骨干模型的最后几层使用了空洞卷积；最后，所述ASPP model结构将输出图像的不同像素进行分类，并通过1
×
1卷积层进行处理以恢复其原始大小。4.根据权利要求2所述的一种基于知识蒸馏技术的DSA影像语义分割方法，其特征在于，所述UNet网络为五层结构。5.根据权利要求1或4所述的一种基于知识蒸馏技术的DSA影像语义...

【专利技术属性】
技术研发人员：齐鹏，姚天亮，王玉，汪颖，
申请(专利权)人：同济大学，
类型：发明
国别省市：