一种使用差异信息的2Dmeanteacher模型制造技术

本发明专利技术涉及一种使用差异信息的2D mean teacher模型，其是在mean teacher框架的基础上改进得到的。mean teacher框架是一个比较流行的半监督学习框架，很多优秀的半监督框架都是对其的改造。本发明专利技术在基础的mean teacher基础上，提取出学生模型的预测和教师模型的预测间的差异信息，然后通过约束提取出的差异信息，来保证学生模型和教师模型之间的预测一致性，保证二者可以互相学习。同时，为了进一步保证学生模型和教师模型间的一致性，从而提升模型性能，本发明专利技术利用提取的差异信息，对模型间的一致性损失进行了改进，使其能够更加关注图像的具有挑战性的区域。像的具有挑战性的区域。像的具有挑战性的区域。

【技术实现步骤摘要】
一种使用差异信息的2D mean teacher模型


[0001]本专利技术涉及医学图像分割领域，特别是涉及一种使用差异信息的2D mean teacher模型。

技术介绍

[0002]针对半监督左心房医学图像分割，在半监督左心房医学图像分割任务中大部分的方法均是基于一致性准则来实现的。然而，一部分现有的遵守该原则的半监督方法，为了保证训练的准确性，通常会计算出图像的不确定性，在训练过程中去除不确定性大的区域。例如图1所示：Yu et al.在3Dmean teacher模型中使用Monte Carlo Dropout计算教师模型预测的不确定性区域，这些不确定区域就是具有挑战性的区域，为了让学生模型学到更准确的数据，将不确定性区域高的地方去掉供学生模型学习。
[0003]但是，这些经过Monte Carlo Dropout计算得到的不确定大的区域代表了图像中具有挑战性的部分，包含了较难识别的特征如图2所示，这些特征同样比较重要，不应该被舍弃，盲目丢弃会导致模型无法从这些区域获取一些有用的特征来进行优化，不利于模型性能的提升。
[0004]也有其他方法认识到了这些不确定大的区域也就是具有挑战性区域的重要性。例如图3所示，有人使用循环伪标签方案将两个解码器的预测差异转化为无监督损失，从而使整体框架能够从未标记图片中具有挑战性的区域捕获一定的特征，从而减少两个解码器的预测差异，使两个解码器具有一致的准确预测。
[0005]该方法使用模型间的差异来当作不确定，差异大的区域就是不确定性大的区域，也就是具有挑战性的区域。但是该方法虽然考虑到了模型间的差异，却没有将其提取进一步利用，只是将之转化为无监督损失，这并不能保证模型会关注这些区域，并从中提取特征，而且它只考虑了模型最后输出间的差异，并没有考虑模型中间的输出，这可能导致得到的差异信息不够完整。

技术实现思路

[0006]基于此，在左心房分割任务中有必要针对现有3D模型的性能不够完善并且占用内存大，训练时间长的技术问题，本专利技术提供一种使用差异信息的2Dmean teacher模型。
[0007]本专利技术采用以下技术方案实现：一种使用差异信息的2D mean teacher模型，其为一个2D模型，用于左心房图像的分割，2D mean teacher模型在分割时包括以下步骤：
[0008]步骤一，对得到的左心房数据集进行数据预处理，所述左心房数据集包括多张左心房图像；
[0009]步骤二，将处理好的所述左心房数据集划分为训练集和测试集，训练集中的数据用于2D mean teacher模型的模型训练，经过多次训练，得到一个在训练集上优化的2D mean teacher模型；
[0010]步骤三，使用测试集对训练集得到的模型进行验证，进一步评估模型的性能；
[0011]在步骤一中，对所述左心房数据集中的3D数据，需要先进行切片处理，然后将得到的切片统一变成2D mean teacher模型要求的大小；
[0012]在步骤二中，训练集和测试集的划分比例一般为训练集占80％，测试集占20％，然后将训练集中的切片分成有标签切片和无标签切片，且保证无标签切片的数量要大于有标签切片；
[0013]在步骤三中，2D mean teacher模型包括学生模型和教师模型，训练集中有标签切片全部进入学生模型中进行处理，而无标签切片会进入教师模型和学生模型中进行处理；无论是学生模型还是教师模型都是一个基础的2D Unet网络，但是在Unet网络解码器的最后一个上采样层处额外添加了一个1
×
1的卷积层和sigmoid层，倒数第二个上采样层处额外添加了一个上采样层，1
×
1的卷积层和sigmoid层，从而得到和2D Unet网络最后的预测图同样尺寸的中间预测图。
[0014]作为上述方案的进一步改进，在步骤一中，按照Z轴将3D数据全部变成2D切片，然后对这些2D切片中目标比较暗的图片进行了变亮的操作，同时去除了没有分割目标的2D切片，也就是不包含左心房的2D切片。
[0015]进一步地，对一张图片进行变亮操作是通过整体放大一张图片的像素值来实现。
[0016]作为上述方案的进一步改进，2D mean teacher模型要求的大小为：将2D切片的尺寸变换为128
×
128大小，对应的标签也变换成了128
×
128大小。
[0017]作为上述方案的进一步改进，在2D mean teacher模型中，学生模型和教师模型拥有相同的网络架构，教师模型的权重θ
T
使用学生模型的权重θ
S
的指数移动平均值EMA更新，第t步的教师模型权重将更新为其中η用来控制EMA的更新率，也就是在教师模型第t步的权重中，第t步的学生模型权重和第t
‑
1步的教师模型权重各自所占的比例。
[0018]进一步地，当切片进入到学生模型后，无论是学生模型的最后还是中间都会得到相应的预测结果，然后，对于有标签切片，会计算出一个有监督损失l
sup
，这个有监督损失l
sup
根据的是有标签切片经过学生模型后，在学生模型的最后产生的预测结果和这有标签切片对应的标签计算得到的，如下公式所示：
[0019][0020]其中，l
dice
表示dice损失函数，用来评估有标记切片输入上的网络预测质量；
[0021]i表示有标签切片的序号，取值为1,2,
…
,L，L为正整数表示有标签切片的数量；
[0022]f
s
(
·
)表示学生模型的分割网络；
[0023]θ为学生模型的网络权重；
[0024]x
i
为第i张有标签切片；
[0025]y
i
为第i张有标签切片的标签。
[0026]进一步地，对于分别进入到学生模型和教师模型的无标签切片添加了不同的干扰，进入学生模型的无标签切片和进入教师模型的无标签切片添加的干扰信息不同：
[0027]首先需要计算出学生模型和教师模型对于这相同的无标签切片的预测结果之间的差异；
[0028]为了计算这个差异，需要获得以下信息：学生模型对于这无标签切片的最后的预
测结果、学生模型对于这无标签张切片的中间预测结果和教师模型对于这无标签张切片的最后的预测结果；其中，中间预测结果包括学生模型最后一个上采样层产生的预测结果和学生模型倒数第二个上采样层产生的预测结果；
[0029]差异信息D就是通过计算教师模型对于这无标签切片的最后的预测结果和学生模型对于这无标签切片的最后的预测结果和中间预测结果之间的差异得到的，差异的具体计算方式就是计算图片间的像素差异；
[0030]得到差异信息D后，就可以对其进行监督了：使用一张值全为零的图像与提取出的差异信息D进行计算得到差异损失l
D...

【技术保护点】

【技术特征摘要】
1.一种使用差异信息的2D mean teacher模型，其为一个2D模型，用于左心房图像的分割，2D mean teacher模型在分割时包括以下步骤：步骤一，对得到的左心房数据集进行数据预处理，所述左心房数据集包括多张左心房图像；步骤二，将处理好的所述左心房数据集划分为训练集和测试集，训练集中的数据用于2D mean teacher模型的模型训练，经过多次训练，得到一个在训练集上优化的2D mean teacher模型；步骤三，使用测试集对训练集得到的模型进行验证，进一步评估模型的性能；其特征在于：在步骤一中，对所述左心房数据集中的3D数据，需要先进行切片处理，然后将得到的切片统一变成2D mean teacher模型要求的大小；在步骤二中，训练集和测试集的划分比例一般为训练集占80％，测试集占20％，然后将训练集中的切片分成有标签切片和无标签切片，且保证无标签切片的数量要大于有标签切片；在步骤三中，2D mean teacher模型包括学生模型和教师模型，训练集中有标签切片全部进入学生模型中进行处理，而无标签切片会进入教师模型和学生模型中进行处理；无论是学生模型还是教师模型都是一个基础的2D Unet网络，但是在Unet网络解码器的最后一个上采样层处额外添加了一个1
×
1的卷积层和sigmoid层，倒数第二个上采样层处额外添加了一个上采样层，1
×
1的卷积层和sigmoid层，从而得到和2D Unet网络最后的预测图同样尺寸的中间预测图。2.根据权利要求1所述的使用差异信息的2D mean teacher模型，其特征在于，在步骤一中，按照Z轴将3D数据全部变成2D切片，然后对这些2D切片中目标比较暗的图片进行了变亮的操作，同时去除了没有分割目标的2D切片，也就是不包含左心房的2D切片。3.根据权利要求2所述的使用差异信息的2D mean teacher模型，其特征在于，对一张图片进行变亮操作是通过整体放大一张图片的像素值来实现。4.根据权利要求1所述的使用差异信息的2D mean teacher模型，其特征在于，2D mean teacher模型要求的大小为：将2D切片的尺寸变换为128
×
128大小，对应的标签也变换成了128
×
128大小。5.根据权利要求1所述的使用差异信息的2D mean teacher模型，其特征在于，在2D mean teacher模型中，学生模型和教师模型拥有相同的网络架构，教师模型的权重θ
T
使用学生模型的权重θ
S
的指数移动平均值EMA更新，第t步的教师模型权重将更新为其中η用来控制EMA的更新率，也就是在教师模型第t步的权重中，第t步的学生模型权重和第t
‑
1步的教师模型权重各自所占的比例。6.根据权利要求5所述的使用差异信息的2D mean teacher模型，其特征在于，当切片进入到学生模型后，无论是学生模型的最后还是中间都会得到相应的预测结果，然后，对于有标签切片，会计算出一个有监督损失l
sup
，这个有监督损失l
sup
根据的是有标签切片经过学生模型后，在学生模型的最后产生的预测结果和这有标签切片对应的标签计算得到的，如下公式所示：
其中，l
dice
表示dice损失函数，用来评估有标记切片输入上的网络预测质量；i表示有标签切片的序号，取值为1,2,
…
,L，L为正整数表示有标签切片的数量；f
s
(
·
)表示学生模型的分割网络；θ为学生模型的网络权重；x
i
为第i张有标签切片；y
i
为第i张有标签切片的标签。7.根据权利要求6所述的使用差异信息的2D mean teacher模型，其特征在于，对于分别进入到学生模型和教师模型的无标签切片...

【专利技术属性】
技术研发人员：杜秀全，王召鹤，邹军国，吴昌雨，
申请(专利权)人：安徽大学，
类型：发明
国别省市：