基于跨模型相互教学半监督的房颤辅助分析方法技术

本发明专利技术为基于跨模型相互教学半监督的房颤辅助分析方法，引入可变形的Transformer，构建左心房分割模型，使左心房分割模型能够提取图像之间的长依赖信息，充分利用心脏核磁共振图像的空间信息提高左心房区域的分割精度；其次，搭建基于跨模型相互教学的半监督训练框架对左心房分割模型进行训练，利用训练后的左心房分割模型对3D心脏核磁共振图像进行分割，生成左心房分割预测图；最后，将生成的左心房分割预测图进行重建，计算左心房的直径、体积、体积指数和左心房球形度四种临床指标，并参考正常参考值范围，结合临床经验辅助医生进行房颤分析。该方法通过跨模型相互教学的半监督机制，在医学数据缺乏的情形下缓解了模型对标签数据的依赖。数据的依赖。数据的依赖。

【技术实现步骤摘要】
基于跨模型相互教学半监督的房颤辅助分析方法


[0001]本专利技术属于房颤辅助分析
，特别是涉及一种基于跨模型相互教学半监督的房颤辅助分析方法。

技术介绍

[0002]房颤作为最常见的心脏疾病，通常表现为持续性心率失常和左心房增大，因此左心房的解剖结构能够为房颤病理分析提供重要信息，而左心房的直径、体积、体积指数和球形度这四个指标可以为房颤评估和分析提供重要依据，故准确计算这些指标值对房颤评估具有重要作用。然而，准确计算指标值依赖于左心房轮廓的准确描绘，目前在临床诊断上医生主要通过从心脏核磁共振图像手动分割左心房区域，不仅耗费时间，而且分割准确度较低。
[0003]随着深度学习技术的发展，基于深度学习的图像分割方法取得了良好的效果。目前大多数可用的临床数据库规模较小，因此很难使用全监督学习方式训练模型。对于医学影像来说获取大量的标签数据是一个费时费力的过程，标签结果受到医生主观影像较大。相较于标签数据，无标签数据是容易获得且能够大量提供，如何利用有限的标签数据和大量的无标签数据进行半监督学习已经成为很多研究者关注的重点。目前，在半监督学习中主要面临两大难点：1)一致性正则化约束问题。一致性正则化约束通过添加扰动加强模型在预测过程或者中间特征提取过程中的一致性。对于同一个无标签数据通过在扰动过程中随机扩充图像，使得模型在前向传播中获得两个不同的预测结果，并在增强图像的预测之间加入一致性约束，从而使模型更加关注低密度区域，以提高分割性能。一般来说，大多数教师
‑
学生模型训练框架中使用的是基于指数移动平均(EMA)方法更新教师参数。然而，指数移动平均更侧重于在训练过程中的每个阶段对学生模型的参数进行加权，并没有评估模型生成的伪标签的质量。随着训练次数的增加，教师模型会累积学习到学生模型的参数，同时也会累积参数中的错误知识，这样不能够保证教师模型能够提供更好的伪标签进行监督。2)模型空间信息获取能力不足。在已有的大多数研究中采用的是基于纯卷积神经网络(CNN)的医学影像分割方法，其中大部分模型都是基于U
‑
Net/V
‑
Net模型及其变体衍化而来的，虽然在各种任务中取得了不错的结果，但是由于卷积运算有一定的局限性，基于CNN的方法对于全局信息和长依赖信息的建模能力有限，而且大多数医学影像都是基于3D结构的，每张图像之间都有很多空间信息，这些空间信息在CNN模型中无法很好地被获取。

技术实现思路

[0004]针对现有技术的不足，本专利技术拟解决的技术问题是，提出一种基于跨模型相互教学半监督的房颤辅助分析方法。
[0005]本专利技术解决所述技术问题采用的技术方案如下：
[0006]一种基于跨模型相互教学半监督的房颤辅助分析方法，包括以下步骤：
[0007]S1、在训练阶段采用包含随机翻转、对比度增强以及随机裁剪在内的方式进行数
据增强，在推理阶段采用中心裁剪进行数据增强，将待分割的3D心脏核磁共振图像裁剪为规定大小；
[0008]S2、引入可变形的Transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3D可变形的Transformer编码器和基于卷积神经网络的解码器；
[0009]基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、归一化层、激活层和下采样层，待分割的3D心脏核磁共振图像通过基于卷积神经网络的编码器进行特征提取，得到多尺度空间特征图；
[0010]3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成，每个3D可变形的Transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层采用残差连接；
[0011]基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编码器中，通过3D位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点，3D可变形的自注意力机制是将注意力机制在Z轴方向拓展得到，表达式为：
[0012][0013]式中，表示3D可变形的多头注意力机制，z
q
表示像素点的坐标，表示z
q
的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，M表示自注意力头数，L表示空间特征图数量，W
m
、W
′
m
均表示单位矩阵，K表示像素点的数量，Δp
mlqk
和A
mlqk
分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征图；
[0014]基于卷积神经网络的解码器包括与编码器层数量相同的解码器层，除最后一个解码器层为上采样层外，其余解码器层均为转置卷积；
[0015]S3、搭建基于跨模型相互教学的半监督训练框架；将左心房分割模型作为教师模型，V
‑
Net模型作为学生模型，监督损失L
sup
的表达式为：
[0016]L
sup
＝0.5
×
(L
CE
(y
i
,p
i
)+L
DICE
(y
i
,p
i
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]式中，L
CE
(y
i
,p
i
)、L
DICE
(y
i
,p
i
)分别表示左心房分割预测图p
i
与真实标签y
i
之间的交叉熵损失和骰子系数损失；
[0018]对于未标签数据，使用跨模型相互教学的半监督训练，3D心脏核磁共振图像分别输入到教师模型和学生模型中产生两个伪标签，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签；对生成的伪标签进行过滤，将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
[0019][0020]其中，分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；表示伪标签，包括教师模型为学生模型提供的伪标签和学生模型为教师模型提供的伪标签左心房分割预测图p
i
包括教师模型和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模型相互教学半监督的房颤辅助分析方法，其特征在于，该方法包括以下步骤：S1、在训练阶段采用包含随机翻转、对比度增强以及随机裁剪在内的方式进行数据增强，在推理阶段采用中心裁剪进行数据增强，将待分割的3D心脏核磁共振图像裁剪为规定大小；S2、引入可变形的Transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3D可变形的Transformer编码器和基于卷积神经网络的解码器；基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、归一化层、激活层和下采样层，待分割的3D心脏核磁共振图像通过基于卷积神经网络的编码器进行特征提取，得到多尺度空间特征图；3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成，每个3D可变形的Transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层采用残差连接；基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编码器中，通过3D位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点，3D可变形的自注意力机制是将注意力机制在Z轴方向拓展得到，表达式为：式中，表示3D可变形的多头注意力机制，z
q
表示像素点的坐标，表示z
q
的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，M表示自注意力头数，L表示空间特征图数量，W
m
、W
m
均表示单位矩阵，K表示像素点的数量，Δp
mlqk
和A
mtqk
分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征图；基于卷积神经网络的解码器包括与编码器层数量相同的解码器层，除最后一个解码器层为上采样层外，其余解码器层均为转置卷积；S3、搭建基于跨模型相互教学的半监督训练框架；将左心房分割模型作为教师模型，V
‑
Net模型作为学生模型，监督损失L
sup
的表达式为：L
sup
＝0.5
×
(L
CE
(y
i
，p
i
)+L
DICE
(y
i
，p
i
))
ꢀꢀꢀꢀ
(4)式中，L
CE
(y
i
，p
i
)、L
DICE
(y
i
，p
i
)分别表示左心房分割预测图p
i
与真实标签y
i
之间的交叉熵损失和骰子系数损失；对于未标签数据，使用跨模型相互教学的半监督训练，3D心脏核磁共振图像分别输入到教师模型和学生模型中产生两个伪标签，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签；对生成的伪标签进行过滤，...

【专利技术属性】
技术研发人员：向顺，王健儒，王元全，郭世杰，苏卫华，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：