【技术实现步骤摘要】
本专利技术公开了一种模态缺失医学图像分割方法、装置、终端及存储介质，属于医学图像处理。
技术介绍
1、图像分割根据需求的不同可以大致分为语义分割和实例分割。医学图像分割作为图像处理的一个重要领域，旨在从复杂的医学图像中描绘出特定的生物结构，如器官的轮廓或病灶的形状，从而辅助医生进行临床诊断并提高诊断和治疗的准确性。
2、医学图像分割的方法根据不同的方法和技术可以大致分为两类：基于边缘的方法、基于阈值的方法、基于传统机器学习的方法等数学方法，以及基于深度学习的方法。其中，基于深度学习的方法以其强大的提取多层次图像特征和上下文信息的能力得到了广泛的关注和发展。
3、另一方面，不同模态的医学图像之间的互补信息的协同作用能显著提高医学诊断的效能，进而提高医学图像分割的表现。不幸的是，归因于扫描设备的不同、漫长的扫描时间以及其他不利因素，在实际的临床场景下获得一组全面的模态数据往往相当困难。例如某些模态需要注射造影剂，这可能会对患者的健康造成损害。因此临床上常常遇到所需医学图像模态不充足的情况。
4、针对模态缺失的问题当前有一些方法被提出。这包括对缺失的模态进行合成，但这种方法在极端缺失模态的场景下表现远远不够。另一类方法聚焦于将可用的模态映射到共享的隐藏空间，并基于构建的隐藏表示恢复缺失的信息，这类方法在面对多个模态的缺失时表现往往不佳。第三类方法尝试通过知识蒸馏将多模态教师网络的知识传递给单模态学生网络，当只有一种模态可用时这类方法可以取得更好的效果。
5、针对以上现状，迫切需要研究一种
技术实现思路
1、针对现有技术的缺陷，本专利技术提出一种模态缺失医学图像分割方法、装置、终端及存储介质，解决目前医学图像分割的方法存在的问题。
2、本专利技术的技术方案如下：
3、根据本专利技术实施例的第一方面，提供一种模态缺失医学图像分割方法，包括：
4、获取三维医学图像，将所述三维医学图像正则化得到正则化后的三维医学图像；
5、将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据；
6、将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征；
7、将所述进一步丰富后的高维图像特征输入到分割解码器当中得到最终分割结果。
8、优选的是，所述将所述三维医学图像正则化得到正则化后的三维医学图像，包括：
9、将高度为h、宽度为w、深度为d的所述医学图像划分为h/p×w/p×d/p个不相交的图块，其中每个图块的大小是p×p×p；
10、h/p×w/p×d/p个不相交的所述图块通过公式(1)对输入图像进行正则化得到正则化后的三维医学图像：
11、
12、其中，yp，c是第c个类别的标签值，yp，c是图块选择子任务模块的输出，lbce表示二元交叉熵损失函数。
13、优选的是，所述将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据，包括：
14、将所述正则化后的三维医学图像的高级抽象特征通过编码器中的多层卷积块提取；
15、将所述高级抽象特征由全连接层进行整合得到高维图像特征输出数据。
16、优选的是，所述多层卷积块包括：二维卷积模块、batchnorm模块和relu激活函数模块。
17、优选的是，所述将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征，包括：
18、将所述高维图像特征输出数据通过一个投影头，通过公式(2)-(4)得到进一步丰富后的高维图像特征：
19、lkd(ps，pt)＝lbce(σ(ps/t1)，σ(pt/t1)) (2)
20、其中，ps和pt分别表示学生模型和教师模型的logits输出，t1是像素级知识蒸馏的温度超参数，σ是sigmoid操作，lbce为二元交叉熵损失函数，lkd表示广义像素级知识蒸馏损失函数；
21、
22、其中，和分别表示学生模型和教师模型的图块选择头的logits输出，t2是图块级知识蒸馏的温度超参数，σ是sigmoid操作，lbce为二元交叉熵损失函数，lpskd表示图块级知识蒸馏损失函数；
23、
24、式中，n表示图块的数量，表示学生模型的第i个嵌入向量，是教师模型嵌入中的唯一正样本，是教师模型嵌入中的负样本，ns表示的负样本集合，sim表示余弦相似度函数，τ是温度缩放参数，lcont表示图块级对比知识蒸馏损失函数。
25、根据本专利技术实施例的第二方面，提供一种模态缺失医学图像分割装置，包括：
26、正则化模块，用于获取三维医学图像，将所述三维医学图像正则化得到正则化后的三维医学图像；
27、提取整合模块，用于将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据；
28、知识蒸馏模块，用于将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征；
29、目标结果分割模块，用于将所述进一步丰富后的高维图像特征输入到分割解码器中得到最终分割结果。
30、根据本专利技术实施例的第三方面，提供一种终端，包括：
31、一个或多个处理器；
32、用于存储所述一个或多个处理器可执行指令的存储器；
33、其中，所述一个或多个处理器被配置为：
34、执行本专利技术实施例的第一方面所述的方法。
35、根据本专利技术实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行本专利技术实施例的第一方面所述的方法。
36、根据本专利技术实施例的第五方面，提供一种应用程序产品，当应用程序产品在终端在运行时，使得终端执行本专利技术实施例的第一方面所述的方法。
37、本专利技术的有益效果在于：
38、本专利技术提供一种模态缺失医学图像分割方法、装置、终端及存储介质，通过面向图块选择的子任务完成正则化，使模型能够识别具有特定类别像素的图块，还采用对比学习的方法，根据图块级别标签的指示，在嵌入层中定义正负样本对，鼓励学生模型在表示中学习与教师模型的相似性和差异性，从而从单模态输入中提取更多的潜在信息，最终提高在单模态情境下的分割性能，得到高质量的分割结果。
39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
本文档来自技高网...【技术保护点】
1.一种模态缺失医学图像分割方法，其特征在于，包括：
2.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述将所述三维医学图像正则化得到正则化后的三维医学图像，包括：
3.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据，包括：
4.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述多层卷积块包括：二维卷积模块、BatchNorm模块和ReLU激活函数模块。
5.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征，包括：
6.一种模态缺失医学图像分割装置，其特征在于，包括：
7.一种终端，其特征在于，包括：
8.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行如权利要求1至5任一所述的模态缺失医学图像分割方法。
【技术特征摘要】
1.一种模态缺失医学图像分割方法，其特征在于，包括：
2.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述将所述三维医学图像正则化得到正则化后的三维医学图像，包括：
3.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据，包括：
4.根据权利要求1所述的一种模态缺失医学图像分割方法，其特征在于，所述多层卷积块包括：二维卷积模块、batchn...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。