一种基于深度学习联盟训练的医疗图像分割方法及系统技术方案

本发明专利技术公开一种基于深度学习联盟训练的医疗图像分割方法及系统，方法包括：基于自注意力机制构建图像分割模型；获取医疗图像样本数据集，基于所述医疗图像样本数据集对所述图像分割模型进行训练，得到目标图像分割模型；将实时的医疗图像输入至所述目标图像分割模型中，得到模型预测结果，其中，所述模型预测结果包括目标区域以及目标区域类别

【技术实现步骤摘要】
一种基于深度学习联盟训练的医疗图像分割方法及系统


[0001]本专利技术属于图像分割
，尤其涉及一种基于深度学习联盟训练的医疗图像分割方法及系统
。

技术介绍

[0002]医疗图像分割是一项重要的任务，它可以帮助医生诊断病情，量化病变区域，规划手术和疗程规划
。
但是，由于医学图像的复杂性和多变性，医疗图像分割任务仍然面临着许多挑战
。
[0003]传统的基于人工智能尤其是深度学习技术在医疗图像分割模型训练中通常需要大量的高质量标注数据进行端到端
(End to End)
训练
。
医疗影像数据往往受到器械病患情况，法律准则限制，同时大量标注数据的获取成本非常高，极大限制了深度学习技术在医疗影像中的应用
。

技术实现思路

[0004]本专利技术提供一种基于深度学习联盟训练的医疗图像分割方法及系统，用于解决需要大量的高质量标注数据对医疗图像分割模型进行训练的技术问题
。
[0005]第一方面，本专利技术提供一种基于深度学习联盟训练的医疗图像分割方法，包括：
[0006]基于自注意力机制构建图像分割模型，其中，所述图像分割模型包括第一神经网络视觉模型和第二神经网络视觉模型，所述第一神经网络视觉模型和所述第二神经网络视觉模型中均包含
U
型编码器
‑
解码器架构；
[0007]获取医疗图像样本数据集，基于所述医疗图像样本数据集对所述图像分割模型进行训练，得到目标图像分割模型，其中，所述医学图像数据中包含对医疗图像进行高质量标注的第一子样本数据集
L、
对医疗图像进行稀疏标注的第二子样本数据集
S
以及未对医疗图像进行标注的第三子样本数据集
U
，所述目标图像分割模型的损失函数
Loss
为：
[0008]Loss
＝
Loss
precise
‑1+Loss
precise
‑2+Loss
limit
‑1+Loss
limit
‑2+Loss
imprecise
‑1+Loss
imprecise
‑2，
[0009]式中，
Loss
precise
‑1为第一神经网络视觉模型在第一子样本数据集
L
上的第一精准损失函数，
Loss
precise
‑2为第二神经网络视觉模型在第一子样本数据集
L
上的第二精准损失函数，
Loss
limit
‑1为第一神经网络视觉模型在第二子样本数据集
S
上的第一稀疏损失函数，
Loss
limit
‑2为第二神经网络视觉模型在第二子样本数据集
S
上的第二稀疏损失函数，
Loss
imprecise
‑1为第一神经网络视觉模型在第三子样本数据集
U
上的第一涂鸦损失函数，
Loss
imprecise
‑2为第二神经网络视觉模型在第三子样本数据集
U
上的第二涂鸦损失函数；
[0010]将实时的医疗图像输入至所述目标图像分割模型中，得到模型预测结果，其中，所述模型预测结果包括目标区域以及目标区域类别
。
[0011]第二方面，本专利技术提供一种基于深度学习联盟训练的医疗图像分割方法，包括：
[0012]构建模块，配置为基于自注意力机制构建图像分割模型，其中，所述图像分割模型
包括第一神经网络视觉模型和第二神经网络视觉模型，所述第一神经网络视觉模型和所述第二神经网络视觉模型中均包含
U
型编码器
‑
解码器架构；
[0013]训练模块，配置为获取医疗图像样本数据集，基于所述医疗图像样本数据集对所述图像分割模型进行训练，得到目标图像分割模型，其中，所述医学图像数据中包含对医疗图像进行高质量标注的第一子样本数据集
L、
对医疗图像进行稀疏标注的第二子样本数据集
S
以及未对医疗图像进行标注的第三子样本数据集
U
，所述目标图像分割模型的损失函数
Loss
为：
[0014]Loss
＝
Loss
precise
‑1+Loss
precise
‑2+Loss
limit
‑1+Loss
limit
‑2+Loss
imprecise
‑1+Loss
imprecise
‑2，
[0015]式中，
Loss
precise
‑1为第一神经网络视觉模型在第一子样本数据集
L
上的第一精准损失函数，
Loss
precise
‑2为第二神经网络视觉模型在第一子样本数据集
L
上的第二精准损失函数，
Loss
limit
‑1为第一神经网络视觉模型在第二子样本数据集
S
上的第一稀疏损失函数，
Loss
limit
‑2为第二神经网络视觉模型在第二子样本数据集
S
上的第二稀疏损失函数，
Loss
imprecise
‑1为第一神经网络视觉模型在第三子样本数据集
U
上的第一涂鸦损失函数，
Loss
imprecise
‑2为第二神经网络视觉模型在第三子样本数据集
U
上的第二涂鸦损失函数；
[0016]预测模块，配置为将实时的医疗图像输入至所述目标图像分割模型中，得到模型预测结果，其中，所述模型预测结果包括目标区域以及目标区域类别
。
[0017]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的基于深度学习联盟训练的医疗图像分割方法的步骤
。
[0018]第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本专利技术任一实施例的基于深度学习联盟训练的医疗图像分割方法的步骤
。
[0019]本申请的一种基于深度学习联盟训练的医疗图像分割方法及系统，提出使用基于自注意力机制的改进型
Vision Transformer
医学图像分割模型，并且采用联盟监督训练方法，结合监督，半监督和弱监督训练的联盟监督训练优势，达到同时利用少量高质量标注数据，少量低质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习联盟训练的医疗图像分割方法，其特征在于，包括：基于自注意力机制构建图像分割模型，其中，所述图像分割模型包括第一神经网络视觉模型和第二神经网络视觉模型，所述第一神经网络视觉模型和所述第二神经网络视觉模型中均包含
U
型编码器
‑
解码器架构；获取医疗图像样本数据集，基于所述医疗图像样本数据集对所述图像分割模型进行训练，得到目标图像分割模型，其中，所述医学图像数据中包含对医疗图像进行高质量标注的第一子样本数据集
L、
对医疗图像进行稀疏标注的第二子样本数据集
S
以及未对医疗图像进行标注的第三子样本数据集
U
，所述目标图像分割模型的损失函数
Loss
为：
Loss
＝
Loss
precise
‑1+Loss
precise
‑2+Loss
limit
‑1+Loss
limit
‑2+Loss
imprecise
‑1+Loss
imprecise
‑2，式中，
Loss
precise
‑1为第一神经网络视觉模型在第一子样本数据集
L
上的第一精准损失函数，
Loss
precise
‑2为第二神经网络视觉模型在第一子样本数据集
L
上的第二精准损失函数，
Loss
limit
‑1为第一神经网络视觉模型在第二子样本数据集
S
上的第一稀疏损失函数，
Loss
limit
‑2为第二神经网络视觉模型在第二子样本数据集
S
上的第二稀疏损失函数，
Loss
imprecise
‑1为第一神经网络视觉模型在第三子样本数据集
U
上的第一涂鸦损失函数，
Loss
imprecise
‑2为第二神经网络视觉模型在第三子样本数据集
U
上的第二涂鸦损失函数；将实时的医疗图像输入至所述目标图像分割模型中，得到模型预测结果，其中，所述模型预测结果包括目标区域以及目标区域类别
。2.
根据权利要求1所述的一种基于深度学习联盟训练的医疗图像分割方法，其特征在于，所述获取医疗图像样本数据集，基于所述医疗图像样本数据集对所述图像分割模型进行训练，得到目标图像分割模型包括：获取对医疗图像进行高质量标注的第一子样本数据集
L
，将所述第一子样本数据集
L
中的各组第一子样本数据
(X
l
，
Y
l
)
分别输入至所述第一神经网络视觉模型和所述第二神经网络视觉模型中，得到第一预测结果
Y
p1
和第二预测结果
Y
p2
，其中，
X
l
为高质量标注的医疗图像的目标区域，
Y
l
为高质量标注的医疗图像的目标区域类别；根据所述第一预测结果
Y
p1
和所述第二预测结果
Y
p2
计算第一神经网络视觉模型在第一子样本数据集
L
上的第一精准损失函数以及第二神经网络视觉模型在第一子样本数据集
L
上的第二精准损失函数，其中，所述第一精准损失函数
Loss
precise
‑1的表达式为：
Loss
precise
‑1＝
CE(Y
p1
，
Y
l
)
，所述第二精准损失函数
Loss
precise
‑2的表达式为：
Loss
precise
‑2＝
CE(Y
p2
，
Y
l
)
，式中，
CE
为交叉熵，
i
为第
i
个像素点，
p、q
分别为真实值和模型预测的预测值，
n
为分割任务下不同目标区域数量；根据所述第一精准损失函数和所述第二精准损失函数分别对所述第一神经网络视觉模型的第一模型参数
θ1和所述第二神经网络视觉模型的第二模型参数
θ2进行优化
。3.
根据权利要求2所述的一种基于深度学习联盟训练的医疗图像分割方法，其特征在于，在根据所述第一精准损失函数和所述第二精准损失函数分别对所述第一神经网络视觉
模型的第一模型参数
θ1和所述第二神经网络视觉模型的第二模型参数
θ2进行优化之后，所述方法还包括：获取对医疗图像进行稀疏标注的第二子样本数据集
S
，将第二子样本数据集
S
中的各组第二子样本数据
(X
s
，
Y
scribble
)
分别输入至优化后的第一神经网络视觉模型和第二神经网络视觉模型中，得到第一优化预测结果
Y
′
p1
和第二优化预测结果
Y
′
p2
，其中，
X
s
为稀疏标注的医疗图像的目标区域，
Y
scribble
为稀疏标注的医疗图像的目标区域类别；根据所述第一优化预测结果
Y
′
p1
和所述第二优化预测结果
Y
′
p2
计算第一神经网络视觉模型在第二子样本数据集
S
上的第一稀疏损失函数以及第二神经网络视觉模型在第二子样本数据集
S
上的第二稀疏损失函数，其中，所述第一稀疏损失函数的表达式为：
Loss
limit
‑1＝
pCE(Y
′
p1
，
Y
scribble
)
，所述第二稀疏损失函数的表达式为：
Loss
limit
‑2＝
pCE(Y
′
p2
，...

【专利技术属性】
技术研发人员：徐凤莲，王子阳，
申请(专利权)人：江西慧链数字科技有限公司，
类型：发明
国别省市：