基于改进U形网络的多组织成分图像分割方法及系统技术方案

本发明专利技术涉及一种基于改进U形网络的多组织成分图像分割方法及系统，包括：构建U

【技术实现步骤摘要】
基于改进U形网络的多组织成分图像分割方法及系统


[0001]本专利技术涉及图像处理
，尤其是指一种基于改进U形网络的多组织成分图像分割方法及系统。

技术介绍

[0002]胰腺癌是一种高度恶性的消化道肿瘤，其中主要是导管腺癌。这种癌症起病隐匿性强，初期症状不明显，因此诊断与治疗都很困难。目前，全视野切片图像技术实现了病理切片图像的数字化，使病理医生能够在高分辨率图像下更好地分析病人的组织病变情况，但这一分析过程要求医生具备极高的专业素养。通过算法自动分割胰腺导管腺癌病理图像中肿瘤、血管、神经、胰岛和导管五种组织成分，可以辅助医生对患者病情做出更加精准的诊断，对提高医疗水平落后地区患者的就诊质量具有非常重要的现实意义。
[0003]近年来，基于U形网络的深度学习模型已经证明在解决各种医学图像问题上能够达到最佳性能。但是，传统监督学习过程本质上是对现有知识的重复记忆，局限于已知的数据，无法会对知识进行抽象性的总结，并将这份总结反作用于自身继续学习的过程中，因此无法达到更好的学习效果。胰腺导管腺癌的病理图像具有局部差异大、组织成分分布不平衡、不同图像的染色效果差异明显等特点，尤其需要寻求更好的方法，能够使模型适应在训练过程中未涵盖的未知场景

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术中传统监督学习过程本质上是对现有知识的重复记忆，局限于已知的数据，无法会对知识进行抽象性的总结，并将这份总结反作用于自身继续学习的过程中，因此无法达到更好的学习效果的技术缺陷。/>[0005]为解决上述技术问题，本专利技术提供了一种基于改进U形网络的多组织成分图像分割方法，包括：
[0006]S1、获取原训练集，所述原训练集中包含多张多组织成分图像；
[0007]S2、构建U
‑
Net分割网络，所述U
‑
Net分割网络包括编码器和解码器，使用原训练集对U
‑
Net分割网络进行预训练，更新U
‑
Net分割网络的参数；
[0008]S3、构建特征知识缩聚方法FKPM模型，所述特征知识缩聚方法FKPM模型包括FKPM编码器、特征降维模块和多层感知机，所述FKPM编码器加载S2中更新的U
‑
Net分割网络中编码器的参数，并在训练过程中冻结参数；
[0009]S4、使用特征知识缩聚方法FKPM模型对训练集中的图像进行训练，获得知识缩聚向量；
[0010]S5、依次配对原训练集的图像，基于原训练集中各图像的知识缩聚向量，借助特征迁移方法为配对图像生成新图像；
[0011]S6、将新图像与原训练集中的图像混合，作为新训练集；
[0012]S7、通过新训练集对U
‑
Net分割网络进行训练并更新U
‑
Net分割网络的参数，获得
训练后的U
‑
Net分割网络；
[0013]S8、通过训练后的U
‑
Net分割网络对多组织成分图像进行处理，获得分割后的图像。
[0014]作为优选的，所述S4包括：
[0015]S41、所述FKPM编码器对训练集中的图像进行编码，获得编码信息；
[0016]S42、所述特征降维模块将每层编码信息压缩，获得各层编码特征压缩后的向量；
[0017]S43、将各层编码特征压缩后的向量拼接，获得长向量；
[0018]S44、所述多层感知机将长向量缩聚为知识缩聚向量。
[0019]作为优选的，所述S4中，缩聚使用的损失函数Loss
IV
满足：
[0020]结合训练集中图像P的分割标签，按式(1)和式(2)得到图像编码C；
[0021]P
→
C＝[b1,b2,
…
,b
n
]ꢀꢀ
(1)
[0022][0023]式(2)表示判断目标类t是否在图像P中；
[0024]令每类图像的知识缩聚向量长度有超参数R，则图像P对应属类的特征基点定义如式(3)所示：
[0025][0026]基于特征知识缩聚方法FKPM的总损失函数Loss
IV
如式(4)、(5)、(6)所示：
[0027]Loss
IV
＝Loss
LE
+Loss
d
ꢀꢀ
(4)
[0028][0029][0030]其中，x为特征知识缩聚方法FKPM的输出，μ
k
为该类图像的特征基点，μ
r
为第r类图像的特征基点，σ2为超参数，d
k
表示第k类图像特征的知识缩聚向量到各类图像的特征基点的距离，d
r
表示第r类图像特征的知识缩聚向量到各类图像的特征基点的距离；
[0031]d
k
计算方法为式(7)、(8)、(9)所示：
[0032][0033][0034][0035]式(7)中C
k
表示第k类图像的图像编码，C
r
表示第r类图像的图像编码，式(9)为计算向量x和向量y的汉明距离，x[i]和y[i]分别表示向量x和向量y的第i个元素，
⊕
表示异或运算。
[0036]作为优选的，所述S3中，
[0037]特征降维模块包括多感受野特征图提取单元和注意力自编码单元；
[0038]其中，所述多感受野特征图提取单元基于金字塔注意力模型构建；所述注意力自编码单元通过多层感知机实现自编码的注意力功能。
[0039]作为优选的，所述S5包括：
[0040]S51、对训练集中的图像分别配对，将配对成功的一张图像作为原始图像，另一张图像作为目标图像；
[0041]S52、复制原始图像作为新图像的起始状态，将新图像代入特征知识缩聚方法FKPM模型，通过训练的方式更新新图像中的像素值。
[0042]作为优选的，在训练过程中，特征知识缩聚方法FKPM中的参数不接收梯度回传，参数值保持不变；新图像中的像素值接收梯度回传，每次训练迭代更新。
[0043]作为优选的，通过内容损失函数Loss
content
对新图像加以约束，所述Loss
content
满足：
[0044][0045]其中，l表示第l层的特征，C
l
×
H
l
×
W
l
为第l层特征的元素个数，||f
s,l,m
‑
f
n,l,m
||2表示原始图像特征f
s
和新图像特征f
n
中第l层第m个元素之间的欧氏距离。
[0046]作为优选的，通过特征差异损失函数Loss
feature
使生成新图像的知识缩聚向量接近于目标图像；
...

【技术保护点】

【技术特征摘要】
1.一种基于改进U形网络的多组织成分图像分割方法，其特征在于，包括：S1、获取原训练集，所述原训练集中包含多张多组织成分图像；S2、构建U
‑
Net分割网络，所述U
‑
Net分割网络包括编码器和解码器，使用原训练集对U
‑
Net分割网络进行预训练，更新U
‑
Net分割网络的参数；S3、构建特征知识缩聚方法FKPM模型，所述特征知识缩聚方法FKPM模型包括FKPM编码器、特征降维模块和多层感知机，所述FKPM编码器加载S2中更新的U
‑
Net分割网络中编码器的参数，并在训练过程中冻结参数；S4、使用特征知识缩聚方法FKPM模型对训练集中的图像进行训练，获得知识缩聚向量；S5、依次配对原训练集的图像，基于原训练集中各图像的知识缩聚向量，借助特征迁移方法为配对图像生成新图像；S6、将新图像与原训练集中的图像混合，作为新训练集；S7、通过新训练集对U
‑
Net分割网络进行训练并更新U
‑
Net分割网络的参数，获得训练后的U
‑
Net分割网络；S8、通过训练后的U
‑
Net分割网络对多组织成分图像进行处理，获得分割后的图像。2.根据权利要求1所述的基于改进U形网络的多组织成分图像分割方法，其特征在于，所述S4包括：S41、所述FKPM编码器对训练集中的图像进行编码，获得编码信息；S42、所述特征降维模块将每层编码信息压缩，获得各层编码特征压缩后的向量；S43、将各层编码特征压缩后的向量拼接，获得长向量；S44、所述多层感知机将长向量缩聚为知识缩聚向量。3.根据权利要求1所述的基于改进U形网络的多组织成分图像分割方法，其特征在于，所述S4中，缩聚使用的损失函数Loss
IV
满足：结合训练集中图像P的分割标签，按式(1)和式(2)得到图像编码C；P
→
C＝[b1,b2,
…
,b
n
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式(2)表示判断目标类t是否在图像P中；令每类图像的知识缩聚向量长度有超参数R，则图像P对应属类的特征基点定义如式(3)所示：基于特征知识缩聚方法FKPM的总损失函数Loss
IV
如式(4)、(5)、(6)所示：Loss
IV
＝Loss
LE
+Loss
d
ꢀꢀꢀꢀꢀꢀ
(4)(4)其中，x为特征知识缩聚方法FKPM的输出，μ
k
为该类图像的特征基点，μ
r
为第r类图像的特征基点，σ2为超参数，d
k
表示第k类图像特征的知识缩聚向量到各类图像的特征基点的距离，d
r
表示第r类图像特征的知识缩聚向量到各类图像的特征基点的距离；
d
k
计算方法为式(7)、(8)、(9)所示：计算方法为式(7)、(8)、(9)所示：计算方法为式(7)、(8)、(9)所示：式(7)中C
k
表示第k类图像的图像编码，C
r
表示第r类图像的图像编码，式(9)为计算向量x和向量y的汉明距离，x[i]和y[i]分别表示向量x和向量y的第i个元素，
⊕
表示异或运算。4.根据权利要求1所述的基于改进U形网络的多组织成分图像分割方法，其特征在于，所述S3中，特征降维模块包括多感受野特征图提取单元和注意力自编码单元；其中，所述多感受野特征图提取单元基于金字塔注意力模型构建；所述注意力自编码单元通过多层感知机实现自编码的注意力功能。5.根据权利要求1所述的基于改进U形网络的多组织成分图像分割方法，其特征在于，所述S5包括：S51、对训练集中的图像分别配对，将配对成功的一张图像作为原始图像，另一张图像作为目标图像；S52、复制原始图像作为新图像的起始状态，将新图像代入特征知识缩聚方法FKPM模型，通过训练的方式更新新图像...

【专利技术属性】
技术研发人员：向德辉，吴昊，蒋慧，边云，陈新建，
申请(专利权)人：苏州大学，
类型：发明
国别省市：