矩不变对比循环一致性对抗网络的跨域分割方法及系统技术方案

本发明专利技术提供一种矩不变对比循环一致性对抗网络的跨域分割方法及系统，该方法包括获取源域图像x

【技术实现步骤摘要】
矩不变对比循环一致性对抗网络的跨域分割方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种矩不变对比循环一致性对抗网络的跨域分割方法及系统。

技术介绍

[0002]胰腺是人体第二大外分泌器官，也是人体重要的内分泌腺。胰腺可分为胰头、胰颈、胰体、胰尾。胰腺癌是消化装置常见的恶性肿瘤之一，临床发现晚，恶性程度高，预后差。胰腺癌的5年相对生存率低于10％，是常见恶性肿瘤中最严重的疾病，且呈逐年恶化的趋势。胰腺癌的早期发现是胰腺癌根治性切除和生存的关键。计算机断层扫描(Computed Tomography，简称CT)和磁共振成像(Magnetic resonance imaging，简称MRI)是胰腺疾病重要的两种成像方法，CT具有高密度分辨率和可重复性等优点，MRI相比CT有着更大的软组织对比度，多用于胰腺肿瘤侵犯血管时、胰腺的肿瘤较小时、胰腺头肥厚等情况。在腹部CT和MR图像中自动分割胰腺可以为胰腺癌的诊断和治疗提供更准确的信息。
[0003]近年来，卷积神经网络已经迅速证明是处理各种医学图像的最先进的工具。特别是CycleGAN在跨域图像分割任务上表现优异。然而对于CT
‑
MR跨域胰腺分割任务来说，CT和MR图像间的风格差异较大，CycleGAN对其风格迁移效果不理想。同时胰腺占整个图像的比例小，其大小、形状、位置和结构在不同患者之间差异大、边缘不清晰，在使用CycleGAN对图像进行风格迁移时，无法保持胰腺形状和结构的不变，使得跨域胰腺分割的效果不理想。在跨域图像分割阶段，由于生成的风格迁移图和原图存在细微差距，使得训练得到的分割网络的鲁棒性和泛化能力欠佳。

技术实现思路

[0004]本申请旨在解决上述技术问题，提供一种矩不变对比循环一致性对抗网络(Moment
‑
Invariant Contrastive Cycle
‑
Consistent Adversarial Networks，MI
‑
CCycleGAN)的跨域分割方法及系统，实现CT图像和MR图像间的跨域分割，解决现有技术中循环对抗网络(CycleGAN)风格迁移能力不足和其无法在迁移过程中保持图像的结构信息不变的问题，提高了跨域分割网络的鲁棒性和泛化能力。
[0005]为了实现上述目的，本专利技术实施例提供一种矩不变对比循环一致性对抗网络的跨域分割方法，所述方法包括：
[0006]S1：获取源域图像x
s
、目标域图像x
t
以及源域金标准图像y
s
；
[0007]S2：将源域图像x
s
、目标域图像x
t
以及源域金标准图像y
s
输入到提前构建好的矩不变对比循环一致性对抗网络模型中，进行图像风格迁移训练，具体包括：在图像风格迁移训练过程中，使用MI
‑
CCycleGAN作为图像风格迁移模型，通过计算图像的不变矩并使用对比损失函数L
C2
对其进行约束，保持图像的结构和形状在风格迁移前后的一致性；
[0008]S3：选取多个不同图像风格迁移训练过程中生成的图像作为训练数据；
[0009]S4：将训练数据和源域金标准图像y
s
输入到提前构建好的分割模型中，进行图像
分割训练，基于语义一致性约束得到训练好的分割模型；
[0010]S5：利用训练好的分割网络模型对CT图像和MR图像中胰腺区域进行跨域分割。
[0011]优选地，所述MI
‑
CCycleGAN的网络结构包括一对生成器G
s
/G
t
、一对判别器D
s
/D
t
，所述生成器G
s
/G
t
用于生成具有源域图像/目标域图像风格的伪图，判别器D
s
/D
t
用于对真实图像和生成的伪图进行区分。
[0012]优选地，在图像风格迁移训练过程中，利用生成器G
t
、G
s
将源域图像x
s
、目标域图像x
t
生成具有源域图像、目标域图像风格的伪图x
s
→
t
、x
t
→
s
，将结构特征相同风格特征不同的源域图像x
s
和生成的伪目标域图像x
s
→
t
作为正样本对，将风格特征相同结构特征不同的源域图像x
s
和生成的伪源域图像x
t
→
s
作为负样本对；使用生成器G
t
中的编码器E作为特征提取器，对正负样本进行特征提取，得到图像的结构特征fea
s
、fea
s
→
t
和fea
t
→
s
，并对其进行降维得到隐变量z
s
、z
s
→
t
和z
t
→
s
，基于隐变量z
s
、z
s
→
t
和z
t
→
s
，使用对比损失函数L
C1
使编码器E充分提取图像的结构特征，同时剔除冗余的风格特征。
[0013]优选地，所述得到图像的结构特征fea
s
、fea
s
→
t
和fea
t
→
s
，并对其进行降维得到隐变量z
s
、z
s
→
t
和z
t
→
s
的方法为：
[0014]使用全连接层f
c
分别对其进行降维得到对应的隐变量z
s
、z
s
→
t
和z
t
→
s
，计算如下：
[0015]z
s
＝f
c
(E(x
s
))
[0016]z
s
→
t
＝f
c
(E(x
s
→
t
))
[0017]z
t
→
s
＝f
c
(E(x
t
→
s
))
[0018]其中，x
s
表示源域图像，x
s
→
t
表示伪目标域图像，x
t
→
s
表示伪源域图像。
[0019]优选地，所述对比损失函数L
C1
的定义为：
[0020][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，所述方法包括：S1：获取源域图像x
s
、目标域图像x
t
以及源域金标准图像y
s
；S2：将源域图像x
s
、目标域图像x
t
以及源域金标准图像y
s
输入到提前构建好的矩不变对比循环一致性对抗网络模型中，进行图像风格迁移训练，具体包括：在图像风格迁移训练过程中，使用MI
‑
CCycleGAN作为图像风格迁移模型，通过计算图像的不变矩并使用对比损失函数L
C2
对其进行约束，保持图像的结构和形状在风格迁移前后的一致性；S3：选取多个不同图像风格迁移训练过程中生成的图像作为训练数据；S4：将训练数据和源域金标准图像y
s
输入到提前构建好的分割模型中，进行图像分割训练，基于语义一致性约束得到训练好的分割模型；S5：利用训练好的分割网络模型对CT图像和MR图像中胰腺区域进行跨域分割。2.根据权利要求1所述的矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，所述MI
‑
CCycleGAN的网络结构包括一对生成器G
s
/G
t
、一对判别器D
s
/D
t
，所述生成器G
s
/G
t
用于生成具有源域图像/目标域图像风格的伪图，判别器D
s
/D
t
用于对真实图像和生成的伪图进行区分。3.根据权利要求2所述的矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，在图像风格迁移训练过程中，利用生成器G
t
、G
s
将源域图像x
s
、目标域图像x
t
生成具有源域图像、目标域图像风格的伪图x
s
→
t
、x
t
→
s
，将结构特征相同风格特征不同的源域图像x
s
和生成的伪目标域图像x
s
→
t
作为正样本对，将风格特征相同结构特征不同的源域图像x
s
和生成的伪源域图像x
t
→
s
作为负样本对；使用生成器G
t
中的编码器E作为特征提取器，对正负样本进行特征提取，得到图像的结构特征fea
s
、fea
s
→
t
和fea
t
→
s
，并对其进行降维得到隐变量z
s
、z
s
→
t
和z
t
→
s
，基于隐变量z
s
、z
s
→
t
和z
t
→
s
，使用对比损失函数L
C1
使编码器E充分提取图像的结构特征，同时剔除冗余的风格特征。4.根据权利要求3所述的矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，所述得到图像的结构特征fea
s
、fea
s
→
t
和fea
t
→
s
，并对其进行降维得到隐变量z
s
、z
s
→
t
和z
t
→
s
的方法为：使用全连接层f
c
分别对其进行降维得到对应的隐变量z
s
、z
s
→
t
和z
t
→
s
，计算如下：z
s
＝f
c
(E(x
s
))z
s
→
t
＝f
c
(E(x
s
→
t
))z
t
→
s
＝f
c
(E(x
t
→
s
))其中，x
s
表示源域图像，x
s
→
t
表示伪目标域图像，x
t
→
s
表示伪源域图像。5.根据权利要求3所述的矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，所述对比损失函数L
C1
的定义为：其中，使用余弦相似度作为sim函数来计算两个向量之间的相似度，τ表示温度系数，exp表示以自然常数e为底的指数函数。6.根据权利要求1所述的矩不变对比循环一致性对抗网络的跨域分割方法，其特征在于，所述通过计算图像的不变矩并使用对比损失函数L
C2
对其进行约束，保持图像的结构和
形状在风格迁移前后的一致性的方法为：将伪目标域图像x
s
→
t
和伪源域图像x
t
→
s
输入分割网络中进行分割，得到预测结果p
s
→
t
和p
t
→
s
，对其和源域金标准图...

【专利技术属性】
技术研发人员：向德辉，樊礼纲，边云，陈新建，邵成伟，
申请(专利权)人：苏州大学，
类型：发明
国别省市：