一种医学图像增强方法技术

本发明专利技术公开了一种医学图像增强方法，基于一双向生成对抗网络架构实现，架构包括两个生成器/判别器对，生成器学习将低质量图像域或高质量图像域中的图像转换为高质量图像域或低质量图像域中的相应图像，判别器将低质量图像域或高质量图像域中的真实图像与由高质量图像域或低质量图像域中的真实图像转换而来的图像进行区分，架构在双向生成对抗网络的目标函数中引入约束项，约束项包括光照正则化项和结构损失项。本发明专利技术提出了一种新的医学图像增强框架，改善了医学图像的成像质量。改善了医学图像的成像质量。改善了医学图像的成像质量。

【技术实现步骤摘要】
一种医学图像增强方法


[0001]本专利技术属于医学影像
，具体涉及一种医学图像增强方法。

技术介绍

[0002]近年来，医学影像技术的飞速发展，给临床医学领域带来了一场革命。医学图像通常为临床医生提供大量有关生物或解剖组织的信息。然而，无论使用相同还是不同的设备，医学图像往往表现出很大的质量差异，表现出诸如灰度不均匀性、低对比度、明显的模糊或噪声等缺陷，所有这些都可能在图像采集过程中发生，图1中展示了三种模态高低质量医学图像的例子，其中图1中的第一行为低质量图像，第二行为高质量图像。与自然场景图像相比，大多数医学图像是由具有特定质量退化因素的成像过程形成的，这可能会导致各种低质量的外观，给临床应用带来额外的挑战。医学图像存在的低质量现象也影响了许多后续图像分析任务的性能。因此，全自动和可靠的医学图像增强技术对临床诊断和智能医疗诊断都是十分重要的。
[0003]在此之前，已经有一些传统的医学图像增强方法被提出来。这些方法包括直方图均衡(HE)、暗通道先验(DCP)、基于滤波的和基于Retinex理论的方法。但是，它们通常对一些参数敏感，而这些参数的自适应能力不够，需要手动调整。最近，由于数据量以及计算性能的提升，深度学习技术也显示了它们在低层次计算机视觉任务中的优势，其中图像增强可以被视为图像到图像转换的任务。最常见的深度学习方法是基于监督学习的方法，这在训练阶段需要严格对齐的图像对。对于医学图像，在真实场景中很难获得这样的低/高质量的图像对进行训练。因此，一些无监督学习框架也被提出了，但这些框架通常不稳定，有时会放大噪声或产生伪影。所以研究一种稳定的不需要对齐图像对并且能够充分捕获局部信息的医学图像增强技术是十分有意义的。
[0004]先前的研究表明，循环一致性生成对抗网络(Cycle
‑
consistent Generative Adversarial Network，CycleGAN)作为目前流行的一种图像到图像转换的非成对学习架构，其优点是可以将从一个图像域内学习到的典型图像表示的知识迁移到另一个图像域，而不需要严格对齐的图像对。然而，CycleGAN主要专注于学习图像域内全局外观和域间循环一致性，缺乏对局部细节的捕获。在医学图像中，局部细节对于临床解释尤为重要。高质量的医学图像应该具有均匀的光照和清晰的结构细节。
[0005]如何提供一种新的医学图像增强框架，是一个急需解决的问题。

技术实现思路

[0006]本专利技术的主要目的在于提供一种新的医学图像增强方法，从而克服现有技术的不足。
[0007]为实现前述专利技术目的，本专利技术采用的技术方案包括：一种医学图像增强方法，基于一双向生成对抗网络架构实现，所述架构包括两个生成器/判别器对，所述生成器学习将低质量图像域或高质量图像域中的图像转换为高质量图像域或低质量图像域中的相应图像，
所述判别器将低质量图像域或高质量图像域中的真实图像与由高质量图像域或低质量图像域中的真实图像转换而来的图像进行区分，所述架构在双向生成对抗网络的目标函数中引入约束项，所述约束项包括光照正则化项和结构损失项。
[0008]在一优选实施例中，两个生成器均采用带有残差块的编码器和解码器架构实现。
[0009]在一优选实施例中，所述生成器由多个编码器层和具有跳跃连接的与编码器层对称的解码器层组成。
[0010]在一优选实施例中，每个所述编码器层包括一残差块和后接的最大池化层，每个所述解码器层包括双线性插值上采样层后接一残差块。
[0011]在一优选实施例中，所述双向生成对抗网络的目标函数还包括迁移损失，所述迁移损失包括对抗损失项、循环一致性损失项和恒等映射损失项。
[0012]在一优选实施例中，所述双向生成对抗网络的目标函数为：
[0013]L(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)
[0014]＝L
transfer
(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)+αL
ill
(G
LQ
→
HQ
)+βL
st
(G
LQ
→
HQ
，G
HQ
→
LQ
)；
[0015]其中，L表示目标函数，L
transfer
为迁移损失，L
ill
表示光照正则化项，L
st
表示结构损失项，α和β分别为光照正则化项和结构损失项的加权系数，G
LQ
→
HQ
和G
HQ
→
LQ
均为生成器，分别用于将低质量图像域中的图像转换到高质量图像域中的相应图像、将高质量图像域中的图像转换到低质量图像域中的相应图像，D
LQ
和D
HQ
均为判别器，分别用于区分低质量图像域中真实图像和由高质量图像域中真实图像转换而来的图像、区分高质量图像域中真实图像和由低质量图像域中真实图像转换而来的图像。
[0016]在一优选实施例中，所述迁移损失表示为：
[0017]L
transfer
(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)
[0018]＝L
adv
(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)+λ1L
cyc
(G
LQ
→
HQ
，G
HQ
→
LQ
)+λ2L
idt
(G
LQ
→
HQ
，G
HQ
→
LQ
)；
[0019]其中，L
adv
、L
cyc
和L
idt
分别表示对抗损失项、循环一致性损失项和恒等映射损失项；λ1和λ2分别表示循环一致性损失项和恒等映射损失项的加权系数。
[0020]在一优选实施例中，所述结构损失项表示为：
[0021][0022]其中，a
i
、b
i
、G
LQ
→
HQ
(a)
i
和G
HQ
→
LQ
(b)
i
分别为低质量图像域中的真实图像a和高质量图像域中的真实图像b及其相应转换后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像增强方法，其特征在于：所述方法基于一双向生成对抗网络架构实现，所述架构包括两个生成器/判别器对，所述生成器学习将低质量图像域或高质量图像域中的图像转换为高质量图像域或低质量图像域中的相应图像，所述判别器将低质量图像域或高质量图像域中的真实图像与由高质量图像域或低质量图像域中的真实图像转换而来的图像进行区分，所述架构在双向生成对抗网络的目标函数中引入约束项，所述约束项包括光照正则化项和结构损失项。2.根据权利要求1所述的一种医学图像增强方法，其特征在于：两个生成器均采用带有残差块的编码器和解码器架构实现。3.根据权利要求2所述的一种医学图像增强方法，其特征在于：所述生成器由多个编码器层和具有跳跃连接的与编码器层对称的解码器层组成。4.根据权利要求3所述的一种医学图像增强方法，其特征在于：每个所述编码器层包括一残差块和后接的最大池化层，每个所述解码器层包括双线性插值上采样层后接一残差块。5.根据权利要求1所述的一种医学图像增强方法，其特征在于：所述双向生成对抗网络的目标函数还包括迁移损失，所述迁移损失包括对抗损失项、循环一致性损失项和恒等映射损失项。6.根据权利要求5所述的一种医学图像增强方法，其特征在于：所述双向生成对抗网络的目标函数为：L(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)＝L
transfer
(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)+αL
ill
(G
LQ
→
HQ
)+βL
st
(G
LQ
→
HQ
，G
HQ
→
LQ
)；其中，L表示目标函数，L
transfer
为迁移损失，L
ill
表示光照正则化项，L
st
表示结构损失项，α和β分别为光照正则化项和结构损失项的加权系数，G
LQ
→
HQ
和G
HQ
→
LQ
均为生成器，分别用于将低质量图像域中的图像转换到高质量图像域中的相应图像、将高质量图像域中的图像转换到低质量图像域中的相应图像，D
LQ
和D
HQ
均为判别器，分别用于区分低质量图像域中真实图像和由高质量图像域中真实图像转换而来的图像、区分高质量图像域中真实图像和由低质量图像域中真实图像转换而来的图像。7.根据权利要求6所述的一种医学图像增强方法，其特征在于：所述迁移损失表示为：L
transfer
(G
LQ
→
HQ
，G
HQ
→
LQ
，D
LQ
，D
HQ
)＝L
...

【专利技术属性】
技术研发人员：马煜辉，赵一天，沙登峰，岳星宇，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：