一种基于三判别器生成对抗网络的PET和MRI图像融合方法技术

本发明专利技术公开了一种基于三判别器生成对抗网络的PET和MRI图像融合方法，首先对PET图像进行RGB彩色空间到YCbCr彩色空间的变换操作，分别得到PET图像的Y，Cb，Cr三个分量图像；再对PET图像的Y分量和MRI图像进行差分操作，所得到的差分图像与PET图像的Y分量和MRI图像进行联结操作后输入到生成器网络；然后将通过生成器所生成的图像(PET的Y分量)和实际图像(源PET图像的Y分量，MRI图像，以及差分图像)分别输入到三个判别器中，通过进行循环对抗来不断提升生成器的生成能力与三个判别器的鉴别能力，最终达到两类网络的平衡状态，从而使得生成器能够综合所输入的图像信息，生成一幅既包含原始MRI图像的空间结构信息又包含原始PET图像的功能信息的融合图像。图像的功能信息的融合图像。图像的功能信息的融合图像。

【技术实现步骤摘要】
一种基于三判别器生成对抗网络的PET和MRI图像融合方法


[0001]本专利技术涉及图像处理领域，具体为一种基于三判别器生成对抗网络的PET和MRI图像融合方法。

技术介绍

[0002]随着现代传感器与成像技术的不断发展，多种多样的医学成像设备也随之产生，不同的医学成像设备通过各种不同的成像策略采集人体信息，从而产生多类不同模态的医学影像。现存的多模态医学影像从总体上可以分为解剖型图像与功能型图像。磁共振成像(Magnetic Resonance Image,MRI)作为解剖型图像能够提供人体的软组织信息，表现为纹理细节和致密结构信息丰富的图像。正电子发射断层扫描(Positron Emission Tomography,PET)作为功能型图像，能够反映肿瘤与人体细胞代谢等人体信息。在临床应用中，仅使用单一模态的医学影像通常无法较为完整地获得所需的人体信息，这就要求在临床应用同时使用多种模态的医学影像，然而同时观测不同模态的影像将极大的耗费时间。通过采用一定的技术手段将MRI与PET图像进行融合，使得一幅融合影像能够同时体现MRI与PET图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：具体步骤如下：S1：YCbCr色彩空间转换；将PET图像由RGB彩色空间变换为YCbCr彩色空间，经过彩色空间变换后的PET图像包含三个图像分量，分别为Y，Cb和Cr图像分量，其中Y图像分量包含能够反映PET图像整体结构与亮度变化的亮度信息，Cb与Cr图像分量则分别表现了PET图像中对蓝色与红色的浓度偏移量成份；S2：Y分量图像的融合；对PET图像的Y分量和MRI图像进行差分操作，所得到的差分图像与PET图像的Y分量和MRI图像进行联结操作后输入到所提出的网络模型中，得到融合的Y分量图像；S3：RGB图像的重构；将生成器生成的Y分量图像与相应的源PET图像的Cb，Cr分量进行YCbCr颜色空间到RGB彩色空间的反变换，从而得到最终的融合图像。2.根据权利要求1所述的一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：所述S1的YCbCr色彩空间转换中，将PET图像I
P
进行RGB彩色空间到YCbCr彩色空间的变换，分别得到I
P
的Y，Cb，Cr三个通道的分量图像I
P
‑
Y
，I
P
‑
Cb
和I
P
‑
Cr
；PET图像由RGB彩色空间至YCbCr彩色空间的变换过程如下：3.根据权利要求1所述的一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：所述S2的Y分量图像的融合，将MRI图像I
M
与PET图像Y分量I
P
‑
Y
进行差分并取绝对值，得到差分图像I
D
，然后将MRI图像I
M
、PET图像Y分量I
P
‑
Y
、差分图像I
D“联结”后输入到生成器网络中；生成器提取所输入图像的特征信息并进行特征选择，然后融合生成I
F
‑
Y
，此步骤需要在融合前完成对生成器
‑
判别器网络的训练。4.根据权利要求3所述的一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：所述生成器
‑
判别器网络的训练过程为：首先，将I
M
、I
P
‑
Y
与计算得到的I
D
图像输入到生成器网络，生成器采用3条不同的支路进行图像特征的提取，3条支路基于所提取的图像特征信息的特点可分别称为梯度支路，对比度支路与差分支路；其次，将生成器网络所生成的I
F
‑
Y
分别与I
M
、I
P
‑
Y
、I
D
输入到对应的判别器D
M
、D
P
‑
Y
与D
D
中进行鉴别；最后，依据生成器与判别器的输出结果，通过损失函数对生成器和判别器的网络进行对抗训练和交替更新，直至达到网络平衡，此时训练得到的生成器网络就是我们所需的用于PET和MRI图像融合的生成器。5.根据权利要求4所述的一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：所述损失函数包括损失函数的权重、生成器损失函数和判别器损失函数。
6.根据权利要求5所述的一种基于三判别器生成对抗网络的PET和MRI图像融合方法，其特征在于：所述损失函数的权重采用基于权重的方法对输入的三类图像间的信息进行平衡，具体地，分别对PET的Y分量、MRI图像和差分图像进行信息熵度量、显著性度量以及梯度度量，然后依据度量结果综合生成权重参数，此外，结合PET与MRI图像的信息表现特点，设置增强和衰减参数对不同类别的损失函数进行平衡；所述信息熵度量是通过计算源图像的信息熵来衡量图像所含有信息的多少，以此作为损失函数的权重参考，具体为：其中I
En
为图像I的信息熵；l为灰度级别数，设置为256；p
l
为对应灰度级别的概率；所述显著性度量，对源图像中含有的高亮信息的多少进行衡量，以此作为权重的参考，具体为：其中I
Sal
为图像I的显著信度量；Sign(
·
)为符号函数；τ为筛选显著区域的阈值；H，W为图像I的高度与宽度；I
ij
为图像I中坐标为(i，j)处像素点的灰度值；所述梯度度量是采用拉普拉斯算子进行衡量，度量值越高表明图像中含有更多的纹理细节，从而作为损失权重的衡量，具体为：其中I
Grad
为图像I的梯度度量；为拉普拉斯算子；总的损失函数的权重定义为：η
I
＝λ1I
En
+λ2I
Sal
+λ3I
Grad
其中η
I
为对应图像I的总体度量，λ1，λ2，λ3为控制...

【专利技术属性】
技术研发人员：康家银，贺天福，武凌霄，姬云翔，张文娟，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：