本发明专利技术涉及一种基于泊松方程和互信息分解的多模态医学图像融合方法，属于图像处理领域。本发明专利技术目的是将功能代谢图与解剖结构图融合起来。该方法首先对功能代谢图进行IHS变换得到其强度分量X；然后计算X和解剖结构图Y的互信息，以及互信息的分解结果；再根据互信息分解结果构造泊松方程，通过求解泊松方程得到融合了功能态和解剖态信息的强度分量F；最后对强度分量F进行IHS逆变换，得到包含功能态彩色信息以及解剖态结构信息的融合图像。该方法利用功能态图像与解剖态图像的互信息分解结果构造泊松方程，通过求解泊松方程而得到融合结果，不仅使融合结果包含了尽可能多的信息，还提高了不同模态特征的清晰度，特别是解剖态结构特征的细节清晰度。结构特征的细节清晰度。结构特征的细节清晰度。
【技术实现步骤摘要】
基于泊松方程和互信息分解的多模态医学图像融合方法
[0001]本专利技术涉及一种医学图像融合方法，特别涉及一种基于泊松方程和互信息分解的多模态医学图像融合方法，该方法主要将功能代谢图和解剖结构图融合起来，提供互补的医学信息，属于医学图像处理领域。
技术介绍
[0002]现代医学影像技术为医学研究提供了多种模态的医学图像。根据各模态图像所提供的信息内涵，可以将这些图像分为解剖结构图(如CT、MRI)和功能代谢图(如SPECT、PET)。由于成像机制的差异，不同模态的图像往往呈现不同的特色。例如，CT图像中骨骼、植入物等致密结构成像清晰，但是软组织的分辨率较低；而MRI图像则可以高分辨率地反映血管等软组织或器官的解剖结构；PET和SPECT图像可以提供功能代谢信息，但是缺乏必要的解剖结构。为了综合利用不同模态所提供的医学信息，通常将多个模态的医学图像融合在一起进行分析。例如，将解剖结构图和功能代谢图融合起来，利用两者信息的互补性，提高病灶定位与评估的准确性。
[0003]目前，针对一般图像的融合问题，已经提出了很多方法。按照融合时数据的表征层次，这些方法可以分为像素级融合、特征级融合和决策级融合。在多模态医学图像融合领域，应用得比较多的是像素级融合，因为像素级融合直接对原始图像进行处理，可以有效保留源图像的细节，准确性较高。按照融合时数据的表现形态，像素级融合又分为空间域融合和变换域融合。空间域融合直接在图像的像素值空间进行融合。变换域融合利用人眼视觉系统多分辨率的特点，通常先对待融合图像进行多尺度变换，然后在变换域进行融合。与空域融合相比，变换域融合得到的图像质量更高，细节更丰富；但是变换域融合在保留不同模态细节特征方面，存在特征边界模糊的现象。
[0004]在图像编辑领域，为了实现图像的无缝克隆(seamless cloning)，文献1(Patrick P
é
rez,Michel Gangnet,and Andrew Blake.Poisson Image Edting.ACM Transaction on Graphics,Vol.22,No.3,2003.)提出了基于泊松方程的图像融合方法。该方法为了把感兴趣的源图像区域融入目标图像，首先根据源图像和目标图像的梯度建立一个引导场(guidance field)，然后在引导场的约束下构建泊松方程，通过求解泊松方程得到融合后的图像。泊松图像融合效果取决于引导场的构造。为同时保留源图像和目标图像的特征，通常选用模值更大的梯度或者是梯度的线性组合来构造引导场。理论上，这种构造方法可以直接用于不同模态的医学图像融合。然而，跟一般图像融合不同，不同模态的医学图像并不是完全独立的，对其中一种模态的观察往往会获取一些有关另一种模态的信息。传统的泊松图像融合并没有考虑不同模态之间的相关性，存在丢失某些重要信息的可能。
[0005]不同模态之间的相关性，可以借助互信息(Mutual Information，MI)来刻画。理论上，互信息是指一个随机变量中包含的关于另一个随机变量的信息量。对于图像融合而言，可以将两个图像的像素取值看作两个不同的随机变量，那么两个图像的互信息就是两个图像之间共享的信息量。对互信息进行分解，可以进一步得到与单一像素值关联的特定信息
(Specific Information)，如单一像素值的意外性(Surprise，I1)、预见性(Predictability，I2)和卷入度(Entanglement，I3)等。文献2(R.Bramon,I.Boada,et al.Mutlimodal Data Fusion Based on Mutual Information.IEEE Transactions on Visualization and Computer Graphics,2012,18(9)：1574
‑
1587.)给出了分解互信息MI而得到I1、I2和I3的具体方法。给定随机变量X和Y，以及各自的观测值x和y，从互信息I(x；Y)中分解出的I2(x；Y)刻画了观测值x的预测能力，x的I2值越高，Y的不确定性就越小；I3(x；Y)则在I2的基础上进一步展示了观测值x卷入观测值y的程度，I3值越大，Y中与x有关的y的信息量越大。
[0006]另外，在医学图像处理领域，功能代谢图一般是包含RGB三个分量的彩色图像，而解剖结构图则是只包含强度信息的灰度图像。为了避免颜色失真，在融合功能态的彩色图像与解剖态的灰度图像时，通常将功能态的彩色图像变换到IHS(Intensity
‑
Hue
‑
Saturation)颜色空间，提取其强度分量与解剖态灰度图像进行融合；然后再对融合结果进行IHS逆变换，得到保留功能态彩色信息以及解剖态结构信息的融合图像。
[0007]鉴于上述情况，本专利技术针对功能代谢图与解剖结构图的融合问题，提出一种基于泊松方程和互信息分解的多模态医学图像融合方法。在给定功能代谢图和解剖结构图的情况下，该方法首先对功能代谢图进行IHS变换得到其强度分量X；然后计算X和解剖结构图Y的互信息I(x；Y)，以及互信息的分解结果I2(x；Y)和I3(x；Y)；再根据互信息分解结果构造泊松方程，求解泊松方程得到融合了功能态和解剖态信息的强度分量F；最后对强度分量F进行IHS逆变换，得到包含功能态彩色信息以及解剖态结构信息的融合图像。该方法利用功能态图像与解剖态图像的互信息分解结果构造泊松方程，通过求解泊松方程而得到融合结果。这不仅使融合结果包含了尽可能多的信息，还提高了融合结果中不同模态特征的清晰度，特别是解剖态结构特征的细节清晰度。
技术实现思路
[0008]本专利技术的目的是提供一种基于泊松方程和互信息分解的多模态医学图像融合方法，该方法是将功能代谢图与解剖结构图融合起来，提供尽可能多的不同模态的信息，同时提高融合结果中不同模态特征的细节清晰度，特别是解剖态结构特征的细节清晰度。
[0009]本专利技术的目的是通过以下技术方案实现的。
[0010]基于泊松方程和互信息分解的多模态医学图像融合方法，包括以下步骤：
[0011]步骤1：输入两个已配准的功能代谢图和解剖结构图，分别令其为图像A和图像B。
[0012]步骤2：对处于RGB模式的彩色功能代谢图像A，令其RGB分量为(R
A
,G
A
,B
A
)，然后按照下面的公式计算A的强度分量I
A
以及相关参数V1和V2：
[0013][0014]步骤3：令图像A的强度分量I
A
为X，令处于灰度图模式的图像B为Y，计算X和Y的互信息I(x；Y)的分解结果I2(x；Y)和I3(x；Y)，具体计算过程如下：
[0015]步骤3.1：令图像X中像素取值的集合为S
X
，X(i,j)表示X中第(i,j)个像素的取值，图像Y中像素取值的集合为S
Y
，Y(i,j)表示Y中第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于泊松方程和互信息分解的多模态医学图像融合方法，其特征在于，包括以下步骤：步骤1：输入两个已配准的功能代谢图和解剖结构图，分别令其为图像A和图像B；步骤2：对处于RGB模式的彩色功能代谢图像A，令其RGB分量为(R
A
,G
A
,B
A
)，然后按照下面的公式计算A的强度分量I
A
以及相关参数V1和V2：步骤3：令图像A的强度分量I
A
为X，令处于灰度图模式的图像B为Y，计算X和Y的互信息I(x；Y)的分解结果I2(x；Y)和I3(x；Y)；步骤4：根据X和Y互信息分解结果，构造泊松方程，求解泊松方程，得到X和Y的融合结果F；步骤5：将融合结果F与步骤2得到的参数V1和V2结合起来，按照下面的公式计算得到新图像C的RGB分量(R
C
,G
C
,B
C
)；新图像C就是功能代谢图像A和解剖结构图像B的最终融合结果：2.根据权利要求1所述的一种基于泊松方程和互信息分解的多模态医学图像融合方法，其特征在于，所述步骤3包括：步骤3.1：令图像X中像素取值的集合为S
X
，X(i,j)表示X中第(i,j)个像素的取值，图像Y中像素取值的集合为S
Y
，Y(i,j)表示Y中第(i,j)个像素的取值；然后按照下面的公式，统计图像X和Y的像素取值概率p(x)和p(y)，以及图像X和Y之间像素取值的条件转移概率p(x|y)和p(y|x)：和p(y|x)：和p(y|x)：和p(y|x)：
其中，n(x)为图像X中像素取值为x的像素个数，n(y)为图像Y中像素取值为y的像素个数；N
X
为图像X的像素总数，N
Y
为图像Y的像素总数；n(x,y)是将图像X的像素X(i,j)和Y的像素Y(i,j)一一配对后，像素对中取值为(x,y)的像素对数量；步骤3.2：针对每一个x∈S
X
和y∈S
Y
，计算X和Y的互信息分解结果I2(x；Y)和I3(x；Y)，计算公式如...
【专利技术属性】
技术研发人员：张文耀，付靖妃，王成，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。