基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法技术

本发明专利技术提供一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法。该方法包含以下步骤：1)对输入图像构建图像金字塔，对每层图像进行网格化，构建数据相关的各向异性热核，实现图像的多尺度表示；2)将不同尺度下的图像分组，并对每个分组构建低秩分析，提取其低秩部分，同时有效的滤除噪声，由所提取的显著信息构建多尺度空间；3)在图像金字塔的每一层内，低频信息采用S型函数进行融合，高频信息使用最大选择策略融合，金字塔层间采样权重融合。本发明专利技术所提出的多模态医学图像融合方法对噪声图像的融合具有较好的鲁棒性。

【技术实现步骤摘要】
基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法
本专利技术涉及一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法。
技术介绍
在临床医学中，通常单一模态的医学影响无法满足医护人员的边随着医学影像技术的不断发展，出现了许多先进的成像设备来反映人体脏器和病变组织的各种信息，也为临床的医疗诊断提供了多种模态的医学图像，这些图像可分为解剖结构图像(例如：B超、CT、MRI)和功能图像(例如：PET、SPECT)两大类，由于成像原理的差异，不同种类的图像也具有各自的优缺点。例如CT图像具有较高的空间分辨率和几何特性，能够非常清晰地呈现人体骨骼，便于提供良好的病灶定位，但对人体软组织的检测效果较差,而人体组织在MRI图像中成像效果较好，有利于病灶范围的确定，但易受到电磁干扰产生几何失真；SPECT、PET可反映人体组织器官的代谢水平和血流状况，能有效的检测肿瘤病变，但其具有较低的空间分辨率，难以得到精确的解剖结构，不利于分辨组织、器官的边界。由此可知不同的成像原理提供了互补的信息。因此多模态医学图像的融合可以为临床诊断提供更加丰富的病变组织或器官的信息，便于医护人员做出更加准确的诊断和制定更加合适的治疗方案。常用的方法可分为两种，一种是基于变换策略来实现图像的多尺度表示；另外一种方法是利用几何多尺度分析工具实现图像的多尺度表示，然后利用融合规则将不同尺度下的信息进行融合。变换策略图像融合法通常包括基于IHS(Intensity-Hue-Saturation)和PCA(PrincipalComponentAnalysis)的两种方法，但由于采用了随意的融合规则，基于IHS框架的融合算法通常造成图像失真和谱扭曲。基于小波的融合的典型代表有基于Curvelets、Contourlets、NSCT和Shearlets等，其成功的重点在于主要利用了小波良好的高低频分离特性，对不同的子带采用马尔科夫链等方法来计算数据相关的融合权重，实现不同模态的图像融合。该类方法的主要缺点在于所使用的小波核函数与所处理的数据无关，无法有效的提取不同方向的细节信息，因此存在融合图像缺乏细节的缺点。目前多模态医学图像融合的关键技术在于如何实现结构意识的多尺度图像表示，如何从不同模态的医学图像中分离出互补性的显著信息，如何保证互补性的信息能有效的融合到最终的图像中等。为了解决上述问题，本专利技术基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，该方法通过构建数据相关的热核，实现结构保护的图像多尺度分解，并同构图像金字塔和分块策略实现了大尺度和小尺度结构信息的有效保护，同时利用CUDA计算提高了算法的计算速度；基于所获得的多尺度图像，分组构建低秩分析，提取小尺度范围内固有的显著信息，有效的滤除噪声，提高了算法的抗噪性，并构建基于显著信息的多尺度融合空间，利用尺度意识的S型权重函数实现不同尺度下的信息融合，有效解决了互补信息融合问题。
技术实现思路
本专利技术要解决的技术问题是：克服了现有滤波器的数据无关性以及结构意识的不足，提供了一种基于热核金字塔的各向异性图像处理多尺度表示方法。并通过使用基于分块策略和CUDA技术，提高了所专利技术的算法的实际可行性。克服了通常融合算法对小尺度细节信息融合的不足，提出了一种基于低秩分析的显著信息尺度空间构建方法；克服了均值最大值融合策略存在的对比度问题，提出了尺度意识的S型权重融合方法。本专利技术采用的技术方案为：一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，包括以下几部分：步骤(1)、基于热核的多尺度图像表示：将输入的多模态图像转换到IHS颜色空间，对图像的I颜色通道构建图像金字塔，将每一层图像分为重叠的块，并利用Delaunay三角化方法对其网格化，基于所构建的网格，利用cotangent方法建立相对应的拉普拉斯矩阵，所构建的拉普拉斯矩阵固有的潜入了图像的结构信息，通过求解广义特征问题获取最小的N个特征值和所对应的特征向量，构造数据相关的热核，因此热核具有数据相关性、结构意识和各向异性性，通过所够构建的热核与图像进行卷积获得不同尺度下的图像表示。同时为了减少拉普拉斯矩阵构建和多尺度卷积的时间，该步骤采用了CUDA实现技术；步骤(2)、基于低秩分析的显著信息尺度空间构建：：通过步骤(1)所获得的多尺度表示，将金字塔每层图像的多尺度表示进行分组，每组分别做为低秩分析的初始化输入矩阵，利用GoDec方法进行低秩分析，获取每组的低秩部分，该低秩部分包含了小尺度范围内的显著信息，且有效的滤除输入图像内包含的噪声，将每个分组所提取低秩部分进行二次重组，进而构建为基于显著信息的多尺度表示；步骤(3)、基于S型函数的尺度相关融合：通过步骤(2)中构建的显著信息多尺度空间，主模态基层权重设置为2，辅助模态基层的融合权重系数由S型函数计算，利用权重平均获得金字塔每层的基层融合效果，而细节层采用最大值选择方法获得细节层融合效果，每层的融合效果通过多个细节层和基层累加获得。而金字塔层间融合通过上采样低分辨率融合效果后与相邻下层融合效果进行权重合并，最终得到和输入图像相同分辨率的灰度层融合效果，利用GIHS方法得到最终的多模态医学图像融合效果图。进一步的，步骤(1)中所述的多尺度图像表示方法是各向异性的，同时是高效的，而且还内建了数据相关和结构意识的特性。进一步的，步骤(2)中所述的显著信息多尺度空间构建方法，将局部小范围尺度内的显著信息提取的同时滤除了潜在的噪声，具有良好的抗噪性。进一步的，步骤(3)中所述的S型函数融合方法，避免了辅助模态影响黑色背景的影响，使得融合图像整体具有良好的对比度。本专利技术的原理在于：(1)本专利技术所提出的多尺度图像表示方法主要侧重于结构意识和各向异性，该专利技术基于像素灰度值和空间坐标将图像的结构信息有效的编码到拉普拉斯矩阵中，使得所形成的热核具有各向异性性；同时该方法采用金字塔结构和图像分块策略，使得该方法将全局大尺度结构信息和局部小尺度细节信息相结合，并采用了CUDA技术提高了算法的计算效率。(2)本专利技术所提出的基于低秩分析的显著信息多尺度空间构建方法，通过对不同尺度的图像进行分组，每组图像构建低秩分析提取不同模态影像中的显著信息，同时滤去了噪声，最终构建为显著信息的多尺度空间，使得所提出的方法具有抗噪性。(3)常用的平均最大值融合算法通常造成融合结果缺乏细节和具有较低的对比度，为此本专利技术提出尺度意识的S型权重融合策略，有效的减少辅助模态图像中黑色背景的影响，增加融合图像内细节信息量，进一步改进了融合图像的视觉对比度。本专利技术与现有技术相比的优点在于：1、本专利技术提出的基于热核金子塔的多尺度图像表示方法，一方面使得热核的构建是数据相关的，提高了算法结构意识能力，另一方面采用了分块策略和CUDA技术使得所提出的小波具有较低的运行时间。2、对比已有基于多尺度的算法，本专利技术提出的基于低秩分析的显著信息尺度空间构造方法，具有更好的信息保护和提取能力，同时具有更强的抗噪性能。3、本专利技术提出的尺度意识S型融合策略，避免了辅助模态医学影响内黑色背景的影响，提高了算法的信息融合能力，使得融合图像具有较好的对比度。附图说明图1为基于热尺度各向异性分解和低秩分析的多模态医学图像融合方法流程图；图2本文档来自技高网...

【技术保护点】
一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于包括以下步骤：步骤(1)、基于热核的多尺度图像表示：将输入的多模态图像转换到IHS颜色空间，对图像的I颜色空间构建图像金字塔，将每一层图像分为重叠的块，并利用Delaunay三角化方法对其网格化，基于所构建的网格，利用cotangent方法建立相对应的拉普拉斯矩阵，所构建的拉普拉斯矩阵固有的潜入了图像的结构信息，通过求解广义特征问题获取最小的N个特征值和所对应的特征向量，构造数据相关的热核，因此热核具有数据相关性、结构意识和各向异性性，通过所够构建的热核与图像进行卷积获得不同尺度下的图像表示；同时为了减少拉普拉斯矩阵构建和多尺度卷积的时间，该步骤采用了CUDA并行技术实现；步骤(2)、基于低秩分析的显著信息尺度空间构建：通过步骤(1)所获得的多尺度表示，将金字塔每层图像的多尺度表示进行分组，每组分别做为低秩分析的初始化输入矩阵，利用GoDec方法进行低秩分析，获取每组的低秩部分，该低秩部分包含了小尺度范围内的显著信息，且有效的滤除输入图像内包含的噪声，将每个分组所提取低秩部分进行二次重组，进而构建为基于显著信息的多尺度表示；步骤(3)、基于S型函数的尺度相关融合：通过步骤(2)中构建的显著信息多尺度空间，主模态基层权重设置为2，辅助模态基层的融合权重系数由S型函数计算，利用权重平均获得金字塔每层的基层融合效果，而细节层采用最大化选择方法获得细节层融合效果，每层的融合效果通过多个细节层和基层累加获得；而金字塔层间融合通过上采样低分辨率融合效果后与相邻下层融合效果进行权重合并，最终得到和输入图像相同分辨率的灰度层融合效果，利用GIHS方法得到最终的多模态医学图像融合效果图。...

【技术特征摘要】
1.一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于包括以下步骤：步骤(1)、基于热核的多尺度图像表示：将输入的多模态图像转换到IHS颜色空间，对图像的I颜色通道构建图像金字塔，将每一层图像分为重叠的块，并利用Delaunay三角化方法对图像网格化，网格的每个顶点对应图像中的一个像素，由(x,y,I(x,y))表示，其中(x,y)表示了相关像素i的空间坐标，I(x,y)表示像素i的灰度值，取代顶点表示的第三维为β*I(x,y)，β为系数，以此来控制所构建热核的各向异性性和结构敏感性；基于所构建的网格和顶点表示方法，图像块所对应的拉普拉斯矩阵由P＝A-1M定义，其中的质量矩阵A为对角阵，其中每一项表示了共享像素i的所有三角形的面积，刚度矩阵M的每一项编码了图像块的局部结构，定义如下：其中和为共享连接顶点i和j边的对角；获得矩阵M和A后，通过求解广义特征问题MΦ＝ΛAΦ，得到最小的特征值及所对应的特征向量n表示最小的特征值数量；在此进行拉普拉斯矩阵的谱分解；构建数据相关的热核其中参数t表示尺度，不同的t表示了不同尺度下图像的平滑效果，随着t的增加，输出结果中包含的细节越少，噪声也越少，通过所够构建的热核与图像进行卷积获得不同尺度下的图像表示；该步骤采用了CUDA并行技术实现；步骤(2)、基于低秩分析的显著信息多尺度空间构建：通过步骤(1)所获得的多尺度表示，将金字塔每层图像的多尺度表示进行分组，每组分别作为低秩分析的初始化输入矩阵，利用GoDec方法进行低秩分析，获取每组的低秩部分，该低秩部分包含了小尺度范围内的显著信息，且滤除了输入图像内包含的噪声，将每个分组所提取的低秩部分进行二次重组，进而构建为...

【专利技术属性】
技术研发人员：郝爱民，王青正，李帅，秦洪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11