一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法、系统、设备及介质技术方案

一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法、系统、设备及介质，方法包括：将彩色图片RGB通道转换为YUV通道，将灰色图片和彩色图片Y通道归一化处理，再用拉普拉斯金字塔分解，得到高通子带与低通子带，高通子带使用SPAPCNN规则进行融合，得到高频图像，低通子带使用MN

【技术实现步骤摘要】
一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法、系统、设备及介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法、系统、设备及介质。

技术介绍

[0002]对于医学图像的融合，在需要保证图像的融合质量的同时，还需要缩短融合时间。目前常用的融合方法往往需要大量的时间进行融合，这对于需要实时融合的场景来说是不可接受的。现有的多模态图像融合方法有：
[0003](1)基于空间域的图像融合
[0004]基于空间域图像融合的典型算法包括主成分分析法、差分进化法、梯度能量法等，这些方法直接对图像的像素值进行操作。该算法虽然计算速度快，但在保留图像边缘和轮廓信息方面较差。此外，模糊集和随机机场等技术也被用于基于空间域的图像融合；空间域融合方法简单直观，融合速度快，适合实时处理；然而，由于其基于简单重叠计算的融合规则，融合图像的信噪比和对比度大大降低。
[0005](2)基于变换域的图像融合
[0006]变换域融合的一般步骤如下：首先，将待融合图像通过一定的分解算法分解为高频通道和低频通道；然后分别对高频通道和低频通道采用不同的融合策略；最后通过分解和逆变换实现图像融合；变换域方法具有更高的特征提取精度和更好的融合效果，优于空间域方法；但是，变换域方法也有一些局限性：耗时长、实时性差。
[0007](3)基于模型的图像融合
[0008]为了适应这些特征，针对图像融合提出了一些自适应特征提取的新数学模型，如稀疏表示(SR)、脉冲耦合神经网络(PCNN)和基于深度学习的神经网络等。SR模型简单，可以更好地处理噪声错误；但是SR方法耗时较长，融合图像的边缘和纹理比较模糊；PCNN具有局部细节提取能力强、目标识别率高的特点，并且由于图像的清晰度与图像的纹理等特征无关，具有一定的普适性；但是PCNN参数较多，其值是通过大量训练得到的，其融合结果和性能受参数值影响较大。论文《A Novel Method of Multimodal Medical Image Fusion Based on Hybrid Approach of NSCT and DTCWT》(《基于NSCT和DTCWT混合方法的多模态医学图像融合新方法》)，通过使用NSCT作为分解策略，使用DTCWT作为融合策略(Now new method is proposed with hybrid approach of DTCWT and NSCT.)，因此具有融合时间较长、融合后颜色不平衡、融合后图像细节不清晰等缺点。

技术实现思路

[0009]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法、系统、设备及介质，通过使用拉普拉斯金字塔将图片进行分解，对图像的高通子带使用简化自适应参数脉冲耦合神经网络进行融合，
对图像的低通子带使用多邻域距离加权区域能量方法进行融合，保证了两张图片的低通子带的高质量融合，具有分解速度快，融合时间短、融合效果好的特点。
[0010]一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法，包括以下步骤：
[0011]步骤1：将原图片中的彩色图片的RGB通道转换为YUV通道，并将彩色图片中的Y通道作为以下步骤的融合图像；
[0012]步骤2：将原图片中的灰色图片进行归一化处理，使用拉普拉斯金字塔分解，得到高通子带与低通子带；
[0013]将步骤1中得到的Y通道图像进行归一化处理，得到归一化处理之后的Y通道图像，使用拉普拉斯金字塔分解，得到高通子带与低通子带；
[0014]步骤3：将步骤2得到的高通子带使用简化的自适应参数脉冲耦合神经网络(SPAPCNN规则)进行融合，得到融合后的高频图像；
[0015]步骤4：将通过步骤3得到的低通子带使用多邻域距离加权区域能量方法(MN
‑
DWRE规则)进行融合，得到融合后的低频图像；
[0016]步骤5：对步骤3得到融合后的高频图像与步骤4得到的融合后的低频图像使用逆拉普拉斯金字塔进行逆分解，得到融合图像的Y通道；
[0017]步骤6：将步骤1中原图片的U、V通道与步骤5中得到的Y通道组合，转换为RGB通道，并进行标准化处理(SDZ)，得到一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合结果。
[0018]所述步骤1的具体过程为：
[0019]使用如下计算式得到图片的YUV通道：
[0020]Y＝0.2990R+0.5870G+0.1140B
[0021]U＝
‑
0.1684R
‑
0.3316G+0.5B+128
[0022]V＝0.5R
‑
0.4187G
‑
0.0813B+128
[0023]其中：R、G、B分别为原图像中的红、绿、黑颜色通道；Y表示明亮度通道，即灰阶值，U和V为色度。
[0024]所述步骤2的具体过程为：
[0025]步骤2.1：将步骤1中得到的Y通道图像使用如下计算式进行下采样，得到图像的高斯金字塔GP：
[0026]GP
i
＝Down(GP
i
‑1)
[0027]其中，Down操作为去除每一层图像的偶数行和偶数列；
[0028]步骤2.2：将步骤2.1中得到的高斯金字塔GP进行上采样，对高斯金字塔GP求出残差，得到拉普拉斯金字塔LP：
[0029][0030]其中，UP操作为上采样，将原图像中位置为(x，y)的像素映射到目标图像的(2x+1，2y+1)的位置；表示卷积，κ5×5为5
×
5的内核，内核为
[0031][0032]所述步骤3的具体过程为：
[0033]将步骤2.1中得到的高斯金字塔GP使用简化的自适应参数脉冲耦合神经网络进行融合，计算式如下所示：
[0034]F
ij
[n]＝S
ij
[0035]输入分为两部分：S
ij
为步骤1中得到的图片的Y通道；L
ij
为第(i，j)个神经元，n为迭代次数；F
ij
[n]为网络的整体输入；
[0036][0037]其中，L
ij
为第(i，j)个神经元，n为迭代次数；
[0038][0039]其中，W是像素点及其8个相邻点的突触权值；
[0040][0041]为上次迭代的衰减程度，β为链接强度，F
ij
[n](1+βL
ij
)为L
ij
和F
ij
之间的非线性连接；U
ij
为内部活动水平；
[0042][0043]Y
ij
为点火状态：当Y
ij
为1即为点火，否则若为0，则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法，其特征在于，包括以下步骤：步骤1：将原图片中的彩色图片的RGB通道转换为YUV通道，并将彩色图片中的Y通道作为以下步骤的融合图像；步骤2：将原图片中的灰色图片进行归一化处理，使用拉普拉斯金字塔分解，得到高通子带与低通子带；将步骤1中得到的Y通道图像进行归一化处理，得到归一化处理之后的Y通道图像，使用拉普拉斯金字塔分解，得到高通子带与低通子带；步骤3：将步骤2得到的高通子带使用简化的自适应参数脉冲耦合神经网络(SPAPCNN规则)进行融合，得到融合后的高频图像；步骤4：将通过步骤3得到的低通子带使用多邻域距离加权区域能量方法(MN
‑
DWRE规则)进行融合，得到融合后的低频图像；步骤5：对步骤3得到融合后的高频图像与步骤4得到的融合后的低频图像使用逆拉普拉斯金字塔进行逆分解，得到融合图像的Y通道；步骤6：将步骤1中原图片的U、V通道与步骤5中得到的Y通道组合，转换为RGB通道，并进行标准化处理(SDZ)，得到一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合结果。2.根据权利要求1所述的一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法，其特征在于，所述步骤1的具体过程为：使用如下计算式得到图片的YUV通道：Y＝0.2990R+0.5870G+0.1140BU＝
‑
0.1684R
‑
0.3316G+0.5B+128V＝0.5R
‑
0.4187G
‑
0.0813B+128其中：R、G、B分别为原图像中的红、绿、黑颜色通道；Y表示明亮度通道，即灰阶值，U和V为色度。3.根据权利要求1所述的一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法，其特征在于，所述步骤2的具体过程为：步骤2.1：将步骤1中得到的Y通道图像使用如下计算式进行下采样，得到图像的高斯金字塔GP：GP
i
＝Down(GP
i
‑1)其中，Down操作为去除每一层图像的偶数行和偶数列；步骤2.2：将步骤2.1中得到的高斯金字塔GP进行上采样，对高斯金字塔GP求出残差，得到拉普拉斯金字塔LP：其中，UP操作为上采样，将原图像中位置为(x，y)的像素映射到目标图像的(2x+1，2y+1)的位置；表示卷积，κ5×5为5
×
5的内核，内核为
4.根据权利要求1所述的一种基于简化自适应参数脉冲耦合神经网络的快速多模态图像融合方法，其特征在于，所述步骤3的具体过程为：将步骤2.1中得到的高斯金字塔GP使用简化的自适应参数脉冲耦合神经网络进行融合，计算式如下所示：F
ij
[n]＝S
ij
输入分为两部分：S
ij
为步骤1中得到的图片的Y通道；L
ij
为第(i，j)个神经元，n为迭代次数；F
ij
[n]为网络的整体输入；其中，L
ij
为第(i，j)个神经元，n为迭代次数；其中，W是像素点及其8个相邻点的突触权值；其中，W是像素点及其8个相邻点的突触权值；为上次迭代的衰减程度，β为链接强度，F
ij
[n](1+βL
ij
)为L
ij
和F
ij
之间的非线性连接；U
ij
为内部活动水平；Y
ij
为点火状态：当Y
ij
为1即为点火，否则若为0，则为非点火状态；其中，α
e
为E
ij
的指数衰减系数，V
E
为E
ij
的振幅；使用以下计算式动态确定系数α
...

【专利技术属性】
技术研发人员：康宇翰，纪建，王锐莹，杨勇，徐贺凯，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：