一种实时的图像融合方法及装置制造方法及图纸

本发明专利技术涉及一种实时的图像融合方法及相应的装置，所述方法包括以下步骤：步骤一：输入已配准好的待融合图像数据A

Real time image fusion method and device

The invention relates to a real-time image fusion method and a corresponding device, the method comprises the following steps: Step 1: inputting the image data A to be registered;

【技术实现步骤摘要】
一种实时的图像融合方法及装置
本专利技术涉及到数字图像处理领域，特别涉及到一种实时的图像融合算法，并应用于满足实时性要求的嵌入式工程化产品中。
技术介绍
图像融合技术是通过单一传感器，提取同一场景在不同曝光值下的图像信息，并融合成一幅具有高动态范围信息的图像，以增加图像对不同环境的适应能力。随着国民经济的不断发展，该技术在安防、机器视觉、医学、军事遥感等领域具有广泛的应用价值。现有的图像融合技术主要有直接加权平均的融合算法，基于主成分分析（PrincipalComponentAnalysis,PCA）的融合算法，基于图像金字塔分解的融合算法，基于相机响应曲线的融合方法，基于小波变换的融合算法等。基于直接加权平均的算法是最简单的图像融合方法，主要是为两幅待融合图像，分别通过手动设置权值进行融合，权值越大表示该图像对融合结果的贡献越大。该方法的优点是融合速度快，缺点是权值需要根据主观视觉进行手动设置，而不是根据图像特征自动分配，而且融合之后图像的对比度会降低。基于PCA的融合算法是一种常用的图像融合方法，主要是先计算两幅图像的协方差，再通过协方差计算两幅图像的特征值和特征向量，最后比较这两个特征值，取特征值大的所对应的特征向量作为图像融合的最后权值。该算法优点是根据图像的特征实现了融合权值的自动分配，缺点是融合之后图像对比度有一定损失。基于图像金字塔分解的融合算法主要是先用高斯金字塔分别对权值图进行分解，再利用拉普拉斯金字塔对待融合图像分别进行分解，并对分解的每一层分别进行加权融合，最后对融合金字塔用拉普拉斯金字塔反变换得到最终的融合图像。该算法利用了多分辨率技术，融合效果较好，但正因为此技术，使得该算法在计算方面占用了大量内存资源，运行时间较长，不适用于要求实时性的场合。基于小波变换的融合算法是在频率域处理的一种方法，通过对分解后的低频系数和高频系数分别进行融合处理，每个分解层数的不同分量系数采用不同的融合规则进行融合处理，得到最终融合的小波系数，最后，对融合后得到的小波系数进行小波逆变换得到最终的融合图像。该算法和金字塔算法一样都需要进行分解、融合和重构三个阶段，在实施中需要消耗大量的内存和时间，不满足实时性要求。基于相机响应曲线的方法是一种需要精确曝光时间的融合算法，通过多幅待融合图像标定出相机响应曲线，从而恢复实际场景，得到融合之后的图像。由于该算法需要精确知道待融合图像的曝光时间，导致在某些场合会出现不稳定的融合效果，融合的鲁棒性较差。因此，为了实时提高图像细节、对比度以及图像融合的稳定性，增强图像对环境的适应能力，本专利技术提出一种实时的图像融合算法，采用分段融合规则，加权平均的融合方法，弥补现有算法的不足。
技术实现思路
本专利技术的目的是解决上述已有技术的不足，提出一种实时的图像融合算法，该技术能够快速提高融合之后的图像质量，同时满足工程化应用中实时性要求。为实现本专利技术目的，对图像融合处理所采用的一种实时的图像融合方法，主要包括如下几个步骤：步骤一：输入已配准好的待融合图像数据A1和A2；步骤二：对A1和A2进行归一化预处理操作得I1,I2；步骤三：分别求I1和I2进行融合时的权重图w1和w2；步骤四：计算I1和I2进行分段融合的阈值T1和T2；步骤五：按照所求的分段融合的阈值T1和T2，将I1和I2分段进行融合；步骤六：输出融合结果。本专利技术还涉及一种实时的图像融合装置，包括：图像输入装置，用于向归一化处理装置输入已配准好的待融合图像数据A1和A2；归一化处理装置，用于对A1和A2进行归一化预处理操作得I1和I2，并将结果传送给权重图计算装置和阈值计算装置；权重图计算装置，用于分别求I1和I2进行融合时的权重图w1和w2，并将结果传送给融合装置；阈值计算装置，用于计算I1和I2进行分段融合的阈值T1和T2，并将结果传送给融合装置；融合装置，用于按照所求的分段融合的阈值T1和T2，将I1和I2分段进行融合，并将结果传送给输出装置；输出装置，用于输出融合结果。所述的一种实时的图像融合方法具体包括如下步骤：1、读入已配准好的待融合图像数据A1和A2，为了得到反映图像曝光程度的权值，本专利技术对A1和A2进行归一化预处理操作得I1和I2。2、分别求I1和I2进行融合时的权重图w1和w2。权值对图像融合质量的好坏有决定性作用，图像曝光好，细节丰富的区域需要较高的权值，而曝光不足或曝光过度等区域，则需要较低的权值。为了得到这样的权重图，本专利技术采用高斯函数生成权重图，该函数描述了像素的曝光程度。先利用高斯函数g(x,y)分别对图像I1和I2进行处理，得到g1(x,y)和g2(x,y)；为了得到更自然的融合结果，本专利技术对权重图gi(x,y)，i=1,2的值进行归一化，得到g’1(x,y)和g'2(x,y)；如果将g’1(x,y)和g'2(x,y)作为权值进行融合，那么在图像融合边界会出现不连续现象，为了解决此问题，本专利技术对g’1(x,y)和g'2(x,y)分别进行均值滤波操作。这样，就得到图像进行融合的最终权重图w1和w2；3、计算图像进行分段融合的阈值T1和T2。本专利技术中，先分别计算图像I1和I2的亮度值L1和L2，然后求L1和L2的最大值M，再令T1=α*M,T2=(1-α)*M,α∈(0,0.5)，就得到图像分段融合的阈值；4、按照所求的分段融合阈值，本专利技术将图像分成三部分分别进行融合。如果图像I1的灰度值小于阈值T1，那么最终融合的图像F取I2的部分；如果图像I2的灰度值都大于阈值T2，那么最终融合的图像F取I1的部分；对于其它情况，采用加权平均的方法进行融合，权值按照步骤2中的方法进行计算。5、输出融合结果在本专利技术中，是针对已配准好的两幅图像进行融合，由于待融合图像都是RGB颜色模式，所以在对图像进行处理时，R、G、B三个分量都单独处理。待融合两幅图像的曝光时间一般相差8倍以下，因为太亮的区域和太暗的区域所含信息量很少，融合之后图像的信息量也不会很多，而且边缘会出现明显的不连续现象，这样的融合就失去意义。本专利技术采用了分段融合规则，加权平均的融合方法。该专利技术方法相比于图像金字塔方法，算法运行时间少，占用内存资源低；而相比于小波变换方法以及PCA等方法，图像信息熵更高，意味着融合之后含有的平均信息量更多，而且图像对比度明显增强。本领域普通技术人员可以理解实现上述方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成。相应地，本专利技术还提供一种图像融合设备，包括：图像输入装置，用于输入已配准好的待融合图像数据A1和A2；归一化处理装置，用于对A1和A2进行归一化预处理操作得I1,I2；权重图计算装置，用于分别求I1和I2进行融合时的权重图w1和w2；阈值计算装置，用于计算I1和I2进行分段融合的阈值T1和T2；融合装置，用于按照所求的分段融合的阈值T1和T2，将I1和I2分段进行融合；输出装置，用于输出融合结果。本专利技术克服了现有融合方法的不足，能够达到了实时稳定的融合效果，并在嵌入式工程化产品中得到应用，具有重大的实用价值。附图说明图1是本专利技术处理的总体流程图；图2是本专利技术进行分段融合的示意图；图3是本专利技术实施实例待融合图像数据A1和A2，其中，a是图像A1，b是图像A2；图4是本专利技术进行融合时产生的权重图本文档来自技高网...

【技术保护点】
一种实时的图像融合方法，其特征在于，包括以下步骤：步骤一：输入已配准好的待融合图像数据A

【技术特征摘要】
1.一种实时的图像融合方法，其特征在于，包括以下步骤：步骤一：输入已配准好的待融合图像数据A1和A2；步骤二：对A1和A2进行归一化预处理操作得I1,I2；步骤三：分别求I1和I2进行融合时的权重图w1和w2；步骤四：计算I1和I2进行分段融合的阈值T1和T2；步骤五：按照所求的分段融合的阈值T1和T2，将I1和I2分段进行融合；步骤六：输出融合结果；所述的步骤一包括：输入需要融合的两幅源图像，并将两幅源图像分别用图像矩阵A1和A2表示；对源图像的R、G、B三个分量单独处理，生成对应源图像的图像矩阵A1j和A2j,其中j＝r,g,b；所述的步骤二包括：对A1j和A2j进行归一化预处理操作得I1j和I2j,所述的步骤三包括：利用(1)式高斯函数g(x,y)分别对图像I1j和I2j中R、G、B三个分量单独进行处理，得到gij(x,y),其中，i＝1,2，j＝r,g,b令g1(x,y)＝g1r(x,y)·g1g(x,y)·g1b(x,y)，g2(x,y)＝g2r(x,y)·g2g(x,y)·g2b(x,y)，对gi(x,y)，i＝1,2按照(2)式进行归一化，即对g’1(x,y)和g'2(x,y)分别进行n×n的均值滤波操作，边界处理采用镜像方式,得到图像进行融合的最终权重图w1和w2。2.根据权利要求1所述的一种实时的图像融合方法，其特征在于：所述的步骤四包括：分别计算图像I1和I2的亮度值L1和L2，然后求取L1和L2的最大值M，最后，令T1＝α*M和T2＝(1-α)*M，α∈(0,0.5)；所述的步骤五包括：将图像分成三部分分别进行融合，具体融合规则如(3)式，3.根据权利要求1所述的一种实时的图像融合方法，其特征在于：所述待融合的两幅图像的曝光时间相...

【专利技术属性】
技术研发人员：吴松野，宋文，
申请(专利权)人：南京第五十五所技术开发有限公司，
类型：发明
国别省市：江苏,32