一种基于FPGA加速的图像融合处理方法技术

本发明专利技术公开了一种基于FPGA加速的图像融合处理方法，其特征在于包含以下步骤：步骤一：视频图像信号接收：接收用户板产生的合成视景视频图像信号和夜视系统输入的红外视频图像信号；步骤二：视频图像融合处理：对合成视景视频图像信号和红外视频图像信号进行图像融合处理，形成增强合成视景视频图像信号；步骤三：视频图像信号显示控制与输出：对合成视景视频图像信号和增强合成视景视频图像信号进行选择和输出显示。本发明专利技术既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点，大大提高了图像融合处理的速度和处理效果。果。果。

【技术实现步骤摘要】
一种基于FPGA加速的图像融合处理方法


[0001]本专利技术属于图像处理
，具体涉及一种基于FPGA加速的图像融合处理方法。

技术介绍

[0002]图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。现有的图像融合处理技术处理效率底下，而且处理效果差，严重影响图像的融合效果。

技术实现思路

[0003]本专利技术所要解决的技术问题是针对上述现有技术的不足提供一种基于FPGA加速的图像融合处理方法，其既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点，大大提高了图像融合处理的速度和处理效果。
[0004]为实现上述技术目的，本专利技术采取的技术方案为：
[0005]一种基于FPGA加速的图像融合处理方法，其特征在于包含以下步骤：
[0006]其特征在于包含以下步骤：
[0007]步骤一：视频图像信号接收：接收用户板产生的合成视景视频图像信号和夜视系统输入的红外视频图像信号；
[0008]步骤二：视频图像融合处理：对合成视景视频图像信号和红外视频图像信号进行图像融合处理，形成增强合成视景视频图像信号；
[0009]步骤三：视频图像信号显示控制与输出：对合成视景视频图像信号和增强合成视景视频图像信号进行选择和输出显示。
[0010]上述的步骤二中的视频图像融合处理包含以下步骤：
[0011]第一步：采用两个分析子模块对输入的红外视频图像信号和视景视频图像信号分别进行处理；
[0012]第二步：将从红外视频图像信号和视景视频图像信号输入的两个分析子模块收集所有分析结果，并比较两个模块的结果，并为两个视频流之间的每个像素创建权重；
[0013]第三步：通过合并模块将按照以下等式组合两个视频流中相同位置的两个像素：
[0014]Pixel_merge＝w_visible*pixel_visible+w_inferred*pixel_inferred
[0015]Where w_visible+w_inferred＝1.0
[0016]0<＝pixel_merge<＝255
[0017]选择权重，以便为合并输出选择来自两个输入流的最佳视觉结果。
[0018]上述的第一步中的分析子模块处理过程包含以下步骤：
[0019]步骤a)：将8bit位输入视频流的RGB信号实时并行接收，并将该信号存储到DDR内
存中；
[0020]步骤b)：通过DDR数据帧获取模块抓取存储在DDR内存中的帧，并同时通过DDR前置帧获取模块从DDR内存中获取前一帧数据，以便通过运动搜索计算出前一帧和当前帧之间的运动差异，因此，像素级的运动可以更好地确定当前视频在地图中的位置；
[0021]步骤c)：通过DDR数据帧获取模块抓取的帧数据经过时间滤波器模块、运动搜索模块和边缘检测模块处理后，输出到DDR内存中进行存储，通过DDR前置帧获取模块获取的帧数据经过运动搜索模块处理后，输出到DDR内存中进行存储。
[0022]上述的步骤b)中的运动搜索模块通过运动搜索引擎将根据上一帧图像搜索每个像素的运动，运动搜索引擎将根据以下程序找到运动矢量：
[0023][0024]上述的步骤c)中的时间滤波器模块通过这个模块，可以从噪声和失真方面提取相关关键信息。时间滤波器定义如下式：
[0025]pixel_out(x,y)＝pixel_temp(x,y)*w(x,y)+pixel_in(x,y)*(1
‑
w(x,y))
[0026]其中w(x,y)是每个像素的权重。w是动态的，是运动搜索引擎输出结果的函数。通过DDR读写接口可以从DDR中读取运动搜索结果。
[0027]上述的步骤c)中的边缘检测模块进行边缘检测特征提取，并优化选择。对RGB颜色空间进行处理以生成方向色差结果。使用以下公式转换：
[0028]Pixel(i,j)＝2*red(i,j)+3*green(i,j)+4*blue(i,j)
[0029]利用四个掩膜计算方向颜色差异，掩膜示意图如下：
[0030]00004040000
‑
440
‑
40000000000000
‑
4000
‑
4400
[0031]整个掩模过程的数学公式如下：
[0032]u1(i,j)＝[2*R(i+1,j)+3*G(i+1,j)+4*B(i+1,j)]*A(i+1,j)
[0033]v1(i,j)＝[2*R(i+1,j+2)+3*G(i+1,j+2)+4*B(i+1,j+2)]*A(i+1,j+2)
[0034][0035]u2(i,j)＝[2*R(i,j+1)+3*G(i,j+1)+4*B(i,j+1)]*B(i,j+1)
[0036]v2(i,j)＝[2*R(i+2,j+1)+3*G(i+2,j+1)+4*B(i+2,j+1)]*B(i+2,j+1)
[0037][0038]u3(i,j)＝[2*R(i,j)+3*G(i,j)+4*B(i,j)]*C(i,j)
[0039]v3(i,j)＝[2*R(i+2,j+2)+3*G(i+2,j+2)+4*B(i+2,j+2)]*C(i+2,j+2)
[0040][0041]u4(i,j)＝[2*R(i+2,j)+3*G(i+2,j)+4*B(i+2,j)]*D(i+2,j)
[0042]v4(i,j)＝[2*R(i,j+2)+3*G(i,j+2)+4*B(i,j+2)]*D(i,j+2)
[0043][0044]通过计算，该模块能够生成一个轮廓图，并对边缘特征对该像素的强度进行加权。然后将边缘强度和方向存储到DDR中以供将来参考。
[0045]上述的步骤二中的视频图像融合处理过程中采用深度学习模块，深度学习模块采用反向传播神经网络算法进行模式匹配和分类。
[0046]本专利技术采用FPGA的方案，FPGA支持DDR内存，这样可以存储多个视频数据帧；多个数据帧对于后期设计处理是非常重要的，因为每次输入的帧相位(可见、红外和地图帧边界)不会同时发生，因此帧同步器需要延迟视频，以便所有数据帧都能对齐；将用可见光视景作为参考视频序列，红外视景和地图视景都需要通过不时插入帧或不时删除帧来延迟或加速，以便保持每个帧的边缘与可见参考帧同时出现；深度学习模块使用反向传播神经网络算法进行模式匹配和分类，实现了将数字数据与通过摄像机捕获的物理视觉数据对齐，鉴于GPS和车辆位置给出了相对准确的方位信息，但是实际生活中还会有如振动、测量公差、数据收集延迟和其他可能导致叠加不准确的未知因素，为了在一个像素内获得精度，需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA加速的图像融合处理方法，其特征在于包含以下步骤：步骤一：视频图像信号接收：接收用户板产生的合成视景视频图像信号和夜视系统输入的红外视频图像信号；步骤二：视频图像融合处理：对合成视景视频图像信号和红外视频图像信号进行图像融合处理，形成增强合成视景视频图像信号；步骤三：视频图像信号显示控制与输出：对合成视景视频图像信号和增强合成视景视频图像信号进行选择和输出显示。2.根据权利要求1所述的一种基于FPGA加速的图像融合处理方法，其特征在于：所述的步骤二中的视频图像融合处理包含以下步骤：第一步：采用两个分析子模块对输入的红外视频图像信号和视景视频图像信号分别进行处理；第二步：将从红外视频图像信号和视景视频图像信号输入的两个分析子模块收集所有分析结果，并比较两个模块的结果，并为两个视频流之间的每个像素创建权重；第三步：通过合并模块将按照以下等式组合两个视频流中相同位置的两个像素：Pixel_merge＝w_visible*pixel_visible+w_inferred*pixel_inferredWhere w_visible+w_inferred＝1.00<＝pixel_merge<＝255选择权重，以便为合并输出选择来自两个输入流的最佳视觉结果。3.根据权利要求2所述的一种基于FPGA加速的图像融合处理方法，其特征在于：所述的第一步中的分析子模块处理过程包含以下步骤：步骤a)：将8bit位输入视频流的RGB信号实时并行接收，并将该信号存储到DDR内存中；步骤b)：通过DDR数据帧获取模块抓取存储在DDR内存中的帧，并同时通过DDR前置帧获取模块从DDR内存中获取前一帧数据，以便通过运动搜索计算出前一帧和当前帧之间的运动差异，因此，像...

【专利技术属性】
技术研发人员：王金岑，郭晓丹，路家琪，徐彰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：