一种基于FPGA芯片的实时图像融合方法及系统技术方案

本发明专利技术公开了一种基于FPGA芯片的实时图像融合方法及系统，本方案给出基于流水线实时运算的滑动窗口缓存电路，同时创新的设计出两种适合在FPGA中实现的滤波器，即图像特征提取电路，从FPGA对定点运算效率高的特点，将滤波器中较为耗时和耗费资源的运算转化为更高效的等效运算。本方案完全在FPGA芯片中实现实时并行的图像融合处理，能在保证出图质量的同时，使高分辨率和高帧率的图像融合的运算达到较高的实时性。较高的实时性。较高的实时性。

【技术实现步骤摘要】
一种基于FPGA芯片的实时图像融合方法及系统


[0001]本专利技术涉及图像数据的处理方法，具体涉及图像实时融合方案。

技术介绍

[0002]现有图像处理技术中，针对图像融合大多使用DSP协处理模块，或者通过使用外部DDR芯片实现整页突发的缓存模式。现有方案在高分辨率和高帧率的条件下，无法满足实时图像处理的延时要求；再者，现有方案中使用DDR芯片作为帧缓存，也将影响最高数据带宽。
[0003]另外，现有方案大多数是针对特定的图像传感器分辨率和帧率(即固定数据带宽)设计的，扩展性较差。

技术实现思路

[0004]针对现有图像融合技术在实时性以及扩展性方面所存在的问题，本专利技术一方面在于提供一种基于FPGA芯片的实时图像融合方法，本专利技术另一方面在于提供了一种基于FPGA芯片的实时图像融合系统，本专利技术方案基于FPGA实现实时并行的图像融合处理，能在保证出图质量的同时，使高分辨率和高帧率的图像融合的运算达到高实时性。
[0005]为了达到上述目的，本专利技术提供的基于FPGA芯片的实时图像融合方法，包括：...

【技术保护点】

【技术特征摘要】
1.基于FPGA芯片的实时图像融合方法，其特征在于，包括：首先将待融合的第一图像与第二图像的像素流并行的输入到对应的滤波器中；接着，针对待融合的第一图像分别同时进行中值滤波处理与高斯滤波处理，得到第一图像的第一基础层与第二基础层；与此同时，同步针对第二图像同时进行中值滤波处理与高斯滤波处理，得到第二图像的第一基础层与第二基础层；接着，基于第一图像的原始图与形成的第一图像的第一基础层与第二基础层进行计算处理，形成针对第一图像的第一细节层与第二细节层；此同时，同步基于第二图像的原始图与形成的第二图像的第一基础层与第二基础层进行计算处理，形成针对第二图像的第一细节层与第二细节层；最后，基于第一图像的基础层和细节层与第二图像的基础层和细节层进行融合处理，由此实现第一图像与第二图像之间的融合。2.根据权利要求1所述的基于FPGA芯片的实时图像融合方法，其特征在于，所述第一图像为可见光图像，第二图像为红外线图像。3.基于FPGA芯片的实时图像融合系统，其特征在于，所述实时图像融合系统在FPGA芯片中形成第一滑动窗口缓存器、第二滑动窗口缓存器、第一F
B
滤波器、第一F
M
滤波器、第二F
B
滤波器、第二F
M
滤波器、多级运算单元以及并行加法运算器；所述第一滑动窗口缓存器与第二滑动窗口缓存器分别获取待融合的第一图像与第二图像的像素流，并且并行的输入到第一F
B
滤波器、第一F
M
滤波器、第二F
B
滤波器、第二F
M
滤波器中；所述第一F
B
滤波器与第一F
M
滤波器分别与第一滑动窗口缓存器数据连接，对输入的第一图像像素流分别同步进行高斯滤波与中值滤波处理，以获得第一图像的第二基础层与第一基础层；所述第二F
B
滤波器与第二F
M
滤波器分别与第二滑动窗口缓存器数据连接，对输入的第二图像像素流分别同步进行高斯滤波与中值滤波处理...

【专利技术属性】
技术研发人员：项鲁丁，艾韬，朱晓霞，梁剑泓，蒋卫良，郭俊，
申请(专利权)人：中煤科工集团上海有限公司，
类型：发明
国别省市：