一种红外微光图像融合系统、方法及电子设备技术方案

本申请涉及一种红外微光图像融合系统、方法及电子设备。包括：红外图像采集模块：用于采集红外图像；微光图像采集模块：用于采集微光图像；视频数据转换模块：用于通过多通道视频解码芯片将红外图像和微光图像由模拟信号解码转换为数字信号后，输出至FPGA处理模块；FPGA处理模块：用于通过FPGA芯片对红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。本申请通过红外微光图像采集器件和FPGA数据处理控制器件设计了红外和微光图像的采集和融合系统，图像的融合速度会大大提高，且图像层次感更强，有利于对图像的观察和判断。

【技术实现步骤摘要】
一种红外微光图像融合系统、方法及电子设备
本申请属于数字图像处理
，特别涉及一种红外微光图像融合系统、方法及电子设备。
技术介绍
红外图像是物体自身的辐射所产生的图像，可以“主动”地获取场景中的目标信息，并且能够很好地显示隐藏的热目标，受照明条件与恶劣天气的影响较小，但是同时由于成像原理的限制，红外图像对比度较低，空间相关性强，目标细节的反映能力也比较差，成像效果不符合人眼视觉习惯。由于可见光传感器所捕获的图像是物体的反射图像，所形成的图像含有丰富的细节信息，成像效果符合人眼观察习惯。微光图像属于可见光范畴，尤其是在低照度下其内容信息相对红外图像而言更加丰富，可以更好的描述环境的细节信息，但是受到环境与距离的限制，天气不好的时候成像噪声非常大，尤其是对于目标与背景色度差异较小的情况下，容易丢失目标。将红外图像和微光图像进行融合可以极大的方便探测者对两种图像的信息获取，而且还能保持各自的优势。红外图像和微光图像融合能够有效利用它们各自的特征部分信息，加强对场景的理解能力，突显目标，有助于探测隐蔽伪装的目标，并可以提升夜间监测和夜间作战的能力。然而，由于红外图像和微光图像在成像机理上的差异，各自获取图像的环境、时间上都不一样，所成的图像在空间和时间上必然会存在一定的差异，导致图像在融合的时会存在较大的差异，目前的图像配准方法主要集中在软件实现上，其所耗费的时间较长，实时性较差。申请号201710300515.7中公开了一种红外和夜视仪的光学图像融合系统及方法。其系统包括夜视仪，分束器包括位置相对的第一侧面和第二侧面，倾斜地设置在夜视仪光路的上游；目标物发出的长波红外光被第一侧面反射，反射光穿过第一光会聚器件；目标物的近红外光依次穿过第一侧面和第二侧面后进入夜视仪；所述反射光穿过第一光会聚器件后成像在光电探测器上；光电探测器输出的电信号送处理单元；处理单元将电信号转换为图像信号；显示器根据图像信号显示出对应目标物热成像的可见光图像；可见光图像经过第二光会聚器件的会聚后被所述第二侧面反射，反射光进入所述夜视仪。该方法是纯粹的光学系统，并没有涉及到图像融合，入射光进行多次的反射会存在较大的损耗，对图像采集是会有较大的干扰。申请号201710423679.9中公开了一种红外图像和低照度图像实时融合系统，所述系统包裹低照度光学镜组，红外光学镜组、同步调焦装置、低照度图像传感器、红外图像传感器、低照度图像传感器驱动模块、红外图像传感器驱动模块、图像传感器模拟前端、低照度图像处理器、图像同步采集模块、数字图像处理模块、图像显示控制模块、微显示器、显示器放大镜组、电源模块、处理器外围电路、显示切换按键。该系统采用的是同步调焦，和现有的软件算法进行图像配准和融合，配准和融合的效率不高，获得的融合图像实时性较差，输出延时较高。
技术实现思路
本申请提供了一种红外微光图像融合系统、方法及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。为了解决上述问题，本申请提供了如下技术方案：一种红外微光图像融合系统，包括：红外图像采集模块：用于采集红外图像；微光图像采集模块：用于采集微光图像；视频数据转换模块：用于通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；FPGA处理模块：用于通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。本申请实施例采取的技术方案还包括：所述FPGA处理模块具体包括：图像预处理单元：用于对所述红外图像和微光图像进行滤波处理；图像配准单元：用于对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。本申请实施例采取的技术方案还包括：所述图像配准单元对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：采用双通道的平行光轴系统进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。本申请实施例采取的技术方案还包括：所述图像融合单元采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。本申请实施例采取的技术方案还包括：外部存储模块：包括图像处理过程中用于对实时图像进行缓存处理，并与FPGA芯片进行实时数据交互的存储芯片SDRAM芯片，以及用于存储FPGA配置信息的存储芯片FLASH芯片；外部控制模块：用于通过按钮调节FPGA芯片的内部模式，控制输出不同模式信号。本申请实施例采取的另一技术方案为：一种红外微光图像融合方法，包括以下步骤：步骤a：分别采集红外图像及微光图像；步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；步骤d：使用A/D转换芯片将所述彩色图像转换本文档来自技高网...

【技术保护点】
1.一种红外微光图像融合系统，其特征在于，包括：/n红外图像采集模块：用于采集红外图像；/n微光图像采集模块：用于采集微光图像；/n视频数据转换模块：用于通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；/nFPGA处理模块：用于通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；/nA/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。/n

【技术特征摘要】
1.一种红外微光图像融合系统，其特征在于，包括：
红外图像采集模块：用于采集红外图像；
微光图像采集模块：用于采集微光图像；
视频数据转换模块：用于通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；
FPGA处理模块：用于通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；
A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。


2.根据权利要求1所述的红外微光图像融合系统，其特征在于，所述FPGA处理模块具体包括：
图像预处理单元：用于对所述红外图像和微光图像进行滤波处理；
图像配准单元：用于对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；
图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。


3.根据权利要求2所述的红外微光图像融合系统，其特征在于，所述图像配准单元对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：
采用双通道的平行光轴系统进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：



上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；
剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；
当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。


4.根据权利要求3所述的红外微光图像融合系统，其特征在于，所述图像融合单元采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。


5.根据权利要求1至4任一项所述的红外微光图像融合系统，其特征在于，还包括：
外部存储模块：包括图像处理过程中用于对实时图像进行缓存处理，并与FPGA芯片进行实时数据交互的存储芯片SDRAM芯片，以及用于存储FPGA配置信息的存储芯片FLASH芯片；
外部控制模块：用于通过按钮调节FPGA芯片的内部模式，控制输出不同模式信号。


6.一种红外微光图像融合方法，其特征在于，包括以下步骤：
步骤a：分别采集红外图像及微光图像；
步骤b：通过多通道视频解码芯片将所述红外图像和微光图...

【专利技术属性】
技术研发人员：赵国如，李慧奇，黄连鹤，蔡凌峰，宁运琨，郭贵昌，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44