一种基于红外与可见光的视频图像处理系统及方法技术方案

本发明专利技术公开一种基于红外与可见光的视频图像处理系统及方法，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，还包括双向传输的接口电路，用于实时处理红外数据模拟信号和可见光数字信号并传输给图像处理模块同时控制红外传感器和可见光传感器，图像处理模块用于对红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别，图像输出模组用于输出图像处理模块分析处理后的图像信息。

A Video Image Processing System and Method Based on Infrared and Visible Light

The invention discloses a video image processing system and method based on infrared and visible light, including infrared optical system, visible light optical system, infrared sensor, visible light sensor, image processing module and image output module. The infrared sensor obtains infrared data analog signal of target scene in real time through infrared optical system, and the visible light sensor obtains infrared data analog signal of target scene through visible light optics. The system acquires the visible light digital signal of the target scene in real time and transmits the visible light digital signal to the image processing module. It also includes the interface circuit of bidirectional transmission. It can process the infrared data analog signal and the visible light digital signal in real time and transmit them to the image processing module to control the infrared sensor and the visible light sensor at the same time. The image processing module is used for the infrared data information and the visible light sensor. The visual data information is used for image imaging, temperature measurement, fusion, target retrieval, classification and recognition. The image output module is used to output the image information processed by the image processing module.

【技术实现步骤摘要】
一种基于红外与可见光的视频图像处理系统及方法
本专利技术属于数字图像处理
，具体涉及一种基于红外与可见光的视频图像处理系统及方法。
技术介绍
基于红外焦平面阵列（InfraredFocalPlaneArrays，IRFPA）的热成像系统是当今国内外迅速发展，且应用领域不断扩展的光电成像技术。新一代热成像技术具有结构简单、工作稳定可靠、灵敏度高、温度分辨力好等特点，同时由于系统具有全天候、隐蔽性好、作用距离远、不易为敌方干扰，在军事领域和民用领域都有着极为广泛的应用。现有的红外成像系统中非制冷红外探测器由于其体积小，功耗低等优势占据着主要地位，但非制冷型的红外探测器有非均匀性差，易受环境因素干扰等问题。目前市场上存在的非制冷型红外热像仪，大都采用FPGA实现功能与算法处理，受限于系统资源，难以实现较为复杂的图像处理算法，导致画面质量和应用范围不尽如人意，存在成本高、升级难、功能扩展难，应用灵活性差等问题，不符合热成像产品消费市场应用的需求及产品发展趋势。
技术实现思路
本专利技术的目的是为了克服现有技术的不足，提供一种低成本、易开发，功能扩展性强的视频图像处理系统及方法，本专利技术通过图像处理模块对红外和可见光双波段信息进行处理，构建智能视觉处理系统，满足不同情况下对成像的需求差别，支持多种图像处理算法，可以实时进行非均匀性校正、图像降噪、图像自适应增强、动态范围压缩等处理，此外，本专利技术还支持全幅精准测温、视觉目标智能探测、识别和跟踪等功能，具有高集成度。为了实现上述目的，本专利技术采用的技术方案为：一种基于红外与可见光的视频图像处理系统，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，还包括双向传输的接口电路，用于实时处理红外数据模拟信号和可见光数字信号并传输给图像处理模块同时控制红外传感器和可见光传感器，图像处理模块包括图像成像模块、全辐射测温模块、图像融合模块和分类识别模块，分别用于对红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别，图像输出模组用于输出图像处理模块分析处理后的图像信息。优选地，图像处理模块是基于DSP和CPU/MPU架构的集成芯片。优选地，接口电路为ADC与FPGA接口电路，ADC电路用于将红外传感器输出的模拟电压进行数字量化，FPGA用于实现对红外传感器和见光传感器的时序驱动和寄存器配置以及对可见光数字信号和ADC电路量化后的红外数据进行分析处理。进一步地，图像输出模组包括Wifi接口、BT接口、CMOS接口、LAN接口、MIPI接口、HDMI接口、USB接口和LCD接口。进一步地，图像处理模块的软件架构从底层到顶层依次包括：BSP层，用于系统中的接口驱动；中间件层，用于可见光图像处理和音视频编解码；图像算法层，用于红外图像处理、图像融合、全辐射测温和目标检测识别以及提供图像算法API，供应用层根据不同的应用方式进行灵活组合，完成定制化应用；应用层，用于提供应用程序需要的信息交换和远程操作。进一步地，该系统还包括电源管理模块和显示模块，所述电源管理模块用于对系统供电、调控输出电压和管理上电时序，所述显示模块用于显示图像处理模块输出的视频图像，所述电源管理模块与图像处理模块连接，所述显示模块与图像输出模组连接。一种基于红外与可见光的视频图像处理方法，包括以下步骤：（1）红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，同时红外数据模拟信号和可见光数字信号通过接口电路处理后传输给图像处理模块，接口电路同时控制可见光传感器和红外传感器；（2）图像处理模块中的图像成像模块、全辐射测温模块、图像融合模块和分类识别模块对输入的红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别处理；（3）经过图像处理模块处理后的视频图像通过图像输出模组进行输出，并在显示模块上显示。进一步地，步骤（2）中图像成像模块对输入的数据信息进行盲元检测与补偿、非均匀性校正、图像降噪、图像细节增强和动态压缩处理；图像融合模块对输入的可见光数据信息和红外数据信息进行图像配准、处理和融合；图像识别模块通过样本采集和训练学习，然后基于训练学习对传输来的数据信息进行特征选择和提取以及进行视觉目标检测和分类识别。进一步地，图像降噪处理方法包括中值滤波法、双边滤波法和基于多尺度变换的小波降噪法。进一步地，图像细节增强和动态压缩处理方法包括以下步骤：（a）对可见光和红外图像进行低通滤波，分别得到可见光图像低频分量图和红外图像低频分量图；（b）用滤波前的可见光图像与可见光图像低频分量进行差分运算，获得可见光图像高频分量图；用滤波前的红外图像与红外图像低频分量进行差分运算，获得红外图像高频分量图；（c）对可见光图像低频分量图和红外图像低频分量图进行图像拉伸；所述图像拉伸通过双平台直方图均衡算法实现；（d）对可见光图像高频分量图和拉伸后的可见光图像低频分量图进行线性加权压缩，以及对红外图像高频分量图和拉伸后的红外图像低频分量图进行线性加权压缩，分别获得增强后的可见光图像和红外图像。与现有技术相比，本专利技术的有益效果：（1）本专利技术通过设置双向传输的接口电路，不仅可以对红外和可将光数据信息进行处理通过对红外和可见光双波段信息进行处理，而且可以通过命令交互实时调整红外传感器和可见光传感器的工作区域，使红外和可见光传感器随时工作在最佳工作区域，以保证其动态范围尽量大，测量范围尽量宽和远离饱和区；（2）本专利技术通过对红外和可将光双波段信息进行处理，构建智能视觉处理系统，满足不同情况下对图像成像的需求差别，支持多种图像处理，可以实时进行非均匀性校正、图像降噪、图像自适应增强、动态范围压缩等处理。此外，本专利技术还支持全幅精准测温、视觉目标智能探测、识别和跟踪等功能，具有成本低、集成度高、功耗低、功能扩展性强、处理能力多样等特点。附图说明图1是本专利技术系统的原理示意图；图2是本专利技术中红外传感器和可见光传感器与接口电路连接的原理示意图；图3是本专利技术中图像处理模块的软件平台架构图。具体实施方式下面结合图1和图3，对本专利技术的实施方式和具体的操作过程作详细说明，但本专利技术的保护范围不限于下述的实施例。本专利技术公开了一种基于红外与可见光的视频图像处理系统，如图1所示，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、双向传输的接口电路、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号通过数据接口传输给图像处理模块，双向传输的接口电路用于实时处理红外数据模拟信号和可见光数字信号并通过数据接口传输给图像处理模块同时控制红外传感器和可见光传感器，实时调整红外传感器和可见光传感器的工作区域；图像处理模块包括图像成像模块、全辐射测温模块、图像融合模块和分类识别模块，分别用于对红外数据信息本文档来自技高网...

【技术保护点】
1.一种基于红外与可见光的视频图像处理系统，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，其特征在于，还包括双向传输的接口电路，用于实时处理红外数据模拟信号和可见光数字信号并传输给图像处理模块同时控制红外传感器和可见光传感器，图像处理模块包括图像成像模块、全辐射测温模块、图像融合模块和分类识别模块，分别用于对红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别，图像输出模组用于输出图像处理模块分析处理后的图像信息。

【技术特征摘要】
1.一种基于红外与可见光的视频图像处理系统，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，其特征在于，还包括双向传输的接口电路，用于实时处理红外数据模拟信号和可见光数字信号并传输给图像处理模块同时控制红外传感器和可见光传感器，图像处理模块包括图像成像模块、全辐射测温模块、图像融合模块和分类识别模块，分别用于对红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别，图像输出模组用于输出图像处理模块分析处理后的图像信息。2.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像处理模块是基于DSP和CPU/MPU架构的集成芯片。3.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述接口电路为ADC与FPGA接口电路，ADC电路用于将红外传感器输出的模拟电压进行数字量化，FPGA用于实现对红外传感器和见光传感器的时序驱动和寄存器配置以及对可见光数字信号和ADC电路量化后的红外数据进行分析处理。4.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像输出模组包括Wifi接口、BT接口、CMOS接口、LAN接口、MIPI接口、HDMI接口、USB接口和LCD接口。5.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像处理模块的软件架构从底层到顶层依次包括：BSP层，用于系统中的接口驱动；中间件层，用于可见光图像处理和音视频编解码；图像算法层，用于红外图像处理、图像融合、全辐射测温和目标检测识别以及提供图像算法API，供应用层根据不同的应用方式进行灵活组合，完成定制化应用；应用层，用于提供应用程序需要的信息交换和远程操作。6.根据权利要求1至5任一项所述的基于红外与可见光的视频图像处理系统，其特征在于，还包括电源管理模块和显示模块，所述电源管理模块用于对系统供电、调控输出电压和管理上电时序，所述显示模块用于显示图像处理模块输出的视频图像，所述电源管理模块与...

【专利技术属性】
技术研发人员：赵照，邓峰，李超，金仲晟，王萌，
申请(专利权)人：合肥芯福传感器技术有限公司，
类型：发明
国别省市：安徽,34