【技术实现步骤摘要】
一、
本专利技术属于计算机应用技术范畴，涉及计算机视觉和信息融合领域，特别是多传感器图像融合领域，具体是一种基于异构多核构架的红外光与可见光图像实时融合方法。二、
技术介绍
多传感器图像融合技术是在信息融合技术的理论基础上发展起来的一种图像处理新技术。由于可以有效综合多源图像信息的互补性和冗余性，因此融合图像包含比任一输入通道图像更丰富的信息，具有更高的可靠性，有利于提高对图像信息的分析和识别能力，所以近年来成为国际学术界图像处理研究领域的一个热点。融合技术将多源图像信息资源的利用率得以最大限度地发挥，图像配准是图像融合必须进行的预处理，多源图像配准和融合技术的理论研究已经取得了很多成果，但是可实用的图像融合系统目前处理能力依然有限，且有些还处于实验研究阶段。图像融合技术应用的突出障碍是实时性要求与系统处理速度。对于像素级融合，多源图像相关像素的配准结果直接影响融合图像精度，而现阶段所提出的图像多尺度塔形分解与重构的多分辨图像融合算法的巨量数据处理又使得图像融合处理系统的研制开发具有不小的阻碍。国内外也有部分文献提到使用不同的体系构架进行红外光与可见光融合，但是性能及效率还不能完全适应现有图像处理的需要，性能及效率还有待提高。三、
技术实现思路
本专利技术的目的是针对目前红外光与可见光融合算法效率与质量相互制约的缺点，设计一种基于异构多核构架的红外光与可见光实图像时融合系统。该系统充分利用ARM...
【技术保护点】
一种基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：系统构建一个以ARM核和DSP核为核心的异构多核处理器，在ARM核与DSP核之间采用CMEM和DSPlink接口模块；ARM核与DSP核之间数据调用接口采用Codec Engine调用接口模板；异构多核处理器负责整个系统的控制流程及数据收发及处理逻辑，完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合后的视频数据的显示输出；在异构多核处理器内部，ARM核运行linux操作系统，使用gcc编译器编译内核驱动及应用程序，开发环境使用Redhat linux；负责红外光与可见光两路视频数据的实时数据采集及图像融合过后的压缩数据的实时传输；在DSP核使用CCS集成开发环境，运行DSP/BIOSS实时操作系统，负责对红外光输入图像进行配准预处理和图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图像数据进行H.264实时编码压缩；在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器；可见光数据和红外光数据分别...
【技术特征摘要】
1.一种基于异构多核构架的红外光与可见光图像实时融合系统，其特征在于：
系统构建一个以ARM核和DSP核为核心的异构多核处理器，在ARM核与DSP核之间
采用CMEM和DSPlink接口模块；ARM核与DSP核之间数据调用接口采用CodecEngine
调用接口模板；异构多核处理器负责整个系统的控制流程及数据收发及处理逻辑，
完成红外光与可见光图像的视频数据采集、视频数据的实时增强与融合，以及融合
后的视频数据的显示输出；
在异构多核处理器内部，ARM核运行linux操作系统，使用gcc编译器编译内核
驱动及应用程序，开发环境使用Redhatlinux；负责红外光与可见光两路视频数据
的实时数据采集及图像融合过后的压缩数据的实时传输；在DSP核使用CCS集成开
发环境，运行DSP/BIOSS实时操作系统，负责对红外光输入图像进行配准预处理和
图像增强预处理、可见光与红外光两路视频图像数据的实时融合以及对融合后的图
像数据进行H.264实时编码压缩；
在异构多核处理器前端设置多路视频A/D转换芯片，在异构多核处理器后端设置
多路视频D/A转换芯片和用于视频数据压缩输出到网络物理层控制器；可见光数据
和红外光数据分别经过各自的视频输入口通道进入系统后，经各自的多路视频放大
器放大、增强数据驱动能力，放大后的可见光数据和红外光数据均分为2路，一路
数据完全保留并经视频旁路视频输出口分别显示输出，另外一路送入A/D视频转换
芯片，经数字化后送入异构多核处理器进行数据采集融合处理，融合后的数据经视
频D/A转换芯片处理后，实时融合视频从视频输出口输出，同时，融合后的视频数
据经过H264实时编码压缩，压缩后的视频数据经网络物理层控制器从网络接口输出；
系统的运行流程：首先，ARM端采集红外光视频数据和可见光视频数据，DSP端
获取视频缓存后,对红外光输入图像进行图像增强预处理和图像配准预处理，在DSP
端进行图像融合，融合后的图像数据发送到ARM端显示融合结果，输出融合后的视
频，同时，DSP端对融合的图像进行H264视频编码压缩，压缩后再经ARM端网络数
据传输网络视频数据。
2.如权利要求1所述的基于异构多核构架的红外光与可见光图像实时融合系统，
其特征在于：对红外光输入图像配准预处理，是将红外光图像通过上采样插值到可
\t见光系统分辨率，即将红外光图像拉伸至可见光图像的对应点；
对红外光输入图像进行图像增强预处理，采用基于“灰度世界”greyworld图像
增强算法,在YUV色彩空间进行,且仅用于红外光的亮度信息Y分量的增益调整，即
把红外光的灰度信息只看作是其中一个通道的亮度信息，并选定目标灰度作为整个
所能表示灰度范围的一半，将红外光的灰度信息范围有效扩充到整个灰度位宽范围
内，对每个像素乘上整体的放大系数；
在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉斯金字塔结构
进行融合：红外光图像在进行图像增强预处理和配准预处理后，与可见光图像同时
进行高斯塔形分解，分解后的红外光图像和可见光图像被分别被分解为一层金字塔
图像、二层金字塔图像和三层图像，再对红外光图像和可见光图像进行一层融合、
二层融合和三层融合，在图像融合中生成三层图像、二层金字塔图像和一层金字塔
图像，对金字塔融合后得到红外光与可见光图像融合后的图像。
3.如权利要求2所述的基于异构多核构架的红外光与可见光图像实时融合系统，
其特征在于：所述在对红外光与可见光源图像快速融合时，采用建立三层的拉普拉
斯金字塔结构进行融合：首先对图像进行高斯金字塔分解，高斯金字塔用于下采样
图像，而拉普拉斯金字塔则用于从金字塔低层图像中向上采样重建图像，从金字塔
第i层生成第i+1层图像Gi+1，用高斯核对图像Gi进行卷积运算，然后剔除所有偶数
行和偶数列，得到原有图像的1/4，由上述过程对输入图像G0循环执行操作产生整
个高斯金字塔；
使用imgPyrDow()，imgPyrUp()下采样分解与上采样金字塔重构的函数调用；
在金字塔构建完成后，在金字塔最底层使用加权平均的融合算法；
恢复原来图像的大小过程如下：将图像在每个方向扩大为原来的两倍，新增的
行和列以0填充，将得到的原有图像的1/4的内核恢复到原有图像同样的内核，即
将高斯金字塔图像乘以4，与放大后的图像卷积，获得新增像素的近似值；这两个向
下和向上采样步骤分别通过函数imgPyrDow()和imgPyrUp()实现。
4.如权利要求2所述的基于异构多核构架的红外光与可见光图像实时融合系统，
其特征在于：对红外光输入图像配准预处理，将红外光图像拉伸至可见光图像的对
应点过程是：使用自主开发的识别配准工具，分别在红外光和可见光图像中找到相
同物体的对应的坐标位置，其对应点通过人工干预方式获得，并计算生成红外光到
\t可见光图像的仿射变换系数矩阵，寻找不在同一直线上的三对对应点，进行运算，
通过调用openCV函数库的对应接口函数，得到仿射变换系数矩阵，并将该系数矩阵
通过网络直接写入到实时融合系统的flash中；
所述仿射变换系数矩阵根据以下公式计算：
a11a12txa21a22ty001-1=xy1x′y′1---(1)]]>其中，(x,y)、(x',y')分别对应仿射变换前各像素点的坐标值，a11、a12、a21、
a22为2...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。