一种通用多波段融合IP核制造技术

本发明专利技术公开了一种通用多波段融合IP核，包括：通讯模块，融合算法模块，色彩传递模块，目标标识模块，行模式控制模块，输出模块。该通用多波段融合IP核将红外和CCD两路图像的原始数据输入到IP核，经过IP核处理后，可以输出红外和CCD两路单通道数据，以及融合后的数据，并可选择是否打开目标标识。

A universal multi band fusion IP core

The invention discloses a universal multi-band fusion IP core, which comprises a communication module, a fusion algorithm module, a color transfer module, a target identification module, a row mode control module and an output module. The general multi-band fusion IP core inputs the original data of infrared and CCD images into IP core. After IP core processing, it can output the single channel data of infrared and CCD, and the fusion data, and can choose whether to open the target identification.

【技术实现步骤摘要】
一种通用多波段融合IP核
本专利技术涉及军用手持观察仪
，特别涉及军用手持观察仪的通用图像融合IP核

技术介绍
由于数字图像融合技术可以将不同波段的图像融合到同一显示装备，在观察和瞄准系统中利用率越来越高。目前国内已经应用融合技术的型号装备也已经出现了几年，但是其在应用领域一直受到功耗、体积、实时性的限制，推广起来存在一定的困难。数字融合技术实现起来的主要方式是DSP处理和FPGA处理。DSP处理的好处是，开发周期更短；但是存在不可避免的延时效应，延时时间是一个范围，在40-200ms之间。FPGA处理的好处是延时时间可以控制。目前的数字融合系统，不论是DSP还是FPGA处理，由于体积和功耗，都不便用于小型便携式设备。数字融合算法包含融合算法和色彩传递算法。融合算法有很多中，例如加权平均法、拉普拉斯多分辨分析法等，在视频观察系统中，融合算法对观察效果的影响很小，可以忽略不计。而色彩传递算法可以由于传递参数的不同，大大影响观察效果。目前的处理方法因此在视频观察系统中常常采用加权平均法融合算法。基于YUV空间的彩色融合算法首先将可见光和红外视频通过线性组合方式映射到YUV彩色空间，形成彩色融合图像，其映射方式为式中,VVIS为可见光视频；VIR为红外视频；Yf为融合视频的亮度；Uf和Vf分别为融合视频的色差分量；m1,m2,m3,m4,为映射系数。色彩传递算法需要找到一幅适宜的参考图像，对源图像进行一系列的线性运算，使输出图像的统计特性与参考图像的统计特性具有一致性，则处理后图像与参考图像就有相似色彩外观。计算方法为其中：δ表示对应下标参量的标准方差；上划线表示对应参量的均值；T表示参考图像；Y’、U’、V’表示最终得到图像的YUV分量。对于微光和红外两波段融合系统，红外探测器由于受到外界温度的影响，一天当中的图像一直产生变化，若要观察效果更能接近现实场景，就要求有高的色彩传递精度。目前DSP和FPGA中的处理方法有查找表方法和直接计算两种。其中，查找表法的缺点在于增加了系统中存储器的负担，而且由于最终的色彩数值不是实时计算得来的，其色彩的传递精度大大下降，造成最终的图像色彩与减小或者有偏差，影响观察效果。直接计算方法不仅可以提高实时性，起色彩的自然程度更会提高。但是，一般要求的硬件资源性能也更高。
技术实现思路
为了与探测系统无缝链接，提高系统的可靠性，节省硬件成本，降低融合光电系统的总体功耗，本专利技术提供一种通用多波段融合IP核。本专利技术提供一种通用多波段融合IP核，IP核内部的模块流程图见图1所述。通用多波段融合IP核包括：通讯模块，用于接收IP核外部的控制及参数信号，根据通用的电路板内部通讯方式和节省FPGA引脚资源的原则，选择合适通讯方式；融合算法模块，用于接收红外和CCD两路图像的原始数据，并利用融合算法对两路图像的原始数据进行融合处理，处理成融合图像数据，其输出的数据仍然是灰度数据；色彩传递模块，用于接收两路图像数据，经过色彩传递算法，输出融合后的色彩数据；目标标识模块，用于接收红外图像原始数据，经过算法，输出目标的标识数据；行模式控制模块，用于对FPGA实现的红外和CCD探测成像系统存在的逐行处理和隔行处理两种方式，分开进行处理；输出模块主要功能是将融合模块、色彩传递模块、目标标识模块输出的数据进行处理，并接收通讯模块输出的数据，对输出模式选择信号做出响应。可选的，所述融合算法模块，还用于通过通讯模块数据接收串口数据，配置两路数据的比例。可选的，所述色彩传递模块，还用于接受通讯模块的输出数据，配置参考图像的色彩值。可选的，所述目标标识模块，还用于接收通讯模块的输出数据，作为标识算法的阈值参数。可选的，所述数据融合方式包括:林地、海洋、城市、荒漠、雪地五种。本专利技术充分考虑FPGA系统设计的特点，设计了通用的数据及控制接口，可以与常用的图像数据处理系统无缝连接，接口见图2。其中的输入接口包括：两路图像数据，行同步控制信号，帧同步控制信号，时钟信号，行模式控制信号，模式选择信号。输出信号包括：处理后的图像数据信号，行同步控制信号，帧同步控制信号。本IP核具备常用红外和CCD融合系统所具备的功能：将红外和CCD两路图像的原始数据输入到IP核，经过IP核处理后，可以输出红外和CCD两路单通道数据，以及融合后的数据，融合后数据可选择目标标识。本IP核采用实时流水线处理，总体的数据延迟为us级。色彩的处理由于需要作均值和方差的计算，采用当前帧用上一帧的均值和方差，来避免大规模的时间延迟。本IP核具备以下优点：1、通用接口，可以应用于任何FPGA实现的红外和CCD探测成像系统内部。2、对FPGA系统的外部资源没有要求。3、采用流水线作业，实时性高。4、不需要另做硬件，提高融合系统的可靠性，节省成本。5、可以降低功耗，因而可以有更加广泛的应用。6、可以覆盖多种场景，适合长时间观察。7、近自然色显示，有目标标识功能。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1IP核内部的模块流程图；图2IP核通用的数据及控制接口。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部份实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面结合附图对本专利技术作进一步说明。需要说明的是，所描述的实施方式仅用于对相关领域人员更好的了解本专利技术的原理和实施细节，并不会因此构成对本专利技术的任何限制。本专利技术的某一实施例中，FPGA芯片采用cycloneIV系列的EP4C75I19，IP核最终植入到带CCD输入接口的红外机芯FPGA工程中。通讯模块采用串口RS232通讯方式，波特率采用38400，无校验，23字节通讯数据作为融合模块和色彩传递模块的输入参数。23字节的包含内容见表1。融合模块采用2层Laplacian融合算法将CCD和红外两路数据融合，利用其自身的逻辑资源和M9K作为邻域生成时的缓冲器。第一层的融合规则采用最大值替代，第二层融合规则采用加权平均。其中两路数据的配比参数接收通讯模块的2-4字节。色彩传递模块接收通讯模块的5-16字节作为可调节参数，这些参数的不同，决定了融合效果的不同，11-16字节的配套使用，可以得到不同的模式。色彩传递算法公式计算中方差计算，采用了altera公司的Megacore。目标标识采用了邻域边缘检测的方式，将红外图像中的高亮目标边缘突出表示出来。也可以采用图像分割的方式，将高亮目标与背景分割开来。本模块接收了通讯模块的17-21字节，用来调节不同的场景下目标标识的完整程度。输出模块将融合模块、色彩传递模块、目标标识模块输出的图像格式的数据按照同步要求进行叠加，然后输出完整的带标识的图像数据或不带标识的图像数据，由标识开关信号控制。本模块接收通讯模块的第22-23字节，决定最终输出的数据模式。IP核的输入的图像数据信本文档来自技高网...

【技术保护点】
1.一种通用多波段融合IP核，包括：通讯模块，用于接收IP核外部的控制及参数信号，根据通用的电路板内部通讯方式和节省FPGA引脚资源的原则，选择合适通讯方式；融合算法模块，用于接收红外和CCD两路图像的原始数据，并利用融合算法对两路图像的原始数据进行融合处理，处理成融合图像数据，其输出的数据仍然是灰度数据；色彩传递模块，用于接收两路图像数据，经过色彩传递算法，输出融合后的色彩数据；目标标识模块，用于接收红外图像原始数据，经过算法，输出目标的标识数据；行模式控制模块，用于对FPGA实现的红外和CCD探测成像系统存在的逐行处理和隔行处理两种方式，分开进行处理；输出模块主要功能是将融合模块、色彩传递模块、目标标识模块输出的数据进行处理，并接收通讯模块输出的数据，对输出模式选择信号做出响应。

【技术特征摘要】
1.一种通用多波段融合IP核，包括：通讯模块，用于接收IP核外部的控制及参数信号，根据通用的电路板内部通讯方式和节省FPGA引脚资源的原则，选择合适通讯方式；融合算法模块，用于接收红外和CCD两路图像的原始数据，并利用融合算法对两路图像的原始数据进行融合处理，处理成融合图像数据，其输出的数据仍然是灰度数据；色彩传递模块，用于接收两路图像数据，经过色彩传递算法，输出融合后的色彩数据；目标标识模块，用于接收红外图像原始数据，经过算法，输出目标的标识数据；行模式控制模块，用于对FPGA实现的红外和CCD探测成像系统存在的逐行处理和隔行处理两种方式，分开进行处理；输出模块主要功能是将融合模块、色彩传...

【专利技术属性】
技术研发人员：王世允，黄晓江，顾亚蒙，陆俊青，王洪涛，朱家乙，
申请(专利权)人：江苏北方湖光光电有限公司，
类型：发明
国别省市：江苏,32