多传感器图像融合处理系统技术方案

本发明专利技术涉及一种多传感器图像融合处理系统，该系统包括与传感器数量相应的图像数据采集装置和多特征图像数据处理装置，及数据融合装置；所述图像数据采集装置对传感器输出的图像数据进行预处理后以整页突发的模式缓存；多特征图像数据处理装置提取图像数据采集装置存储的图像数据，完成目标的多特征运算，生成待匹配图像，计算目标在待匹配图像中位置，并将待匹配图像及目标位置存入图像数据采集装置；数据融合装置读取各路图像数据采集装置存储的待匹配图像及目标位置，进行图像匹配、融合处理，生成最后的融合图像。本发明专利技术具有很高的实用性，可有效满足实时、融合效果优良的使用要求、应用广泛，可实施性强。

【技术实现步骤摘要】

本专利技术涉及一种图像处理系统，特别涉及一种多传感器图像融合处理系统。
技术介绍
近年来，无论在军事领域还是在非军事领域，多传感器数据融合技术都获得了广泛的关注，正在应用于越来越多的领域中。然而，目前采用的数据融合平台无法有效满足应 用中对图像实时融合显示处理的需要。构建一种可以实时处理、融合效果优良的数据融合 平台迫在眉睫。
技术实现思路
本专利技术要解决的技术问题是提供一种可以实时处理、融合效果优良的多传感器图 像融合处理系统。为了解决上述技术问题，本专利技术的多传感器图像融合处理系统包括与传感器数量 相应的图像数据采集装置和多特征图像数据处理装置，及数据融合装置；所述图像数据采 集装置对传感器输出的图像数据进行预处理后以整页突发的模式缓存；多特征图像数据处 理装置提取图像数据采集装置存储的图像数据，完成目标的多特征运算，生成待匹配图像， 计算目标在待匹配图像中位置，并将待匹配图像及目标位置存入图像数据采集装置；数据 融合装置读取各路图像数据采集装置存储的待匹配图像及目标位置，进行图像匹配、融合 处理，生成最后的融合图像。本专利技术利用图像数据采集装置完成多传感器的图像接收、传输与预处理功能，利 用多特征图像数据处理装置生成待匹配图像，并计算目标在待匹配图像中位置，利用数据 融合装置对各路图像进行匹配、融合处理，生成最后的融合图像。本专利技术具有很高的实用 性，可有效满足实时、融合效果优良的使用要求、应用广泛，可实施性强。所述多特征图像处理装置包括用于读取图像数据的装置；用于读取传感器像元分辨率倍率、焦距值以及传感器视角的装置；用于将实时获得的图像变换到与规定传感器采集的图像视角相同的图像的装 置；用于生成与规定传感器采集的图像相同分辨率倍率、相同焦距值的待匹配图像， 并将其存入图像数据采集装置的装置；用于根据图像灰度信息计算图像梯度的装置；用于根据图像梯度确定目标边缘的装置；用于根据目标边缘计算目标位置的装置；用于根据目标位置置是否有效标志，并将目标位置存入图像数据采集装置的装置。所述数据融合装置包括用于读取各路图像数据采集装置存储的待匹配图像的装置；用于读取目标位置信息的装置；用于判断目标位置是否有效的装置；用于完成图像配准的装置若目标位置有效，则根据该路待匹配图像中目标位置相对于规定的标准图像的目标位置存储该路图像；若目标位置无效，则以规定的标准图像中心设定大小的图像为匹配 模板，在该路图像中找到与该匹配模板灰度值相同的图像，计算该图像相对于标准图像的 位置，并根据计算结果存储该路图像，完成图像配准；用于对各幅配准后的图像进行拉普拉斯金字塔分解的装置；用于对分解后的各层图像进行融合的装置对于顶层分解图像选取区域平均梯度最大值的像素作为融合后图像在该区域上 的像素；对于其他层分解图像选区域平均能量最大值的像素作为融合后图像在该区域上的 像素；用于对融合金字塔做拉普拉斯金字塔反变换得到最终的融合图像的装置。 附图说明下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1为本专利技术的传感器图像融合处理系统结构框图。图2为实现本专利技术的硬件电路结构示意图。图3为多特征图像处理装置程序流程图。图4为数据融合装置程序流程图。具体实施例方式如图1所示，本专利技术的多传感器图像融合处理系统包括与传感器数量相应的图像 数据采集装置和多特征图像数据处理装置，及数据融合装置；如图2所示，所述图像数据采集装置采用可编程逻辑器件(FPGA)和存储器 (SDRAM)；传感器摄入的图像送入FPGA，图像在FPGA中经过预处理(即对图像数据进行组 织)后以整页突发的模式存入SDRAM，通过FPGA时序控制，使SDRAM实现多端口图像缓存器 的功能。所述多特征图像数据处理装置采用DSPs或者其他普通的嵌入式处理器实现。所述数据融合装置采用微型计算机或其他普通的嵌入式处理器实现。SDRAM的第一端口供图像输入使用，传感器输出的图像数据经FPGA采集到SDRAM 中。第二个端口供DSPs实时读取图像，生成的待匹配图像及目标位置通过FPGA暂存在 SDRAM中；DSPs可通过该端口对FPGA进行控制，如控制采集图像大小、图像存储位置等。第 三个端口供PCI-bridge (PCI桥)使用，计算机可以随时通过PCI总线读取任意帧的待匹配 图像，DSPs计算的目标位置与生成的待匹配图像等信息也通过此端口送到计算机中。如图3所示，DSPs负责多特征图像处理，多特征图像处理程序流程包括下述步骤初始化；读取图像数据；读取传感器像元分辨率倍率、焦距值以及传感器的方位、俯仰角度；规定以其中一个传感器为标准传感器，根据实时获得的传感器的方位角度、俯仰角度与规定标准传感器的方位角度、俯仰角度之间的差值，将图像变换到与规定传感器采 集的图像视角相同的图像；生成与规定传感器采集的图像相同分辨率倍率、相同焦距值的待匹配图像，并将 其存入SDRAM指定位置；根据待匹配图像灰度信息计算图像梯度；根据图像梯度确定目标边缘；根据目标边缘计算目标位置；判断目标位置是否有效，若目标位置有效，则将目标位置存入SDRAM ；返回。微型计算机通过PCI以DMA方式读取待匹配图像及目标位置信息，并进行融合处 理，具体流程包括如下步骤初始化通过PCI总线读取SDRAM中存储的各路待匹配图像；通过PCI总线读取各路待匹配图像中目标位置信息；判断目标位置是否有效，若目标位置有效，则计算该路待匹配图像中的目标相对 于规定的标准图像中目标的位置，并根据计算结果存储该路图像；若目标位置无效，则以规 定的标准图像中心位置96*96大小的图像为匹配模板，在该路图像中找到与该匹配模板灰 度值相同的96*96大小的图像，计算该图像相对于标准图像的位置，并根据计算结果存储 该路图像；完成融合前的图像配准；对各幅配准后的图像进行拉普拉斯金字塔分解；对分解后的各层图像采用不同的融合准则进行融合，具体融合规则为选择局部 区域为以其各个像素为中心的3X3临域，对于顶层分解图像采用选取区域平均梯度最大 值的像素作为融合后图像在该区域上的像素；对于其他层分解图像采用区域特征量测的方 法选能量最大区域的像素作为融合后图像在该区域上的像素；对融合金字塔做拉普拉斯金字塔反变换得到最终的融合图像。本专利技术的优点由于本专利技术采用DSPs分别计算不同传感器采集到的图像数据中 包含灰度信息、目标位置等信息，将计算结果交给微型计算机进行图像匹配、融合处理，生 成最后的融合图像。计算速度可以满足实时处理要求、更加有利于融合效果的提高。权利要求一种多传感器图像融合处理系统，其特征在于包括与传感器数量相应的图像数据采集装置和多特征图像数据处理装置，及数据融合装置；所述图像数据采集装置对传感器输出的图像数据进行预处理后以整页突发的模式缓存；多特征图像数据处理装置提取图像数据采集装置存储的图像数据，完成目标的多特征运算，生成待匹配图像，计算目标在待匹配图像中位置，并将待匹配图像及目标位置存入图像数据采集装置；数据融合装置读取各路图像数据采集装置存储的待匹配图像及目标位置，进行图像匹配、融合处理，生成最后的融合图像。2.根据权利要求1所述的多传感器图像融合处理系统，其特征在于所述多特征图像处 理装置包括用于读取图像数据的装置；用于读取传感器像元分辨率本文档来自技高网...

【技术保护点】
一种多传感器图像融合处理系统，其特征在于包括与传感器数量相应的图像数据采集装置和多特征图像数据处理装置，及数据融合装置；所述图像数据采集装置对传感器输出的图像数据进行预处理后以整页突发的模式缓存；多特征图像数据处理装置提取图像数据采集装置存储的图像数据，完成目标的多特征运算，生成待匹配图像，计算目标在待匹配图像中位置，并将待匹配图像及目标位置存入图像数据采集装置；数据融合装置读取各路图像数据采集装置存储的待匹配图像及目标位置，进行图像匹配、融合处理，生成最后的融合图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：武治国，王明佳，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：82[中国|长春]