本发明专利技术公开了一种基于多处理器片上系统的多源图像融合装置，能够提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。该装置采用FPGA实现；FPGA上的处理器均为CPU软核，IP核为根据多源图像融合算法设计的用户IP核；CPU_A1～CPU_An、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；CPU_A1～CPU_An对应连接多分辨分解IP核IP_A1～IP_An，局部处理器CPU_A1～CPU_An均接入总线BUS1；IP_A1～IP_An以及重构IP核均通过多端口存储控制器本地端口接口MPCM?NPI接口接入MPMC，MPMC同时接入BUS0和BUS1。
【技术实现步骤摘要】
本专利技术属于图像融合
，涉及一种基于多处理器片上系统的多源图像融合>J-U ρ α装直。
技术介绍
多源图像融合是目标识别的预处理过程，通过融合得到目标图像能够获取多种传感器对于目标的有用信息，克服由单一传感器的局限性给目标识别带来的不利影响，提高对虚假目标的区别能力，从而满足装置的精确性、全天候性、抗干扰性。与单一图像目标识别装置相比，多源图像融合有原始图像海量数据存储，缓存数据吞吐量成级数增加，多路数据并行高速处理等问题，使信息处理系统的实时性有很大压力；同时图像融合系统为目标探测与识别系统的前置预处理环节，这要求该系统具有体积小、可扩展性强、重量轻等特点。目前解决该问题的技术有:①利用7片TMS320C32 DSP组成“红外/可见光双通道数字图像融合处理系统”，该系统中一片核心DSP (数字信号处理器)用于系统控制、各节点处理器初始化、任务调度与协调，不参与数据处理；另外6片DSP分为两组，分别对应一个通道，完成局部通道处理，及全局处理。此系统通过合理分配融合算法及任务调度可以达到双通道的实时处理要求，但难以满足多源图像处理系统的小体积、轻重量需求。②利用FPGA设计“双波段实时红外融合系统”。该系统利用FPGA(现场可编程门阵列)的吞吐率高、处理速度快的优势完成了拉普拉斯金字塔多分辨分解的双路图像融合单片实现。但该设计完全通过片内逻辑资源，未采用FPGA片内处理器来实现，由于其单纯的使用逻辑资源设计，其控制灵活度较低从而可扩展性较低。
技术实现思路
有鉴于此，本专利技术提供了一种基于多处理器片上系统的多源图像融合装置，根据多源图像融合算法的特点，将算法分解为4个步骤，分布在FPGA中的软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。为了解决上述技术问题，本专利技术是这样实现的:一种基于多处理器片上系统的多源图像融合装置，该装置采用FPGA实现，该FPGA包括:局部处理器CPLA1 CPU_An、重构IP核、本地存储器、多分辨分解IP核IP-A1 IP_An、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUS0、总线BUS1、融合判决处理器CPU1 CPUm和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_Ai CPU_An、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUSO ;局部处理器CPU_Ai CPU_An —对一地对应连接多分辨分解IP核IP-A1 IP_An，局部处理器CPU-A1 CPU_An均接入总线BUSl ;IP_Ai IP_An以及重构IP核均通过多端口存储控制器本地端口接口 MPCM NPI接口接入MPMC，MPMC同时接入BUSO和BUSl ；片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出；MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量； CPU_Ai CPU_An，用于负责调用多分辨分解IP核ΙΡ_Αι IP_An，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数η为源图像数；IP_Ai IP_An，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位； CPU1 CPUm，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU1还负责源数据传输控制，CPUni还负责叠代重构控制；m为多分辨分解级数；重构IP核，为所有融合判决处理器所共享，在CPUm的控制下，负责多分辨图像序列叠代重构；片上计时器，用于完成重构IP核叠代的定时；中断控制器，负责响应片上定时器中断；本地存储器，负责存放与其连接处理器的指令及本地数据。较佳地，各CPU1 CPUm之间进一步通过快速简单连接FSL互联，各CPU1 CPUm之间通过FSL交互各自处理完成情况，CPUm在确认CPU1 CPUm均完成本层级的图像序列融合判决后，立刻控制重构IP核执行多分辨图像序列叠代重构，并启动片上计时器计时。基于上述装置，本专利技术还公开了一种多源图像融合装置的多源图像融合方法，该方法包括如下步骤:步骤1、所述多源图像融合装置上电启动，进行初始化；步骤2、0 仏控制片上以太网控制器将外部多路图像源数据通过BUSO存储至MPMC连接的片外存储介质中，存储完毕时在该片外存储介质中置标志位A ；步骤3、CPU_Ai CPU_An不断通过BUSl检测标志位A，当检测到标志位A时，CPU_A1, CPU_A2,……，CPU_An 启动，调用各自的 IP_A1; IP_A2,……，IP_An, IP_An 通过NPI接口和MPMC读写片外存储介质中的图像数据，并行完成各路图像数据的预处理及多分辨分解；步骤4、其中一个多分辨分解IP核每完成多分辨分解中的一级j，即在MPMC连接的片外存储介质中置标志位Bj, j的取值范围为[l,m]；步骤5、CPU1 CPUni不断通过BUSO检测标志位，当CPUj检测到标志位B」，立即启动完成对应级的图像序列融合判决；步骤6、待CPUm完成顶层图像序列融合判决后立即控制共享的重构IP核执行多分辨图像序列叠代重构过程，片上计时器开始计时，待重构过程时间超时后片上计时器触发中断，由中断控制器响应该中断并通知给CPU1 ;重构IP核在叠代重构过程结束时产生标志位C，该标志位C自重构过程启动时即开始由CPU1检测；步骤7、当CPU1检测到标志位C则通过片上以太网控制器将融合后的图像输出至外部；若CPU1未检测到标志位C但检测到因超时而触发的中断，则CPU1通过片上以太网控制器将错误信息输出至外部。有益效果:本专利技术将不同根据融合算法4个步骤的特点，将这4个步骤分布在软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。具体来说:(I)本专利技术采用局部处理器+多分辨分解IP核的结构实现融合算法中的预处理和多路分辨分解。由于这两个步骤需要多路同时处理，因此多分辨分解IP核采用用户IP实现且通过NPI接口连接MPMC，保证多分辨分解IP核可以快速同步地从MPMC所连接的片外存储介质中获取待处理数据并快速处理，而局部处理器只是负责控制，因此通过统一的BUSl连入MPMC，从而节省了 MPMC的外部接口。(2)本专利技术采用软核CPU负责完成融合算法中融合判决。每个软核CPU负责一个层级的融合判决，这里没有采用用户IP核基于如下两个原因:1、融合判决计算量不大，不需要采用采用用户IP核，可以采用速度相对较弱的通用软核CPU ;2、更重要的是，这些软核CPU是检测到各自的标志位才执行动作，因此是顺序执行的，可以交替占用总线，因此不需采用专门的用户IP并行处理。采用CPU通过BUS连接MPMC可以节省了 MPMC的外部接口。(3)重构IP核负责完成融合算法中的叠代重构。由于叠代重构需要计算量比较大，而且是本文档来自技高网...
【技术保护点】
一种基于多处理器片上系统的多源图像融合装置，其特征在于，该装置采用FPGA实现，该FPGA包括：局部处理器CPU_A1～CPU_An、重构IP核、本地存储器、多分辨分解IP核IP_A1～IP_An、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUS0、总线BUS1、融合判决处理器CPU1～CPUm和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_A1～CPU_An、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；局部处理器CPU_A1～CPU_An一对一地对应连接多分辨分解IP核IP_A1～IP_An，局部处理器CPU_A1～CPU_An均接入总线BUS1；IP_A1～IP_An以及重构IP核均通过多端口存储控制器本地端口接口MPCM?NPI接口接入MPMC，MPMC同时接入BUS0和BUS1；片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出；MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量；CPU_A1～CPU_An，用于负责调用多分辨分解IP核IP_A1～IP_An，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数n为源图像数；IP_A1～IP_An，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位；CPU1～CPUm，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU1还负责源数据传输控制，CPUm还负责叠代重构控制；m为多分辨分解级数；重构IP核，为所有融合判决处理器所共享，在CPUm的控制下，负责多分辨图像序列叠代重构；片上计时器，用于完成重构IP核叠代的定时；中断控制器，负责响应片上定时器中断；本地存储器，负责存放与其连接处理器的指令及本地数据。...
【技术特征摘要】
1.一种基于多处理器片上系统的多源图像融合装置，其特征在于，该装置采用FPGA实现，该FPGA包括:局部处理器CPLA1 CPU_An、重构IP核、本地存储器、多分辨分解IP核IP_Ai IP_An、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUSO、总线BUS1、融合判决处理器CPU1 CPUm和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块； 每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_Ai CPU_An、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUSO ;局部处理器CPU_A1 CPU_An —对一地对应连接多分辨分解IP核IP-A1 IP_An，局部处理器CPU-A1 CPU_An均接入总线BUSl ;IP_Ai IP_An以及重构IP核均通过多端口存储控制器本地端口接口MPCM NPI 接口接入 MPMC，MPMC 同时接入 BUSO 和 BUSl ； 片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出； MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量; CPLA1 CPU_An，用于负责调用多分辨分解IP核IP_Ai IP_An，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数η为源图像数； ΙΡ_4 IP_An，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位； CPU1 CPU111,每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU1还负责源数据传输控制，CPUm还负责叠代重构控制为多分辨分解级数； 重构IP核，为所有融合判决处理器所共享，在CPUm的控制下，负责多分辨图像序列叠代重构； 片上计时器，用于完成重...
【专利技术属性】
技术研发人员：陈禾，马龙，章学静，章菲菲，曾涛，龙腾，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。