CPU-FPGA协同的影像特征高速检测与匹配系统技术方案

本发明专利技术提出一种CPU‑FPGA协同的影像特征高速检测与匹配系统,包括第一处理器，用于总体调度、图像数据传输、图像特征矢量描述及匹配结果存储、输出；第二处理器，用于图像特征点检测及特征矢量匹配计算；第一处理器将图像像素数据传送至第二处理器；第二处理器处理得到图像特征点坐标并返回给第一处理器；第一处理器生成特征矢量并存储；第一处理器将影像特征矢量数据传送至第二处理器，第二处理器将匹配计算得到的待匹配特征矢量最佳、次佳匹配距离值及特征矢量编号实时传回第一处理器；第一处理器根据最佳、次佳匹配距离比值判断输出所述匹配点对坐标。本发明专利技术由第一处理器与第二处理器构成，根据需求扩展第二处理器的数量，提高影像特征检测与匹配计算效率。

CPU-FPGA Cooperative High-Speed Image Feature Detection and Matching System

The invention provides a high-speed image feature detection and matching system coordinated by CPU and FPGA, including a first processor for overall scheduling, image data transmission, image feature vector description and matching results storage and output; a second processor for image feature detection and feature vector matching calculation; a first processor for image pixel data transmission to a second processor; The first processor generates and stores the feature vectors; the first processor transmits the image feature vectors data to the second processor, and the second processor transmits the best, the second best matching distance and the number of the feature vectors to the first processor in real time. The best and the second best matching distance ratio determines the coordinates of the matching point pairs output. The invention consists of a first processor and a second processor, expanding the number of second processors according to the requirements, and improving the efficiency of image feature detection and matching calculation.

【技术实现步骤摘要】
CPU-FPGA协同的影像特征高速检测与匹配系统
本专利技术涉及地理空间信息领域，具体涉及一种基于CPU-FPGA协同的影像特征高速检测与匹配系统。
技术介绍
影像匹配是数字摄影测量4D产品生成、城市三维建模以及遥感影像目标检测、跟踪等众多视觉应用的基础功能。新型高分卫星遥感平台的不断升空与运营、各种无人机以及影像传感器技术的快速发展、成熟，使得航空(天)影像数据量几何级增长。迄今为止，以SIFT、SURF为代表的(类)仿射不变特征已能取得稳健、可靠的匹配结果，但计算复杂度、时间开销大，传统匹配处理模式难以满足海量遥感影像数据及时处理要求。由于多核处理器发展速度受半导体工艺限制，目前提升影像匹配效率的有效策略是构建异构处理器协同下的并行计算系统，主要有“CPU+GPU”和“CPU+FPGA”两种方式。GPU采用SIMD(单指令流多数据流)方式虽大幅提升数据并行处理能力，但流水线深度受限，每个计算单元处理不同的数据包时需按统一步调做相同的事，导致输入输出延迟增加，存在延迟高(毫秒级)的“硬伤”。相比于GPU，通过软件编程定义器件硬件功能的第二处理器FPGA具有更高计算效率、更低功耗及成本，可同时实现数据并行、流水线并行且延时极低(微秒级)，能有效满足图像实时处理需求，但受制于FPGA片上存储空间、逻辑阵列数量限制以及异于冯诺依曼结构顺序操作、实现上偏重加、乘法运算的特点，FPGA功能开发困难、极具挑战性。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种CPU-FPGA协同的影像特征高速检测与匹配系统，以解决现有技术中计算效率低的问题。为实现上述目的及其他相关目的，本专利技术提供一种CPU-FPGA协同的影像特征高速检测与匹配系统，该系统包括第一处理器和至少一个第二处理器；所述第一处理器用于总体调度、图像数据传输、图像特征矢量描述及匹配结果存储、输出；所述第二处理器用于图像特征点检测及特征矢量匹配计算；第一处理器按设定顺序将图像像素数据传送至第二处理器；第二处理器实时处理得到图像特征点并返回给第一处理器；第一处理器同步生成影像特征矢量并存储，直至影像特征矢量全部生成；第一处理器将影像特征矢量数据传送至第二处理器，第二处理器将实时匹配计算得到的待匹配特征矢量的最佳匹配、次佳匹配距离值及最佳匹配编号并实时传回第一处理器。可选地，该检测系统还包括数据缓存区，所述第二处理器与数据缓存区连接，第二处理器包括特征检测IP核；所述数据缓存区，用于缓存第一处理器传输的图像像素流；所述特征检测IP核，用于处理所述图像像素流获得特征点；特征检测IP核将所述特征点的位置传回所述第一处理器，所述第一处理器根据所述特征点位置像素邻域信息生成特征矢量、完成特征二进制编码。可选地，该系统还包括存储区，所述第二处理器还包括矢量匹配IP核，所述第二处理器还用于实时接收所述第一处理器传输的待匹配影像的某一特征矢量；所述矢量匹配IP核用于完成当前待匹配影像的特征矢量与数据缓存区中的所有基准影像特征矢量的海明距离，通过多个位异或单元及位累加器计算海明距离；所述矢量匹配IP核还用于当前一批次的基准影像特征矢量与待匹配特征影像的特征矢量匹配完成后，再从存储区中导入下一批次基准影像特征矢量并重复进行匹配计算，直至存储区中全部基准影像特征矢量与待匹配影像的特征矢量完成匹配，记录当前待匹配特征矢量的最佳匹配、次佳匹配距离值及最佳匹配编号并实时传回第一处理器；所述第一处理器还用于根据所述最佳匹配、次佳匹配距离比值判断是否为满足条件的匹配点，并记录、输出所述匹配点对坐标。可选地，所述第一处理器为中央处理器，所述第二处理器为现场可编程门阵列。如上所述，本专利技术的一种CPU-FPGA协同的影像特征高速检测与匹配系统，具有以下有益效果：本专利技术由CPU与FPGA处理板组合构成，两者通过PCI接口、USB3.0接口及千兆网接口连接，可根据接口设置、计算能需求扩展FPGA板数量，成倍提高影像检测与匹配计算效率，可适用于台式电脑、便携笔记本电脑，具有扩展灵活的特点；若限定影像检测角点数不超过总像素数目千分之一，FPGA外接3Gb存储区内存芯片时可处理最高达60亿像素规模影像且对无尺寸限制，在0.33ms内可完成2048与2048个特征点的匹配，计算效率极其高且成本低、功耗小。本专利技术对于大幅面、海量遥感影像高效处理具有很好的实用价值。附图说明为了进一步阐述本专利技术所描述的内容，下面结合附图对本专利技术的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本专利技术的范围的限定。图1是本专利技术实施例中的系统结构图；图2是本专利技术实施例中的FPGA处理板硬件框图；图3是本专利技术实施例中的FPGA匹配流程图；图4是本专利技术实施例中的FPGA矢量匹配IP核实现图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本专利技术提供一种基于CPU-FPGA协同的影像特征高速检测与匹配系统，该系统包括第一处理器和至少一个第二处理器；所述第一处理器用于总体调度、图像数据传输、图像特征矢量描述及匹配结果存储、输出；所述第二处理器用于图像特征点检测及特征矢量匹配计算；第一处理器按设定顺序将图像像素数据传送至第二处理器；第二处理器实时处理得到图像特征点坐标并返回给第一处理器；第一处理器同步生成特征矢量并存储，直至影像特征矢量全部生成；第一处理器将影像特征矢量数据传送至第二处理器，第二处理器将实时匹配计算得到的同名特征对坐标返回给第一处理器输出。具体地，于本实施例中，以CPU(中央处理器，CentralProcessingUnit)作为第一处理器，FPGA(Field－ProgrammableGateArray，即现场可编程门阵列)作为第二处理器进行详细说明。本系统影像特征检测与匹配实施过程分为特征检测、特征矢量(描述符)生成、特征矢量匹配三个阶段。特征检测阶段目的在于获取影像上的局部特征点，由系统中的FPGA板特征检测IP核完成；特征矢量(描述符)生成阶段目的是对FPGA板中检测出的特征点进行邻域信息二进制编码，由系统中的CPU完成；特征矢量匹配阶段目的是通过海明距离计算从全部特征矢量集合中获得同名(相似)特征对，由系统中的FPGA板矢量匹配IP核完成。以上三个阶段中，特征检测和特征矢量(描述符)生成阶段在时序上重叠。如图1所示，本实施例提供一套CPU-FPGA协同的高计算效率、低功耗及成本的遥感CPU-FPGA协同的影像特征高速检测与匹配系统，该系统硬件框架为多FPGA处理板与电脑(CPU)连接构成，连接可采用PCI、USB3.0或千兆网通信接口三本文档来自技高网...

【技术保护点】
1.CPU‑FPGA协同的影像特征高速检测与匹配系统，其特征在于，该系统包括第一处理器和至少一个第二处理器；所述第一处理器用于总体调度、图像数据传输、图像特征矢量描述及匹配结果存储、输出；所述第二处理器用于图像特征点检测及特征矢量匹配计算；第一处理器按设定顺序将图像像素数据传送至第二处理器；第二处理器实时处理得到图像特征点并返回给第一处理器；第一处理器同步生成影像特征矢量并存储，直至影像特征矢量全部生成；第一处理器将影像特征矢量数据传送至第二处理器，第二处理器将实时匹配计算得到的待匹配特征矢量的最佳匹配、次佳匹配距离值及最佳匹配编号并实时传回第一处理器。

【技术特征摘要】
1.CPU-FPGA协同的影像特征高速检测与匹配系统，其特征在于，该系统包括第一处理器和至少一个第二处理器；所述第一处理器用于总体调度、图像数据传输、图像特征矢量描述及匹配结果存储、输出；所述第二处理器用于图像特征点检测及特征矢量匹配计算；第一处理器按设定顺序将图像像素数据传送至第二处理器；第二处理器实时处理得到图像特征点并返回给第一处理器；第一处理器同步生成影像特征矢量并存储，直至影像特征矢量全部生成；第一处理器将影像特征矢量数据传送至第二处理器，第二处理器将实时匹配计算得到的待匹配特征矢量的最佳匹配、次佳匹配距离值及最佳匹配编号并实时传回第一处理器。2.根据权利要求1所述的一种CPU-FPGA协同的影像特征高速检测与匹配系统，其特征在于，该检测系统还包括数据缓存区，所述第二处理器与数据缓存区连接，第二处理器包括特征检测IP核；所述数据缓存区，用于缓存第一处理器传输的图像像素流；所述特征检测IP核，用于处理所述图像像素流获得特征点；特征检测IP核将所述特征点的位置传回所述第一处理器，所述第一处理器根据所述特征点位置像素邻域信息生成特...

【专利技术属性】
技术研发人员：吴军，彭智勇，张永军，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45