一种基于特征匹配的地面目标跟踪装置制造方法及图纸

本发明专利技术提供了一种基于图像关键点特征匹配的地面目标跟踪装置，包括：可编程门阵列FPGA和数字信号处理器DSP；FPGA用于对外部相机给入图像序列提取图像特征，进而完成相邻帧间特征匹配，将成功帧间特征匹配结果传送给DSP；根据DSP反馈的帧间几何变换关系进行互相关精确匹配；数字信号处理器DSP用于根据所述FPGA输出的特征匹配结果计算出相邻图像帧间变换关系。本发明专利技术将复杂的基于特征点的目标跟踪方法完全地实现在嵌入式FPGA上，将帧间转换关系计算实现在DSP，兼顾算法复杂性与嵌入式板卡的低功耗要求，得以实时处理大量的图像数据，相比于现有技术，成数量级地提升算法处理速度。

【技术实现步骤摘要】

本专利技术属于数字图像信号处理领域，具体涉及一种基于特征匹配的地面目标跟踪装置。
技术介绍
计算机视觉中实现目标跟踪有着多种研究应用，在嵌入式领域中一般常使用DSP作为跟踪方法实现的核心器件，然而在嵌入式DSP中，在功耗以及实时性要求下，DSP中难以实现复杂的目标跟踪算法。而图像特征点具有旋转、尺度、光照的不变性，使其在图像配准、目标跟踪等领域均有较多的应用。而特征点算法本身较为复杂，令其在嵌入式领域的应用有诸多障碍。例如，类似SIFT、SURF的特征提取算法需要建立尺度空间，对单帧图像就需要得到多个尺度下的高斯滤波图像，这对嵌入式场景中功耗要求高，计算资源受限，高实时性要求相矛盾。为满足嵌入式场景的跟踪应用需求，可使用专有的硬件如ASIC，FPGA等协助处理图像、加速算法。Wang,J.,et al.,An Embedded System-on-Chip Architecture for Real-time Visual Detection and Matching.IEEE Transactions on Circuits&Systems for Video Technology,2014.24(3):p.525-538，提出了一种在单片FPGA上实现的实时视觉特征匹配系统。该系统设计了SIFT+BRIEF架构的系统结构，将整个算法实现在单片FPGA上，并完成实时前后帧图像的配准，速度能达到720p图像60FPS速度。该系统的主要特点是该硬件验证平台仅依靠单片FPGA完成，并能将特征的前后帧匹配在片上实时实现，并且资源占用较少。但是该方法的局限在于工作仅限于特征提取加速以及帧间特征匹配但并没有进一步合理协调FPGA资源与DSP资源完成一个跟踪系统。
技术实现思路
针对现有技术的缺陷和技术需求，本专利技术提供了一种基于特征匹配的地面目标跟踪硬件实现方法及装置，将复杂的基于特征点的目标跟踪算法完全地实现在嵌入式FPGA上，将帧间转换关系计算是现在DSP，兼顾算法复杂性与嵌入式板卡的低功耗要求，以FPGA作为核心的算法实现器件，得以实时处理大量的图像数据，相比于现有技术，成数量级地提升算法处理速度。一种基于图像关键点特征匹配的地面目标跟踪装置，包括：可编程门阵列FPGA和数字信号处理器DSP；可编程门阵列FPGA，包括特征提取单元、跟踪点坐标计算单元和精确匹配单元；所述特征提取单元用于对外部输入的图像序列每一帧图像，提取图像特征，根据图像特征完成相邻帧间特征匹配结果，将成功帧间特征匹配结果传送给DSP；所述跟踪点坐标计算单元用于根据DSP反馈的帧间几何变换关系，由前一帧跟踪点坐标计算得到当前帧中跟踪点坐标值；所述精确匹配单元，用于以DSP计算得到的当前帧跟踪点位置坐标为中心，在其邻域做基于模板的互相关匹配，得到跟踪点坐标精确坐标；数字信号处理器DSP，用于根据所述FPGA输出的特征匹配结果计算出相邻图像帧间变换关系，并反馈给FPGA。进一步地，所述特征提取单元包括特征检测模块、特征描述模块、特征存储模块和前后帧图像特征点配准模块；特征检测模块用于对图像数据进行多个尺度的高斯滤波、差分、判断极值点、剔除低响应度的点，得到检测到的图像特征点坐标；特征描述模块用于根据所述图像特征点坐标，对图像的领域提取图像信息，得到所述特征点的描述向量；特征存储模块用于缓存每一帧图像的特征点坐标与所述特征点描述信息；特征存储模块包括两双端口随机存储器RAMA和RAMB，采用乒乓操作，缓存前一帧信息与当前帧信息，即第N-1帧图像的特征点坐标与描述向量被存储在RAMA中，则第N帧图像的特征点坐标与描述信息被存储在RAMB中；前后帧图像特征点配准模块用于根据图像的特征点坐标与所述特征点描述信息完成相邻帧间特征匹配结果，将成功帧间特征匹配结果传送给DSP。进一步地，所述特征检测模块包括下采样模块和两组结构相同的特征点检测模块；特征点检测模块包括多个高斯滤波单元、多个差分计算单元、多个窗口生成单元和一个特征点选取单元；第一组特征点检测模块的多个高斯滤波单元用于并行地对所述模拟相机装置产生的图像序列每一帧图像进行不同尺度参数的高斯滤波；差分计算单元用于对两相邻尺度高斯滤波后的两幅图像进行差分运算得到高斯差分图像；窗口生成单元用于以高斯差分图像中的像素点为中心及其邻域为边界生成窗口；特征点选取单元用于在生成的窗口中确定极值点，将极值点作为候选特征点，从候选特征点中删除低对比度点或边缘点，保留的候选特征点即为最终的特征点；从多个高斯滤波单元中选取中间尺度的高斯滤波单元，将该高斯滤波单元输出的高斯滤波图像输入给下采样模块，下采样模块用于对输入的图像进行下采样，将下采样后的图像输出至第二组特征点检测模块，第二组特征点检测模块按照与第一组特征点检测模块相同的方式确定特征点。进一步地，所述特征描述模块包括数据控制模块和描述向量计算模块；所述数据控制模块用于读取特征点坐标，分别以每一特征点为基准以及随机数缓存中存储的偏移量提取一定量的图像像素数据；所述描述向量计算模块用于通过对提取的图像像素数据进行两两像素点灰度值比对，得到二进制描述向量。进一步地，所述前后帧图像特征点配准模块包括描述向量距离计算器、读中断生成器和匹配点对存储器FIFO；描述向量距离计算器，使用第一状态机读取当前帧以及前一帧图像的特征点，使用第二状态机读取当前帧以及前一帧图像的特征点描述向量，将当前帧以及前一帧图像的特征点描述向量，该距离小于某一阈值则认定为两帧的特征点匹配成功；匹配点对存储器FIFO用于存储成功匹配点对；读中断生成器用于在前后帧图像特征点配准结束时，向DSP给出中断信号，等待DSP响应。进一步地，所述精确匹配单元包括搜索区缓存模块、相关匹配模块以及模板缓存与更新模块；搜索区缓存模块用于缓存从外部接口输入的图像，新的一帧过来时将覆盖上一帧的图像；相关匹配模块用于以当前帧中跟踪点坐标值为中心创建一个待匹配区域，从模板缓存与更新模块提取模板，通过窗口遍历的方式进行灰度相关运算，灰度相关运算结果中最大值对应的窗口中心点为最佳匹配位置，同时将灰度相关运算结果中最大值对应的窗口更新至模板缓存与更新模块；模板更新模块用于缓存模板。进一步地，所述DSP用于在捕获到FPGA发送的中断信号之后，发起一个增强型直接存储器访问，接收FPGA中匹配成功的特征点对，采用随机抽样一致性计算特征点对之间反映帧间几何变换关系的变换矩阵；向FPGA发送中断信号，并在得到响应后将变换矩阵反馈给FPGA。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比：本专利技术通过对特征点算法的分解，以及FPGA/DSP和合理协同完成一个主要基于特征匹配的高度并行化的地面目标跟踪装置，该方法利用FPGA的并行加速以及FPGA与DSP高效协同实现复杂算法架构下的地面目标跟踪。相比于传统的使用DSP作为主要信号处理器，能够实现更加复杂的算法，即将特征点算法、相关匹配算法、以及抽样一致算法有机地结合起来，能在地面跟踪中具有更好地实时效果，可达到50帧/秒。本专利技术通过将特征算法分解模块化，将FPGA作为核心处理器件，将复杂的基于特征点的目标跟踪算法以及互相关精匹配算法完全地实现在嵌入式的FPGA上，兼顾算法复本文档来自技高网...

【技术保护点】
一种基于图像关键点特征匹配的地面目标跟踪装置，其特征在于，包括：可编程门阵列FPGA和数字信号处理器DSP；可编程门阵列FPGA，包括特征提取单元、跟踪点坐标计算单元和精确匹配单元；所述特征提取单元用于对外部输入的图像序列每一帧图像，提取图像特征，根据图像特征完成相邻帧间特征匹配结果，将成功帧间特征匹配结果传送给DSP；所述跟踪点坐标计算单元用于根据DSP反馈的帧间几何变换关系，由前一帧跟踪点坐标计算得到当前帧中跟踪点坐标值；所述精确匹配单元，用于以DSP计算得到的当前帧跟踪点位置坐标为中心，在其邻域做基于模板的互相关匹配，得到跟踪点坐标精确坐标；数字信号处理器DSP，用于根据所述FPGA输出的特征匹配结果计算出相邻图像帧间变换关系，并反馈给FPGA。

【技术特征摘要】
1.一种基于图像关键点特征匹配的地面目标跟踪装置，其特征在于，包括：可编程门阵列FPGA和数字信号处理器DSP；可编程门阵列FPGA，包括特征提取单元、跟踪点坐标计算单元和精确匹配单元；所述特征提取单元用于对外部输入的图像序列每一帧图像，提取图像特征，根据图像特征完成相邻帧间特征匹配结果，将成功帧间特征匹配结果传送给DSP；所述跟踪点坐标计算单元用于根据DSP反馈的帧间几何变换关系，由前一帧跟踪点坐标计算得到当前帧中跟踪点坐标值；所述精确匹配单元，用于以DSP计算得到的当前帧跟踪点位置坐标为中心，在其邻域做基于模板的互相关匹配，得到跟踪点坐标精确坐标；数字信号处理器DSP，用于根据所述FPGA输出的特征匹配结果计算出相邻图像帧间变换关系，并反馈给FPGA。2.根据权利要求1所述的基于图像关键点特征匹配的地面目标跟踪装置，其特征在于，所述特征提取单元包括特征检测模块、特征描述模块、特征存储模块和前后帧图像特征点配准模块；特征检测模块用于对图像数据进行多个尺度的高斯滤波、差分、判断极值点、剔除低响应度的点，得到检测到的图像特征点坐标；特征描述模块用于根据所述图像特征点坐标，对图像的领域提取图像信息，得到所述特征点的描述向量；特征存储模块用于缓存每一帧图像的特征点坐标与所述特征点描述信息；特征存储模块包括两双端口随机存储器RAMA和RAMB，采用乒乓操作，缓存前一帧信息与当前帧信息，即第N-1帧图像的特征点坐标与描述向量被存储在RAMA中，则第N帧图像的特征点坐标与描述信息被存储在RAMB中；前后帧图像特征点配准模块用于根据图像的特征点坐标与所述特征点描述信息完成相邻帧间特征匹配结果，将成功帧间特征匹配结果传送给DSP。3.根据权利要求2所述的基于图像关键点特征匹配的地面目标跟踪装置，其特征在于，所述特征检测模块包括下采样模块和两组结构相同的特征点检测模块；特征点检测模块包括多个高斯滤波单元、多个差分计算单元、多个窗口生成单元和一个特征点选取单元；第一组特征点检测模块的多个高斯滤波单元用于并行地对所述模拟相机装置产生的图像序列每一帧图像进行不同尺度参数的高斯滤波；差分计算单元用于对两相邻尺度高斯滤波后的两幅图像进行差分运算得到高斯差分图像；窗口生成单元用于以高斯差分图像中的像素点为中心及其邻域为边界生成窗口；特征点选取单元用于在生成的窗口中确定极值点，将极值点作为候选特...

【专利技术属性】
技术研发人员：钟胜，喻鹏，张清洋，崔宗阳，董太行，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42