一种基于神经网络特征提取的硬件加速方法及系统技术方案

本发明专利技术属于图像处理相关技术领域，其公开了一种基于神经网络特征提取的硬件加速方法及系统，系统包括：按流水线方式运行的编码卷积处理器、共享特征图缓存、特征点检测结构、特征图像素点选择器和描述符生成结构；编码卷积处理器对输入图像进行卷积并将输出存储至共享特征图缓存；特征点检测结构通过卷积及后处理生成特征点；特征图像素点选择器将根据特征点信息生成像素区域；描述符生成结构从共享特征图中仅读取特征点相关像素区域数据并计算描述符。端到端全硬件加速设计避免外存访问，流水线设计提高运算效率，可提前得到特征点像素区域，通过特征图像素点选择器，描述符生成结构仅对像素区域进行处理，由此可以减小资源开销，提升系统能效。

【技术实现步骤摘要】

本专利技术属于图像处理相关，更具体地，涉及一种基于神经网络特征提取的硬件加速方法及系统。

技术介绍

1、superpoint算法是一种基于神经网络特征提取算法，可以解决两幅图像因发生平移、旋转、仿射变换等情况带来的匹配问题。superpoint算法可以将一幅图片转换为一个具有大量局部特征向量(描述符)的集合。相较于现有的特征提取算法如lift、sift和orb，superpoint拥有最高的最近邻平均精度、最高的匹配分数以及综合最优的单应性指标，展现出了强大的图像特征提取效果。该算法在图像发生仿射变化、3d视角变化、比例缩放、曝光度变化和噪声等条件下仍然能够获得较为可靠的匹配结果。因此，superpoint算法被广泛应用于智能自主移动机器人及自动驾驶的建图定位、匹配重建、运动分割跟踪、图像全景融合等需要图像识别匹配的场景。

2、现有实现superpoint算法的硬件加速系统能效低、资源开销大。2020年，清华大学的zhilin xu等人使用xilinx通用ai加速ip核dpu(deep learning processing unit)实现su本文档来自技高网...

【技术保护点】

1.一种基于神经网络特征提取的硬件加速系统，其特征在于，包括按流水线方式运行的编码卷积处理器、特征点卷积处理器、SoftMax&NMS模块、特征图像素点选择器、选择性描述符卷积处理器、插值和归一化模块：

2.如权利要求1所述的硬件加速系统，其特征在于，所述编码卷积处理器计算得到一个输出像素特征所需的时间为M个周期，所述流水线方式包括：

3.如权利要求1所述的硬件加速系统，其特征在于，所述编码卷积处理器包含按流水线运行的中间缓存存储器、卷积模块和最大池化模块，每个所述卷积模块包含数据选择器、乒乓窗口寄存器、权重存储器和偏置寄存器、乘法器、乘积寄存器、加法数、...

【技术特征摘要】

1.一种基于神经网络特征提取的硬件加速系统，其特征在于，包括按流水线方式运行的编码卷积处理器、特征点卷积处理器、softmax&nms模块、特征图像素点选择器、选择性描述符卷积处理器、插值和归一化模块：

2.如权利要求1所述的硬件加速系统，其特征在于，所述编码卷积处理器计算得到一个输出像素特征所需的时间为m个周期，所述流水线方式包括：

3.如权利要求1所述的硬件加速系统，其特征在于，所述编码卷积处理器包含按流水线运行的中间缓存存储器、卷积模块和最大池化模块，每个所述卷积模块包含数据选择器、乒乓窗口寄存器、权重存储器和偏置寄存器、乘法器、乘积寄存器、加法数、解复用器和累积寄存器；

4.如权利要求1所述的硬件加速系统，其特征在于，所述特征图像素点选择器生成特征点所处的像素区域的过程包括：

5.如权利要求4所述的硬件加速系统，其特征在于，所述硬件加速系统还包含共...

【专利技术属性】
技术研发人员：王超，银泽华，刘炳强，段子昂，王继鹏，沈梓煊，肖健，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：