用于图像处理的神经网络加速器装置、三维重建方法制造方法及图纸

技术编号:39963681 阅读:24 留言:0更新日期:2024-01-09 00:14
本发明专利技术提供一种用于图像处理的神经网络加速器装置,所述装置包括:乘累加运算模块,其配置有多个矩阵运算单元,用于进行连续乘累加运算;数据存储模块,其被配置为多级存储结构,用于对数据进行分层多级存储并进行数据共享;数据管理模块,用于进行运算数据的调用与存储空间的分配;通用处理器,用于进行外参矩阵求解运算;辅助运算模块,用于进行乘累加运算、外参矩阵求解运算以外的其他不能分解的运算。本发明专利技术将特征点匹配、深度预测以及深度融合三个运算载荷大的运算主体分配给三个矩阵运算单元,并对运算时间、算子比例进行合理分配,可使各单元运算互不干扰,达到三级流水线的并行处理效果,提升加速器针对图像处理的高效性与兼容性。

【技术实现步骤摘要】

本专利技术涉及计算机领域,具体来说,涉及神经网络加速器领域,更具体地说,涉及一种用于图像处理的加速器装置及基于此的三维重建加速控制方法。


技术介绍

1、机器视觉的发展涉及神经网络对大量数据的处理。随着大数据处理技术与深度学习算法的融合,机器视觉越来越需要更高性能的处理器芯片对大量图片信息进行处理,尤其在三维重建方面。在图像处理的嵌入式系统中,系统性能与功耗的平衡是需要重点考虑的因素。然而,传统的中央处理器由于缺乏指令处理的并行性使其在面对图像数据处理时显得吃力;而传统的图像处理器由于其通用性使其运行大数据载荷的神经网络模型时,具有较高的功耗。

2、由此,神经网络加速器以其对神经网络运算的高性能、低功耗的特点被广泛嵌入终端设备用于完成图像并行运算,并成为了一种在终端加速图像处理算法的典型加速器。随着不同结构的神经网络算法的提出,各种各样针对神经网络算法加速的神经网络加速器被设计出来,但是,由于神经网络加速器往往需要针对特定的网络模型进行适应性优化,针对不同神经网路的加速器具有不同的挑战。

3、其中,针对连续帧图像进行三维重建的神经网络本文档来自技高网...

【技术保护点】

1.一种用于图像处理的神经网络加速器装置,其特征在于,所述装置包括:

2.根据权利要求1所述的装置,其特征在于,所述乘累加运算模块包括三个矩阵运算单元,每个矩阵运算单元配置一个对应的数据缓存单元,其中,所述每个矩阵运算单元用于进行乘法运算,所述每个数据缓存单元用于直接与其对应的矩阵运算单元进行数据交换。

3.根据权利要求1所述的装置,其特征在于,所述每个矩阵单元包括多个处理单元和多个阵列寄存器,所述每个处理单元至少包括一个乘法器和一个加法器,所述多个阵列寄存器用于进行处理单元处理的中间数据的搬运。

4.根据权利要求1所述的装置,其特征在于,所述乘累加运...

【技术特征摘要】

1.一种用于图像处理的神经网络加速器装置,其特征在于,所述装置包括:

2.根据权利要求1所述的装置,其特征在于,所述乘累加运算模块包括三个矩阵运算单元,每个矩阵运算单元配置一个对应的数据缓存单元,其中,所述每个矩阵运算单元用于进行乘法运算,所述每个数据缓存单元用于直接与其对应的矩阵运算单元进行数据交换。

3.根据权利要求1所述的装置,其特征在于,所述每个矩阵单元包括多个处理单元和多个阵列寄存器,所述每个处理单元至少包括一个乘法器和一个加法器,所述多个阵列寄存器用于进行处理单元处理的中间数据的搬运。

4.根据权利要求1所述的装置,其特征在于,所述乘累加运算模块、通用处理器、辅助运算模块可被配置为流水线模式。

5.根据权利要求1所述的装置,其特征在于,所述数据存储模块包括二级缓存区和主存,其中:

6.根据权利要求1所述的装置,其特征在于,所述数据管理模块包括寄存器单元、选通器单元、dma控制器单元、数据暂存单元,其中:

7.根据权利要求1所述的装置,其特征在于,所述通用处理器被配置为用于求解多项式、求解雅可比矩阵、计算图像相邻帧时刻的外参rt旋转矩阵。

8.根据权利要求1所述的装置,其特征在于,所述辅助运算模块包括:

9.一种基于权利要求1-8任一所述装置的三维重建方法,其特征在于,...

【专利技术属性】
技术研发人员:闵丰代子琛韩银和许浩博王颖王郁杰
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1