当前位置: 首页 > 专利查询>上海大学专利>正文

一种基于动态稀疏剪枝的神经网络加速器制造技术

技术编号:44559511 阅读:18 留言:0更新日期:2025-03-11 14:20
本发明专利技术属于数据处理技术领域,具体公开一种基于动态稀疏剪枝的神经网络加速器,通过在神经网络运行过程中实时采集运行速度和加速器的计算速度,并在检测到计算速度低于运行速度时动态调整权重指标和节点范围的计算任务,实现了加速器计算任务的优化分配,能够在计算资源紧张的情况下最大限度地保证运行速度和计算速度的同步,同时不会显著影响对需要剪枝节点的识别,与此同时在基于节点的权重计算初次识别到权重低于阈值时调取相应节点的历史权重计算结果进行冗余趋势分析,由此进行剪枝需求评判,一定程度上降低了误剪发生率,提高剪枝的准确性,还能避免不必要的剪枝和恢复操作,减少计算资源的浪费,提高资源利用率。

【技术实现步骤摘要】

本专利技术属于数据处理,具体公开一种基于动态稀疏剪枝的神经网络加速器


技术介绍

1、神经网络是一种模拟人脑神经元结构的计算模型,通过多层非线性变换处理输入数据,能够学习和捕捉复杂的模式和关系,广泛应用于图像识别、自然语言处理等任务。在运行过程中由于冗余连接、优化目标和计算资源限制等因素,神经网络中常出现不重要的节点,为了提高推理速度、保持模型精度,需要通过剪枝移除这些不重要的节点。为此需在运行过程中对神经网络中的节点进行权重计算,及时识别不重要的节点,这一过程通常借助加速器来高效完成。

2、在借助加速器进行节点权重计算时为了确保不遗漏任何重要节点,通常会对所有节点进行全面计算。然而,这种全面计算方式在资源利用上存在冗余,增加了加速器的计算负荷,特别是在计算资源受限的情况下,这种高负荷计算常常导致加速器的计算速度与神经网络模型的运行速度不同步,当加速器的计算速度低于模型的运行速度时,加速器会成为整个系统的性能瓶颈,难以及时识别和移除不重要的节点,进一步影响了剪枝的及时性和有效性,从而限制了模型的整体运行效率。

3、另外在基于节点权重本文档来自技高网...

【技术保护点】

1.一种基于动态稀疏剪枝的神经网络加速器,其特征在于,包括以下模块:

2.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述进行当前节点的部分权重计算参见下述过程:

3.如权利要求2所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述资源消耗指数计算如下过程:

4.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述调取历史剪枝记录还包括下述操作:

5.如权利要求4所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述关键节点如下筛选过程:

6.如权利要求2所述的一种基于动...

【技术特征摘要】

1.一种基于动态稀疏剪枝的神经网络加速器,其特征在于,包括以下模块:

2.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述进行当前节点的部分权重计算参见下述过程:

3.如权利要求2所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述资源消耗指数计算如下过程:

4.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述调取历史剪枝记录还包括下述操作:

5.如权利要求4所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述关键节点如下筛选过程:

6.如权利...

【专利技术属性】
技术研发人员:刘晶晶朱宇杰殷建轩
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1