【技术实现步骤摘要】
本专利技术属于数据处理,具体公开一种基于动态稀疏剪枝的神经网络加速器。
技术介绍
1、神经网络是一种模拟人脑神经元结构的计算模型,通过多层非线性变换处理输入数据,能够学习和捕捉复杂的模式和关系,广泛应用于图像识别、自然语言处理等任务。在运行过程中由于冗余连接、优化目标和计算资源限制等因素,神经网络中常出现不重要的节点,为了提高推理速度、保持模型精度,需要通过剪枝移除这些不重要的节点。为此需在运行过程中对神经网络中的节点进行权重计算,及时识别不重要的节点,这一过程通常借助加速器来高效完成。
2、在借助加速器进行节点权重计算时为了确保不遗漏任何重要节点,通常会对所有节点进行全面计算。然而,这种全面计算方式在资源利用上存在冗余,增加了加速器的计算负荷,特别是在计算资源受限的情况下,这种高负荷计算常常导致加速器的计算速度与神经网络模型的运行速度不同步,当加速器的计算速度低于模型的运行速度时,加速器会成为整个系统的性能瓶颈,难以及时识别和移除不重要的节点,进一步影响了剪枝的及时性和有效性,从而限制了模型的整体运行效率。
3
...【技术保护点】
1.一种基于动态稀疏剪枝的神经网络加速器,其特征在于,包括以下模块:
2.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述进行当前节点的部分权重计算参见下述过程:
3.如权利要求2所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述资源消耗指数计算如下过程:
4.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述调取历史剪枝记录还包括下述操作:
5.如权利要求4所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述关键节点如下筛选过程:
6.如权利要
...【技术特征摘要】
1.一种基于动态稀疏剪枝的神经网络加速器,其特征在于,包括以下模块:
2.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述进行当前节点的部分权重计算参见下述过程:
3.如权利要求2所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述资源消耗指数计算如下过程:
4.如权利要求1所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述调取历史剪枝记录还包括下述操作:
5.如权利要求4所述的一种基于动态稀疏剪枝的神经网络加速器,其特征在于:所述关键节点如下筛选过程:
6.如权利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。