一种面向计算机视觉的后训练模型稀疏方法及装置制造方法及图纸

技术编号:40832195 阅读:24 留言:0更新日期:2024-04-01 14:55
本发明专利技术公开了一种面向计算机视觉的后训练模型稀疏方法及装置。该方法包括如下步骤:引入控制损失来实现目标稀疏率;采用权重的重建损失作为监督以减少稀疏输出和原始输出之间的差异;将控制损失和重建损失相加得到整体优化的目标损失;利用目标损失来确定每层最适合目标稀疏率的重建后的权重和稀疏率;将确定重建后的权重和稀疏率的函数转化为可微函数以实现稀疏率分配的可微优化。该方法从概率密度的角度建立了稀疏阈值和稀疏率之间的桥梁,进一步使用核密度估计技术来构建稀疏阈值和稀疏率之间的可微表示形式,可以在不损害原始权重、最大程度保留视觉特征的情况下学习到具有全局约束的最优稀疏率分配,快速获得所需的稀疏神经网络。

【技术实现步骤摘要】

本专利技术涉及一种面向计算机视觉的后训练模型稀疏方法,同时也涉及相应的后训练模型稀疏装置,属于计算机视觉。


技术介绍

1、深度神经网络(dnns)在计算机视觉、自然语言处理和信息检索等多个领域取得了显著的成功。然而,在资源有限的边缘设备上部署深度神经网络时,减少神经网络的内存占用和提高能源效率成为关键问题,因此,各种压缩技术被提出以提高模型的效率。在这些压缩技术中,稀疏训练(sparse training)是一种通过训练过程中设置稀疏性约束来减少模型参数的方法,后训练稀疏(pts)还可以消除高训练成本,但通常会由于忽略了每层合理的稀疏率分配而导致模型精度明显下降。现有技术中的稀疏率求解方法主要针对训练感知场景,在数据量有限且训练成本较低的后训练稀疏场景下往往无法稳定收敛。而恢复稀疏模型精度的大多数方法需要在大量数据下长时间重新训练模型,当训练数据集庞大时,通常需要数小时甚至数天的时间,为各行各业的大规模应用带来了障碍。

2、在现有技术中,pot(post-training via layer-wise calibration)提出在不训练标签的本文档来自技高网...

【技术保护点】

1.一种面向计算机视觉的后训练模型稀疏方法,其特征在于包括如下步骤:

2.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(2)中:

3.如权利要求2所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:

4.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(5)中:

5.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:

6.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:

7.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于...

【技术特征摘要】

1.一种面向计算机视觉的后训练模型稀疏方法,其特征在于包括如下步骤:

2.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(2)中:

3.如权利要求2所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:

4.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(5)中:

5.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:

6.如权利...

【专利技术属性】
技术研发人员:刘祥龙龚睿昊王梓宁郭晋阳
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1