【技术实现步骤摘要】
本专利技术涉及一种面向计算机视觉的后训练模型稀疏方法,同时也涉及相应的后训练模型稀疏装置,属于计算机视觉。
技术介绍
1、深度神经网络(dnns)在计算机视觉、自然语言处理和信息检索等多个领域取得了显著的成功。然而,在资源有限的边缘设备上部署深度神经网络时,减少神经网络的内存占用和提高能源效率成为关键问题,因此,各种压缩技术被提出以提高模型的效率。在这些压缩技术中,稀疏训练(sparse training)是一种通过训练过程中设置稀疏性约束来减少模型参数的方法,后训练稀疏(pts)还可以消除高训练成本,但通常会由于忽略了每层合理的稀疏率分配而导致模型精度明显下降。现有技术中的稀疏率求解方法主要针对训练感知场景,在数据量有限且训练成本较低的后训练稀疏场景下往往无法稳定收敛。而恢复稀疏模型精度的大多数方法需要在大量数据下长时间重新训练模型,当训练数据集庞大时,通常需要数小时甚至数天的时间,为各行各业的大规模应用带来了障碍。
2、在现有技术中,pot(post-training via layer-wise calibration
...【技术保护点】
1.一种面向计算机视觉的后训练模型稀疏方法,其特征在于包括如下步骤:
2.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(2)中:
3.如权利要求2所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:
4.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(5)中:
5.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:
6.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:
7.如权利要求1所述的面向计算机视觉的后训练模型
...【技术特征摘要】
1.一种面向计算机视觉的后训练模型稀疏方法,其特征在于包括如下步骤:
2.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(2)中:
3.如权利要求2所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:
4.如权利要求1所述的面向计算机视觉的后训练模型稀疏方法,其特征在于步骤(5)中:
5.如权利要求4所述的面向计算机视觉的后训练模型稀疏方法,其特征在于:
6.如权利...
【专利技术属性】
技术研发人员:刘祥龙,龚睿昊,王梓宁,郭晋阳,
申请(专利权)人:北京航空航天大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。