针对资源受限设备视频处理的深度学习网络裁剪方法技术

技术编号:26792951 阅读:26 留言:0更新日期:2020-12-22 17:08
本发明专利技术提出了一种针对资源受限设备视频处理的深度学习网络裁剪方法,具体步骤为:根据网络收敛精度,确定子网络个数;根据确定的子网络个数将深度学习网络分成若干个独立子网络;采用group LASSO算法对每个子网络进行稀疏化处理,使可裁剪的网络权重逼近0;计算每一个子网络的所有权重和,将权重和小于设定阈值的子网络进行裁剪。本发明专利技术能够对神经网络进行稀疏化裁剪,移除不必要的权重分支网络,通过本发明专利技术,提高了计算效率,降低了计算开销。

【技术实现步骤摘要】
针对资源受限设备视频处理的深度学习网络裁剪方法
本专利技术属于神经网络技术,具体为一种针对资源受限设备视频处理的深度学习网络裁剪方法。
技术介绍
传统深度学习在云端服务器进行处理,但面对海量数据的冲击,网络带宽和云服务器压力巨大,促使包括视频处理在内的智能计算从云端迈向端侧嵌入式设备。然而,嵌入式设备计算资源和存储资源有限,移动端难以承载较大规模的网络模型,较高的视频处理训练与推理时间,难以满足嵌入式平台的视频处理要求。深度强化学习(DeepReinforcementLearning)能够减少主存占用开销,但是其CPU计算开销仍然较大,难以广泛在计算能力有限的嵌入式设备中进行部署。对于移动设备,部署学习技术面临资源有限的挑战。由于现代的神经网络众所周知是计算/内存密集型的,因此在移动设备上训练常规大小的网络的成本非常高。先前的工作建议使神经网络更轻量级,同时保持接近的性能。深度强化学习是视频处理中常用的算法,基于表格的RL将表中的学习结果保持在表格中,在处理具有高维特征的数据时可能会导致显着的内存开销。为了克服这个限制,“V.Mnih,K.Ka本文档来自技高网...

【技术保护点】
1.一种针对资源受限设备视频处理的深度学习网络裁剪方法,其特征在于,具体步骤为:/n步骤1:根据网络收敛精度,确定子网络个数;/n步骤2:根据确定的子网络个数将深度学习网络分成若干个独立子网络;/n步骤3:采用group LASSO算法对每个子网络进行稀疏化处理,使可裁剪的网络权重逼近0;/n步骤4:计算每一个子网络的所有权重和,将权重和小于设定阈值的子网络进行裁剪。/n

【技术特征摘要】
1.一种针对资源受限设备视频处理的深度学习网络裁剪方法,其特征在于,具体步骤为:
步骤1:根据网络收敛精度,确定子网络个数;
步骤2:根据确定的子网络个数将深度学习网络分成若干个独立子网络;
步骤3:采用groupLASSO算法对每个子网络进行稀疏化处理,使可裁剪的网络权重逼近0;
步骤4:计算每一个子网络的所有权重和,将权重和小于设定阈值的子网络进行裁剪。


2.根据权利要求1所述的针对资源受限设备视频处理的深度学习网络裁剪方法,其特征在于,根据网络收敛精度,确定子网络个数的具体方法为:<...

【专利技术属性】
技术研发人员:纪程吴超薛春周明亮
申请(专利权)人:南京理工大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1