面向嵌入式系统的深度神经网络压缩和加速方法及系统技术方案

本发明专利技术公开了一种面向嵌入式系统的深度神经网络压缩方法及系统，所述方法包括：获取待压缩的原始神经网络模型；对所述神经网络模型中各层的过滤器/输出神经元进行重要性评估；基于重要性评估结果，对所述神经网络模型中各层的过滤器/输出神经元采用聚类方法进行分组；根据预设的每层的压缩率，采用聚类中心确定弱连接并进行裁剪，得到压缩后的模型；将压缩后的模型通过局部和全局微调恢复它的识别性能；将所述压缩后的模型部署到嵌入式系统中，采用本发明专利技术的压缩方法，一方面降低网络的存储空间和加速网络的推断，另一方面保持网络的识别精度。

Deep Neural Network Compression and Acceleration Method and System for Embedded System

【技术实现步骤摘要】
面向嵌入式系统的深度神经网络压缩和加速方法及系统
本专利技术涉及一种模型压缩和加速
，具体涉及一种面向嵌入式系统的深度神经网络压缩和加速方法及系统。
技术介绍
近来，深度神经网络本质上在各种计算机视觉任务中都取得了巨大的进步，例如图像分类、目标识别和语义分割等。深度逐渐增加的设计很大意义上提高了深度神经网络的识别性能，这需要依赖于大量的参数和繁重的计算。然而，对于大部分嵌入式系统和移动平台来说，由于有限的资源限制，他们几乎不能承担那样的资源需求。这就严重阻碍了深度神经网络的扩展应用。大量的证据已经证实深度神经网络是参数冗余的，能够被压缩并且精度损失很小，甚至没有损失精度。为了解决这个问题，大量的方法被提出压缩和加速深度神经网络，包括裁剪方法、量化方法、低秩分解以及紧致型网络的设计等。既然组卷积存在一种有效紧致的结构特点，使得它尤其适合于移动和嵌入式应用用来压缩和加速深度神经网络，并且也受到了越来越多的关注。与正常卷积不同，组卷积把输入通道划分为多个不相交的过滤器组，因此卷积独立地在每个组中执行，以此减少参数数目和计算代价。尽管组卷积被首次用在AlexNet用于解决GPU存储不足本文档来自技高网...

【技术保护点】
1.一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，包括：获取待压缩的原始神经网络模型；对所述神经网络模型中各层的过滤器/输出神经元的每个输入通道进行重要性评估；基于重要性评估结果，对所述神经网络模型中各层的过滤器/输出神经元采用聚类方法进行分组；根据预设的每层的压缩率，采用聚类中心确定弱连接并进行裁剪，得到压缩后的模型；将压缩后的模型通过局部和全局微调恢复识别性能；将所述压缩后的模型部署到嵌入式系统中。

【技术特征摘要】
1.一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，包括：获取待压缩的原始神经网络模型；对所述神经网络模型中各层的过滤器/输出神经元的每个输入通道进行重要性评估；基于重要性评估结果，对所述神经网络模型中各层的过滤器/输出神经元采用聚类方法进行分组；根据预设的每层的压缩率，采用聚类中心确定弱连接并进行裁剪，得到压缩后的模型；将压缩后的模型通过局部和全局微调恢复识别性能；将所述压缩后的模型部署到嵌入式系统中。2.如权利要求1所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，获取待压缩的原始神经网络模型后，对所述神经网络模型的每个卷积层进行重新表示：假设表示第l个卷积层/全连接层的权重，其中Cout和Cin分别为输入通道/输入神经元和输出通道/输出神经元的数目，k是卷积核的大小，是一个输入张量，第l个卷积层/全连接层表示为：Y＝WX其中，是相应的输出向量，Wij对应第j个输入通道/输入神经元和第i个输出通道/输出神经元之间的卷积核向量。3.如权利要求2所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，所述重要性评估包括：为每个过滤器/输出神经元构造重要性向量向量的元素Vij表示第j个输入通道/输入神经元对第i个过滤器/输出神经元的重要性值，通过Wij的l1范数来评估。4.如权利要求3所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，对所述神经网络模型中各层的过滤器/输出神经元采用聚类方法进行分组，包括：对于每个卷积层/全连接层，采用欧式距离衡量过滤器/输出神经元重要性向量之间的相似性；对每个层中的过滤器/输出神经元进行聚类分组，使得各...

【专利技术属性】
技术研发人员：郭庆北，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37