深度学习模型压缩方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种深度学习模型压缩方法、装置、计算机设备及存储介质。所述方法包括：将深度学习模型划分为多个模块，并在所述深度学习模型执行在线推理任务时分别统计每个模块的运行时间；基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块；基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块；对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型。本发明专利技术的方案综合考虑了运行时性能与精度，压缩后的模型可同时满足对模型实际运行性能与精度的需求，降低模型的计算量和参数量，提升在线推理的速度与效率，进而可推进深度学习应用的推理部署与快速发展。

【技术实现步骤摘要】
深度学习模型压缩方法、装置、计算机设备及存储介质
本专利技术涉及深度学习
，尤其设计一种深度学习模型压缩方法、一种深度学习模型压缩装置、一种计算机设备及一种计算机可读存储介质。
技术介绍
随着深度学习在计算机视觉领域的快速发展，越来越多的深度学习模型被越来越多的应用到工业部署中，如用于图像分类的resnet50、inceptionV3，用于目标检测的YOLO(YouOnlyLookOnce是一种基于深度神经网络的对象识别和定位算法)、SSD(SingleShotMultiBoxDetector，是一种one-stage的通用物体检测算法)。同时近几年随着在深度学习模型部署落地过程中，工业界对模型性能、资源占用的要求越来越高，以便更好的部署到移动端、嵌入式端等资源受限的硬件平台。模型压缩技术主要用来对模型结构进行精简，要求在满足模型识别精度的同时尽可能降低其对存储资源、计算资源的占用。目前，针对深度学习神经网络模型的压缩技术中，模型剪枝技术近年来使用较广，如基于神经元裁剪的非结构化剪枝、基于Channel(通道)裁剪的结构化剪枝，在结构化剪枝中比较经典高效的方法包括ChannelPruning(通道剪枝)、NetworkSlimming(网络剪枝)、Discrimination-awareChannelPruning(鉴别力感知的通道剪枝)等，一般通过特定策略筛选出模型中对精度影响较低的结构，裁剪掉不重要的结构并且对模型不会产生明显影响，进而达到模型压缩的效果，然而现有的模型剪枝技术一般主要基于分类模型(如resnet50)，并且剪枝过程中的参考指标一般紧急是模型精度，导致剪枝后的模型实际运行性能提升有限。
技术实现思路
有鉴于此，有必要针对以上技术问题，提供一种深度学习模型压缩方法、一种深度学习模型压缩装置、一种计算机设备及一种计算机可读存储介质。根据本专利技术的第一方面，提供了一种深度学习模型压缩方法，所述方法包括：将深度学习模型划分为多个模块，并在所述深度学习模型执行在线推理任务时分别统计每个模块的运行时间；基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块；基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块；对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型。在其中一个实施例中，所述基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块的步骤包括：将每一模块的运行时间与预设时间进行比较；将运行时间大于预设运行时间的模块作为所述若干第一模块。在其中一个实施例中，所述基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块的步骤包括：对多个模块的运行时间按照大小进行降序排列以得到第一序列；将所述第一序列中前第一预设个数的运行时间对应的模块作为所述若干第一模块。在其中一个实施例中，所述基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块的步骤包括：计算每一第一模块的L1范数，并与预设值进行比较；将L1范数小于预设值的第一模块作为所述若干第二模块。在其中一个实施例中，所述基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块的步骤包括：计算每一第一模块的L1范数，并按照L1范数的大小降序排列以得到第二序列；将所述第二序列中后第二预设个数L1范数对应的模块作为所述若干第二模块。在其中一个实施例中，所述对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型的步骤包括：利用模型剪枝方式和/或模型量化的方式对若干第二模块的结构进行裁剪。在其中一个实施例中，所述深度学习模块为目标检测模型。根据本专利技术的第二方面，提供了一种深度学习模型压缩装置，所述装置包括：运行时间统计模块，用于将深度学习模型划分为多个模块，并在所述深度学习模型执行在线推理任务时分别统计每个模块的运行时间；第一筛选模块，用于基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块；第二筛选模块，用于基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块；压缩模块，用于对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型。根据本专利技术的第三方面，还提供了一种计算机设备，该计算机设备包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行前述的深度学习模型压缩方法。根据本专利技术的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时执行前述的深度学习模型压缩方法。上述一种深度学习模型压缩方法，通过将将深度学习模型划分为多个模块，并在深度学习模型执行在线推理任务时分别统计每个模块的运行时间，基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块，进一步的还对若干第一模块的重要程度进行评估，并根据评估结果对若干第一模块进行筛选以确定若干第二模块，最后对深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型，本专利技术方法综合考虑了运行时性能与精度，压缩后的模型可同时满足对模型实际运行性能与精度的需求，降低模型的计算量和参数量，可用于快速将目标检测模型部署到内存、带宽等资源受限的推理平台，提升在线推理的速度与效率，进而可推进深度学习应用的推理部署与快速发展。此外，本专利技术还提供了一种深度学习模型压缩装置、一种计算机设备和一种计算机可读存储介质，同样能实现上述技术效果，这里不再赘述。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术一个实施例提供的一种深度学习模型压缩方法流程示意图；图2为本专利技术另一个实施例提供的一种深度学习模型压缩装置结构示意图；图3为本专利技术另一个实施例中算机设备的内部结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。在一个实施例中，请参照图1所示，本专利技术提供了一种深度学习模型压缩方法，所述方法包括以下步骤：S100，将深度学习模型划分为多个模块，并在所述深度学习模本文档来自技高网...

【技术保护点】
1.一种深度学习模型压缩方法，其特征在于，所述方法包括：/n将深度学习模型划分为多个模块，并在所述深度学习模型执行在线推理任务时分别统计每个模块的运行时间；/n基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块；/n基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块；/n对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型。/n

【技术特征摘要】
1.一种深度学习模型压缩方法，其特征在于，所述方法包括：
将深度学习模型划分为多个模块，并在所述深度学习模型执行在线推理任务时分别统计每个模块的运行时间；
基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块；
基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块；
对所述深度学习模型的若干第二模块进行压缩以得到压缩的深度学习模型。


2.根据权利要求1所述的方法，其特征在于，所述基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块的步骤包括：
将每一模块的运行时间与预设时间进行比较；
将运行时间大于预设运行时间的模块作为所述若干第一模块。


3.根据权利要求1所述的方法，其特征在于，所述基于每个模块的运行时间对多个模块进行筛选以确定若干第一模块的步骤包括：
对多个模块的运行时间按照大小进行降序排列以得到第一序列；
将所述第一序列中前第一预设个数的运行时间对应的模块作为所述若干第一模块。


4.根据权利要求1所述的方法，其特征在于，所述基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以确定若干第二模块的步骤包括：
计算每一第一模块的L1范数，并与预设值进行比较；
将L1范数小于预设值的第一模块作为所述若干第二模块。


5.根据权利要求1所述的方法，其特征在于，所述基于L1范数对所述若干第一模块的重要程度进行评估，并根据评估结果对所述若干第一模块进行筛选以...

【专利技术属性】
技术研发人员：刘姝，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32