一种模型压缩方法、系统及存储介质技术方案

本申请公开一种模型压缩方法、系统及存储介质，涉及模型压缩技术领域，能够提高模型压缩效率。具体方案包括：服务器接收客户端发送的可执行文件，可执行文件中包括：接口文件、调用文件、待压缩模型和待压缩模型的运行环境程序；接口文件用于获取训练数据集、验证数据集、损失函数和优化器；调用文件用于调用目标压缩程序；服务器确定待压缩模型的初始模型精度；服务器利用调用文件获取目标压缩程序，并利用目标压缩程序、损失函数和优化器对待压缩程序进行压缩，得到压缩模型；服务器确定压缩模型的压缩模型精度，若初始模型精度和压缩模型精度的精度差的绝对值小于预设阈值，则得到待压缩模型的目标压缩模型，并将目标压缩模型发送至客户端。至客户端。至客户端。

【技术实现步骤摘要】
一种模型压缩方法、系统及存储介质


[0001]本申请涉及模型压缩
，尤其涉及一种模型压缩方法、系统及存储介质。

技术介绍

[0002]深度学习在计算机视觉、自然语言处理、语音识别等领域中已经取得了很多重要的成果。但是，在实际应用中，由于深度学习模型的参数量和计算量大，导致模型在部署时需要消耗大量的计算资源和存储空间。如果没有考虑到这个因素，不仅会导致模型在移动设备等较弱计算能力的设备上无法实时运行，也会影响云端部署的成本和效率。模型压缩通过减少模型的参数量和计算量，以达到在保持模型性能的同时降低计算资源和存储空间需求的目的。
[0003]目前的模型压缩方法有剪枝、蒸馏、量化等。但对于大部分压缩方法，压缩后需要进行模型参数的微调，需要进行少量步骤的重新训练。不同的用户模型可能需要不同的环境，传统的模型压缩方法在不同的环境可能存在不同的兼容性问题，这可能导致应用程序在某些环境下无法运行或者出现错误，导致模型压缩效率和压缩后模型的精度较低。

技术实现思路

[0004]本申请提供一种模型压缩方法、系统及存储介质，能够提高模型压缩效率，且能够提高模型压缩后的精度。
[0005]为达到上述目的，本申请采用如下技术方案：
[0006]本申请实施例第一方面，提供了一种模型压缩方法，该方法包括：
[0007]服务器接收客户端发送的可执行文件，可执行文件中包括：接口文件、调用文件、待压缩模型和待压缩模型的运行环境程序；其中，接口文件用于获取待压缩模型的训练数据集、验证数据集、损失函数和优化器；调用文件用于调用目标压缩程序，目标压缩程序用于压缩待压缩模型；运行环境程序为运行待压缩模型的关联程序；
[0008]服务器确定待压缩模型的初始模型精度；
[0009]服务器利用调用文件获取目标压缩程序，并利用目标压缩程序、损失函数和优化器对待压缩程序进行压缩，得到压缩模型；
[0010]服务器确定压缩模型的压缩模型精度，若初始模型精度和压缩模型精度的精度差的绝对值小于预设阈值，则得到待压缩模型的目标压缩模型，并将目标压缩模型发送至客户端。
[0011]在一个实施例中，服务器接收客户端发送的可执行文件之前，方法还包括：
[0012]客户端配置接口文件，接口文件中包括第一调用函数、第二调用函数、损失函数和优化器；第一调用函数用于根据训练数据集的第一存储路径获取训练数据集；第二调用函数用于根据验证数据集的第二存储路径获取验证数据集。
[0013]在一个实施例中，客户端配置接口文件之后，方法还包括：
[0014]客户端获取待压缩模型的模型定义文件，根据模型定义文件获取运行环境程序；
[0015]客户端利用预设的打包程序，对接口文件、待压缩模型和调用文件和运行环境程序进行打包处理，得到可执行文件。
[0016]在一个实施例中，服务器得到压缩模型之后，方法还包括：
[0017]服务器利用训练数据集和验证数据集对压缩模型进行训练，得到更新压缩模型；
[0018]确定更新压缩模型的更新压缩模型精度，若初始模型精度和更新压缩模型精度的精度差的绝对值小于预设阈值，则将更新压缩模型作为目标压缩模型，并将目标压缩模型发送至客户端。
[0019]在一个实施例中，服务器确定待压缩模型的初始模型精度，包括：
[0020]服务器利用预设的模型推理算法确定待压缩模型的初始模型精度。
[0021]在一个实施例中，服务器利用预设的模型推理算法确定待压缩模型的初始模型精度，包括：
[0022]服务器将损失函数添加至待压缩模型后，利用预设的模型推理算法和验证数据集对待压缩模型进行验证，得到初始模型精度。
[0023]在一个实施例中，压缩程序包括：模型剪枝和知识蒸馏。
[0024]本申请实施例第二方面，提供了一种模型压缩系统，该系统包括：服务器和客户端；
[0025]服务器，用于接收客户端发送的可执行文件，可执行文件中包括：接口文件、调用文件、待压缩模型和待压缩模型的运行环境程序；其中，接口文件用于获取待压缩模型的训练数据集、验证数据集、损失函数和优化器；调用文件用于调用目标压缩程序，目标压缩程序用于压缩待压缩模型；运行环境程序为运行待压缩模型的关联程序；
[0026]服务器，用于确定待压缩模型的初始模型精度；
[0027]服务器，用于利用调用文件获取目标压缩程序，并利用目标压缩程序、损失函数和优化器对待压缩程序进行压缩，得到压缩模型；
[0028]服务器，用于确定压缩模型的压缩模型精度，若初始模型精度和压缩模型精度的精度差的绝对值小于预设阈值，则得到待压缩模型的目标压缩模型，并将目标压缩模型发送至客户端。
[0029]在一个实施例中，客户端用于：
[0030]配置接口文件，接口文件中包括第一调用函数、第二调用函数、损失函数和优化器；第一调用函数用于根据训练数据集的第一存储路径获取训练数据集；第二调用函数用于根据验证数据集的第二存储路径获取验证数据集。
[0031]本申请实施例第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面中的模型压缩方法。
[0032]本申请实施例提供的技术方案带来的有益效果至少包括：
[0033]本申请实施例提供的模型压缩方法，通过服务器接收客户端发送的可执行文件，可执行文件中包括：接口文件、调用文件、待压缩模型和待压缩模型的运行环境程序，其中，接口文件用于获取待压缩模型的训练数据集、验证数据集、损失函数和优化器；调用文件用于调用目标压缩程序，目标压缩程序用于压缩待压缩模型，运行环境程序为运行待压缩模型的关联程序，然后服务器确定待压缩模型的初始模型精度，服务器利用调用文件获取目标压缩程序，并利用目标压缩程序、损失函数和优化器对待压缩模型进行压缩，得到压缩模
型后，服务器确定该压缩模型的压缩模型精度，若初始模型精度和压缩模型精度的精度差的绝对值小于预设阈值，则得到待压缩模型的目标压缩模型，并将目标压缩模型发送至客户端。这样，在多个不同的客户端上传的模型，服务器无需安装配置环境即可调用压缩方法对模型进行压缩，最后服务器向客户端返回压缩后适用于客户端部署的小模型，这样能够提高模型压缩效率，且能够提高模型压缩后的精度。
附图说明
[0034]图1为本申请实施例提供的一种模型压缩方法的流程图；
[0035]图2为本申请实施例提供的一种模型压缩系统的结构图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0037]以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩方法，其特征在于，所述方法包括：服务器接收客户端发送的可执行文件，所述可执行文件中包括：接口文件、调用文件、待压缩模型和所述待压缩模型的运行环境程序；其中，所述接口文件用于获取所述待压缩模型的训练数据集、验证数据集、损失函数和优化器；所述调用文件用于调用目标压缩程序，所述目标压缩程序用于压缩所述待压缩模型；所述运行环境程序为运行所述待压缩模型的关联程序；服务器确定所述待压缩模型的初始模型精度；服务器利用所述调用文件获取所述目标压缩程序，并利用所述目标压缩程序、所述损失函数和所述优化器对所述待压缩模型进行压缩，得到压缩模型；服务器确定所述压缩模型的压缩模型精度，若所述初始模型精度和所述压缩模型精度的精度差的绝对值小于预设阈值，则得到所述待压缩模型的目标压缩模型，并将所述目标压缩模型发送至所述客户端。2.根据权利要求1所述的方法，其特征在于，所述服务器接收客户端发送的可执行文件之前，所述方法还包括：客户端配置接口文件，所述接口文件中包括第一调用函数、第二调用函数、所述损失函数和所述优化器；所述第一调用函数用于根据所述训练数据集的第一存储路径获取所述训练数据集；所述第二调用函数用于根据所述验证数据集的第二存储路径获取所述验证数据集。3.根据权利要求2所述的方法，其特征在于，所述客户端配置所述接口文件之后，所述方法还包括：客户端获取所述待压缩模型的模型定义文件，根据所述模型定义文件获取所述运行环境程序；客户端利用预设的打包程序，对所述接口文件、所述待压缩模型和所述调用文件和所述运行环境程序进行打包处理，得到所述可执行文件。4.根据权利要求3所述的方法，其特征在于，所述服务器确定所述压缩模型的压缩模型精度之后，所述方法还包括：若所述初始模型精度和所述压缩模型精度的精度差的绝对值大于预设阈值，则服务器利用所述训练数据集和所述验证数据集对所述压缩模型进行训练，得到更新压缩模型；服务器确定所述更新压缩模型的更新压缩模型精度，若所述初始模型精度和所述更新压缩模型精度的精度差的绝对值小于预设阈值，则将所述更新压缩模型作为所述目标压缩模型...

【专利技术属性】
技术研发人员：冯珺，赵帅，潘司晨，彭梁英，毛冬，王红凯，柯公武，
申请(专利权)人：国网浙江省电力有限公司双创中心，
类型：发明
国别省市：