一种模型压缩系统、方法及设备技术方案

本说明书实施例公开了一种模型压缩系统、方法及设备，该方法应用于模型压缩系统，包括：获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构，基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型，导出所述压缩后的目标模型。后的目标模型。后的目标模型。

【技术实现步骤摘要】
一种模型压缩系统、方法及设备


[0001]本文件涉及计算机
，尤其涉及一种模型压缩系统、方法及设备。

技术介绍

[0002]在深度学习时代，算力的需求和消耗日益增长，而且近年来鲜有资源的被大批量申请使用，在有限的资源下开发某些算法逐渐降成为后续常态的工作方式，另外，低碳排放成为全球的主题，因此绿色AI的趋势也越来越明显，基于以上因素，模型压缩成为至关重要的技术，因为大多数的模型压缩技术能够实现在模型精度不降低太多的情况下，减少较多的资源消耗。为此，需要提供一种更好的模型轻量化的压缩框架，从而实现模型的最大化自动化压缩。

技术实现思路

[0003]本说明书实施例的目的是提供一种更好的模型轻量化的压缩框架，从而实现模型的最大化自动化压缩。
[0004]为了实现上述技术方案，本说明书实施例是这样实现的：
[0005]第一方面，本说明书实施例提供的一种模型压缩系统，所述系统包括模型结构拓扑子系统、模型压缩子系统和导出子系统，其中：所述模型结构拓扑子系统，被配置为获取待压缩的目标模型，并确定所述目标模型中包含的算子之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩系统，所述系统包括模型结构拓扑子系统、模型压缩子系统和导出子系统，其中：所述模型结构拓扑子系统，被配置为获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构；所述模型压缩子系统，被配置为基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型；所述导出子系统，被配置为将所述模型压缩子系统得到的压缩后的目标模型导出。2.根据权利要求1所述的系统，所述模型结构拓扑子系统，被配置为通过对所述目标模型进行前向传播，确定所述目标模型中包含的算子之间的拓扑关系，或者，通过对所述目标模型进行逆向传播，确定所述目标模型中包含的算子之间的拓扑关系。3.根据权利要求2所述的系统，所述模型压缩子系统包括量化模块和/或剪枝模块，其中：所述量化模块，被配置为使用确定的压缩规则，基于预设的量化算法分别对所述目标模型的拓扑结构和所述目标模型中的模型参数进行量化处理；和/或，所述剪枝模块，被配置为使用确定的压缩规则，基于预设的剪枝类算法对所述目标模型的拓扑结构和所述目标模型中的模型参数进行剪枝处理。4.根据权利要求3所述的系统，所述量化模块中设置有所述量化算法，所述量化算法包括QAT算法和PTQ算法，所述剪枝模块中设置有所述剪枝类算法，所述剪枝类算法包括OneShot算法。5.根据权利要求4所述的系统，所述量化模块，被配置为获取所述目标模型中包含的预设运算操作，并使用确定的压缩规则，基于预设的量化算法为所述预设运算操作创建相应的算子；获取Fuse_Model函数，并使用所述Fuse_Model函数对预设算子进行融合处理，得到融合的算子；获取所述目标模型中包含的Forward函数，并使用确定的压缩规则，基于预设的量化算法将所述Forward函数替换为QuantStub函数或DeQuantStub函数；获取Prepare_Qat函数，并使用所...

【专利技术属性】
技术研发人员：张长浩，申书恒，傅欣艺，傅幸，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：