一种模型压缩系统、方法及设备技术方案

本说明书实施例公开了一种模型压缩系统、方法及设备，该方法应用于模型压缩系统，包括：获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构，基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型，导出所述压缩后的目标模型。后的目标模型。后的目标模型。

【技术实现步骤摘要】
一种模型压缩系统、方法及设备


[0001]本文件涉及计算机
，尤其涉及一种模型压缩系统、方法及设备。

技术介绍

[0002]在深度学习时代，算力的需求和消耗日益增长，而且近年来鲜有资源的被大批量申请使用，在有限的资源下开发某些算法逐渐降成为后续常态的工作方式，另外，低碳排放成为全球的主题，因此绿色AI的趋势也越来越明显，基于以上因素，模型压缩成为至关重要的技术，因为大多数的模型压缩技术能够实现在模型精度不降低太多的情况下，减少较多的资源消耗。为此，需要提供一种更好的模型轻量化的压缩框架，从而实现模型的最大化自动化压缩。

技术实现思路

[0003]本说明书实施例的目的是提供一种更好的模型轻量化的压缩框架，从而实现模型的最大化自动化压缩。
[0004]为了实现上述技术方案，本说明书实施例是这样实现的：
[0005]第一方面，本说明书实施例提供的一种模型压缩系统，所述系统包括模型结构拓扑子系统、模型压缩子系统和导出子系统，其中：所述模型结构拓扑子系统，被配置为获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构。所述模型压缩子系统，被配置为基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型。所述导出子系统，被配置为将所述模型压缩子系统得到的压缩后的目标模型导出。
[0006]第二方面，本说明书实施例提供的一种模型压缩方法，所述方法应用于模型压缩系统，包括：获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构。基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型。导出所述压缩后的目标模型。
[0007]第三方面，本说明书实施例提供的一种模型压缩设备，所述模型压缩设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构。基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型。导出所述压缩后的目标模型。
[0008]第四方面，本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构。基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型。导出所述压缩后的目标模型。
附图说明
[0009]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0010]图1为本说明书一种模型压缩系统的结构示意图；
[0011]图2为本说明书另一种模型压缩系统的结构示意图；
[0012]图3为本说明书一种模型的分层压缩的示意图；
[0013]图4为本说明书一种模型压缩方法实施例；
[0014]图5为本说明书另一种模型压缩方法实施例；
[0015]图6为本说明书一种模型压缩设备实施例。
[0016]图例说明：
[0017]100
‑
模型压缩系统，110
‑
模型结构拓扑子系统、120
‑
模型压缩子系统，121
‑
量化模块，122
‑
剪枝模块，130
‑
导出子系统。
具体实施方式
[0018]本说明书实施例提供一种模型压缩系统、方法及设备。
[0019]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0020]本说明书实施例提供一种更优的模型轻量化的压缩框架，该框架可以封装成相应的模型压缩系统，该模型压缩系统可以通过软件的方式安装在指定的电子设备中，这样，模型压缩系统可以运行于电子设备中，其中的电子设备可以是终端设备，也可以是服务器等，终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以如IoT设备(具体如智能手表、车载设备等)等，服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器，还可以是用于进行模型压缩的服务器等，具体可以根据实际情况设定。在实际应用中，模型压缩更多地需要从算法层面来进行压缩，但模型压缩中的算法形式非常多样，包括很多不同种类的算法，而且，上
述算法使用门槛高，不同算法需要了解其内部的原理，并且需要改写相应的程序代码，此外，不同算法组合较困难，为此，针对模型压缩算法的门槛等问题，以便利高效为目的，提出了一种模型轻量化的压缩框架，可以将模型压缩的三个主要要素进行整合，能够实现统一优化或配合优化，此外，还可以实现压缩分级，以便更好适应不同接入成本和不同压缩的目的，而且，能够将计算图谱层面的优化自动完成。具体处理可以参见下述实施例中的具体内容。
[0021]实施例一
[0022]如图1所示，本说明书实施例提供一种模型压缩系统，该模型压缩系统可以提供模型轻量化的压缩框架，该模型压缩系统可以实现对多种不同业务中的模型进行压缩的目的，其中的不同业务可以包括如支付业务、购物业务或风险防控业务等，不同的业务，其需要进行压缩处理的模型可以不同，例如，支付业务中需要进行压缩处理的模型可以包括生物识别模型、支付风险检测模型等，购物业务中需要进行压缩处理的模型可以包括信息推荐模型等，风险防控业务中需要进行压缩处理的模型可以包括针对欺诈风险、非法交易风险的风险防控模型等，具体可以根据实际情况设定，本说明书实施例对此不做限定。...

【技术保护点】

【技术特征摘要】
1.一种模型压缩系统，所述系统包括模型结构拓扑子系统、模型压缩子系统和导出子系统，其中：所述模型结构拓扑子系统，被配置为获取待压缩的目标模型，并确定所述目标模型中包含的算子之间的拓扑关系，基于所述拓扑关系，确定所述目标模型的拓扑结构；所述模型压缩子系统，被配置为基于所述目标模型的拓扑结构和所述目标模型中的模型参数，确定所述目标模型的压缩规则，使用确定的压缩规则，基于所述目标模型的拓扑结构和所述目标模型中的模型参数对所述目标模型进行压缩处理，得到压缩后的目标模型；所述导出子系统，被配置为将所述模型压缩子系统得到的压缩后的目标模型导出。2.根据权利要求1所述的系统，所述模型结构拓扑子系统，被配置为通过对所述目标模型进行前向传播，确定所述目标模型中包含的算子之间的拓扑关系，或者，通过对所述目标模型进行逆向传播，确定所述目标模型中包含的算子之间的拓扑关系。3.根据权利要求2所述的系统，所述模型压缩子系统包括量化模块和/或剪枝模块，其中：所述量化模块，被配置为使用确定的压缩规则，基于预设的量化算法分别对所述目标模型的拓扑结构和所述目标模型中的模型参数进行量化处理；和/或，所述剪枝模块，被配置为使用确定的压缩规则，基于预设的剪枝类算法对所述目标模型的拓扑结构和所述目标模型中的模型参数进行剪枝处理。4.根据权利要求3所述的系统，所述量化模块中设置有所述量化算法，所述量化算法包括QAT算法和PTQ算法，所述剪枝模块中设置有所述剪枝类算法，所述剪枝类算法包括OneShot算法。5.根据权利要求4所述的系统，所述量化模块，被配置为获取所述目标模型中包含的预设运算操作，并使用确定的压缩规则，基于预设的量化算法为所述预设运算操作创建相应的算子；获取Fuse_Model函数，并使用所述Fuse_Model函数对预设算子进行融合处理，得到融合的算子；获取所述目标模型中包含的Forward函数，并使用确定的压缩规则，基于预设的量化算法将所述Forward函数替换为QuantStub函数或DeQuantStub函数；获取Prepare_Qat函数，并使用所...

【专利技术属性】
技术研发人员：张长浩，申书恒，傅欣艺，傅幸，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：