本说明书公开了一种模型压缩的方法、装置、存储介质及电子设备，本说明书实施例在模型压缩的过程中，并非仅根据初始模型进行模型压缩，而是将压缩初始模型时所得到的目标模型，再次作为初始模型同样进行模型压缩，直到所得到的目标模型满足预设条件为止。因此可以使得最终通过模型压缩所得到的目标模型不仅能够满足实际的压缩需求，而且还可以保证最终压缩后得到的模型在实际应用中的效果较佳，进而保证了通过压缩后的模型进行业务处理时的准确性。准确性。准确性。
【技术实现步骤摘要】
一种模型压缩的方法、装置、存储介质及电子设备
[0001]本说明书涉及计算机
，尤其涉及一种模型压缩的方法、装置、存5储介质及电子设备。
技术介绍
[0002]现如今，随着科技的发展，涌现了越来越多的可以实际应用于帮助改善人们生产生活的模型，促进了现代社会的发展和人类社会的进步。但是随着模型0功能的丰富以及效果的优化，模型的参数规模以及层数也在不断更新，相应的模型的规模也越来越大，因此，难以将这样的大模型直接应用于客户端中。
[0003]所以在将模型部署在客户端中之前，需要首先将参数规模较大的模型压缩为参数规模较小的模型，再将压缩后的模型布署到客户端中。然后目前压缩后
[0004]的模型在实际使用时的效果并不好，在使用压缩后的模型进行业务处理时，可5能会降低业务处理的准确性。
[0005]因此，如何能够提高模型压缩的效果，以保证通过压缩后的模型进行业务处理时的准确性，成为亟待解决解决的问题。
技术实现思路
[0006]0本说明书提供一种模型压缩的方法及装置，以部分的解决现有技术存在的上述问题。
[0007]本说明书实施例采用下述技术方案：
[0008]本说明书提供的一种模型压缩的方法，包括：
[0009]获取初始模型；
[0010]5根据所述初始模型中的模型参数，构建至少一个候选模型，并从所述至少一个候选模型中筛选出目标模型，所述每个候选模型中模型参数的参数量少于所述初始模型中模型参数的参数量；
[0011]判断所述目标模型是否满足预设条件；
[0012]若否，将所述目标模型重新确定为初始模型，并根据重新确定出的初始模型中的模型参数，重新得到目标模型，直到重新得到的目标模型满足所述预设条件为止；
[0013]将满足所述预设条件的目标模型，作为压缩后的模型进行部署，以在接收到业务请求时，根据部署的模型进行业务处理。
[0014]可选地，根据所述初始模型中的模型参数，构建至少一个候选模型，具体包括：
[0015]根据预设的各参数保留比例，从所述初始模型包含的模型参数中确定各参数保留比例的参数，作为各目标参数；
[0016]根据所述各目标参数，构建至少一个候选模型。
[0017]可选地，从所述至少一个候选模型中筛选出目标模型之前，还包括：
[0018]对所述至少一个候选模型进行训练，得到各训练后的候选模型；
[0019]从所述至少一个候选模型中筛选出目标模型，具体包括：
[0020]从所述各训练后的候选模型中筛选出所述目标模型。
[0021]可选地，对所述至少一个候选模型进行训练，得到各训练后的候选模型，具体包括：
[0022]获取训练样本；
[0023]将所述训练样本输入到所述初始模型中，得到第一输出结果，以及针对每个候选模型，将所述训练样本输入到该目标模型中，得到第二输出结果；
[0024]以最小化所述第一输出结果与所述第二输出结果之间的偏差，以及最小化所述第一输出结果与所述训练样本对应的标签之间的偏差为优化目标，对所述初始模型以及该候选模型进行训练。
[0025]可选地，从所述至少一个候选模型中筛选出目标模型，具体包括：
[0026]针对每个候选模型，确定该候选模型中包含的模型参数的参数量与所述初始模型中包含的模型参数的参数量之间的参数比，作为该候选模型对应的参数比；
[0027]根据该候选模型对应的参数比，确定该候选模型的优先级；
[0028]根据每个候选模型对应的优先级，从所述至少一个候选模型中筛选出所述目标模型。
[0029]可选地，从所述至少一个候选模型中筛选出目标模型，具体包括：
[0030]针对每个候选模型，将各验证样本输入到该候选模型中，以根据该候选模型针对所述各验证样本所输出的结果，确定该候选模型对应的准确率，以及将所述各验证样本输入到所述初始模型中，以根据所述初始模型针对所述各验证样本所输出的结果，确定所述初始模型对应的准确率；
[0031]根据该候选模型对应的准确率以及所述初始模型对应的准确率，确定该候选模型的优先级；
[0032]根据每个候选模型对应的优先级，从所述至少一个候选模型中筛选出所述目标模型。
[0033]可选地，在重新得到目标模型后，还包括：
[0034]获取训练样本；
[0035]针对每个初始模型，将所述训练样本输入到该初始模型中，得到第三输出结果，以及将所述训练样本输入到基于该初始模型所确定出的目标模型中，得到第四输出结果，并根据所述第三输出结果以及所述第四输出结果之间的偏差，确定该初始模型对应的损失值；
[0036]根据每个初始模型对应的损失值，确定损失和值；
[0037]以最小化所述损失和值为优化目标，对得到的各初始模型以及得到的各目标模型进行训练。
[0038]本说明书提供的一种模型压缩装置，包括：
[0039]获取模块，用于获取初始模型；
[0040]构建模块，用于根据所述初始模型中的模型参数，构建至少一个候选模型，并从所述至少一个候选模型中筛选出目标模型，所述每个候选模型中模型参数的参数量少于所述初始模型中模型参数的参数量；
[0041]判断模块，用于判断所述目标模型是否满足预设条件，若否，将所述目标模型重新确定为初始模型，并根据重新确定出的初始模型中的模型参数，重新得到目标模型，直到重新得到的目标模型满足所述预设条件为止；
[0042]部署模块，用于将满足所述预设条件的目标模型，作为压缩后的模型进行部署，以在接收到业务请求时，根据部署的模型进行业务处理。
[0043]本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型压缩的方法。
[0044]本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的模型压缩的方法。
[0045]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0046]在本说明书提供的模型压缩的方法中，获取初始模型，根据该初始模型中的模型参数，构建至少一个候选模型，并从至少一个候选模型中筛选出目标模型，每个候选模型中模型参数的参数量少于该初始模型中模型参数的参数量，判断该目标模型是否满足预设条件，若否，将该目标模型重新确定为初始模型，并根据重新确定出的初始模型中的模型参数，重新得到目标模型，直到重新得到的目标模型满足所述预设条件为止，将满足预设条件的目标模型，作为压缩后的模型进行部署，以在接收到业务请求时，根据部署的模型进行业务处理。
[0047]从上述方法中可以看出，在本说明书中，在模型压缩的过程中，并非仅根据初始模型进行模型压缩，而是将压缩初始模型时所得到的目标模型，再次作为初始模型同样进行模型压缩，直到所得到的目标模型满足预设条件为止，进而可以使得最终通过模型压缩所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型压缩的方法，其特征在于，包括：获取初始模型；根据所述初始模型中的模型参数，构建至少一个候选模型，并从所述至少一个候选模型中筛选出目标模型，所述每个候选模型中模型参数的参数量少于所述初始模型中模型参数的参数量；判断所述目标模型是否满足预设条件；若否，将所述目标模型重新确定为初始模型，并根据重新确定出的初始模型中的模型参数，重新得到目标模型，直到重新得到的目标模型满足所述预设条件为止；将满足所述预设条件的目标模型，作为压缩后的模型进行部署，以在接收到业务请求时，根据部署的模型进行业务处理。2.如权利要求1所述的方法，其特征在于，根据所述初始模型中的模型参数，构建至少一个候选模型，具体包括：根据预设的各参数保留比例，从所述初始模型包含的模型参数中确定各参数保留比例的参数，作为各目标参数；根据所述各目标参数，构建至少一个候选模型。3.如权利要求1所述的方法，其特征在于，从所述至少一个候选模型中筛选出目标模型之前，所述方法还包括：对所述至少一个候选模型进行训练，得到各训练后的候选模型；从所述至少一个候选模型中筛选出目标模型，具体包括：从所述各训练后的候选模型中筛选出所述目标模型。4.如权利要求3所述的方法，其特征在于，对所述至少一个候选模型进行训练，得到各训练后的候选模型，具体包括：获取训练样本；将所述训练样本输入到所述初始模型中，得到第一输出结果，以及针对每个候选模型，将所述训练样本输入到该目标模型中，得到第二输出结果；以最小化所述第一输出结果与所述第二输出结果之间的偏差，以及最小化所述第一输出结果与所述训练样本对应的标签之间的偏差为优化目标，对所述初始模型以及该候选模型进行训练。5.如权利要求1所述的方法，其特征在于，从所述至少一个候选模型中筛选出目标模型，具体包括：针对每个候选模型，确定该候选模型中包含的模型参数的参数量与所述初始模型中包含的模型参数的参数量之间的参数比，作为该候选模型对应的参数比；根据该候选模型对应的参数比，确定该候选模型的优先级；根据每个候选模型对应的优先级，从所述至少一个候选模型中筛选出所述目标模型。6.如权利要求1或5所述的方法，其特征在于，从所述至少一个候...
【专利技术属性】
技术研发人员：杨扬，张辰，刘家豪，曾邵雯，林春喜，钱晓俊，王金刚，武威，于利前，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。