一种模型压缩方法及装置制造方法及图纸

本发明专利技术涉及金融科技领域，并公开了一种模型压缩方法及装置，方法包括：获取父代模型；对父代模型进行变异操作，得到初始子代种群；将初始子代种群作为迭代种群，根据迭代种群的每个变异模型的适应性函数值确定迭代子群；将迭代子群中的每个变异模型进行变异操作，得到迭代后代；将迭代后代和迭代子群作为迭代种群重复进行迭代，直至满足迭代终止条件，适应性函数值是根据变异模型的模型规模、变异模型的模型计算时间以及变异模型的模型性能确定的；根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。通过迭代能够得到综合考虑模型规模、模型计算时间以及模型性能的子代模型，兼顾了计算速度和模型性能。

A Model Compression Method and Device

【技术实现步骤摘要】
一种模型压缩方法及装置
本专利技术涉及金融科技(Fintech)
，尤其涉及一种模型压缩方法及装置。
技术介绍
在深度学习
中，用户可以通过训练模型得到预测效果较好的深度学习网络模型，神经网络模型被广泛的应用到图像、语音、自然语言处理等任务上，并且不断取得进步，逐渐成为研究热点。然而，虽然神经网络模型性能强大，但是由于参数庞大、存储消耗、计算耗时，难以应用到资源受限的平台上。为了解决这个问题，通常可以对结构较为复杂的深度网络模型进行压缩，得到网络结构相对简单、预测性能较好的深度学习网络模型。现有技术中通常采用知识萃取或者结构搜索的技术进行深度网络模型压缩，采用知识萃取进行模型压缩时，通常需要设计一个小的子代模型，用小的子代模型去拟合大的父代模型输出的“知识”。子代模型的设计，所以需要专家知识和人工经验，设计难度较高。而使用结构搜索进行模型压缩时需要利用强化学习来训练循环神经网络，自动搜索性能优良的网络结构，但是这种方法的搜索空间巨大，需要大量的计算资源。综上，目前亟需一种模型压缩方法，用以提高压缩得到的模型(比如子代模型)的预测效果。
技术实现思路
有鉴于此，本专利技术实施例提供一种模型压缩方法及装置，至少解决了现有技术存在的问题。一方面，本专利技术实施例提供一种模型压缩方法，包括:获取父代模型；对所述父代模型进行变异操作，得到初始子代种群，所述初始子代种群中至少包括两个由所述父代模型进行变异操作后得到的变异模型，所述变异操作至少包括压缩操作；将所述初始子代种群作为迭代种群，根据所述迭代种群的每个变异模型的适应性函数值确定迭代子群；将所述迭代子群中的每个变异模型进行变异操作，得到迭代后代；将所述迭代后代和所述迭代子群作为所述迭代种群重复进行迭代，直至满足迭代终止条件，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的；根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。本专利技术实施例中，通过对父代模型的变异操作，得到初始子代种群，并根据初始子代种群进行迭代，通过迭代后代以及根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的适应性函数值来确定目标子代模型，通过本专利技术实施例中的模型压缩方法，在每次迭代过程中，子代模型群组中可以继续迭代的都是对父代模型进行压缩后得到的，并能够得到综合考虑模型规模、模型计算时间以及模型性能的子代模型，即这些子代模型在模型性能上又是最接近父代模型的最优模型，所以在达到模型压缩目标的同时，兼顾了计算速度和模型性能。所述将所述初始子代种群作为遗传父代，根据遗传算法得到遗传子代，并根据所述遗传子代以及所述遗传父代作为新的遗传父代进行遗传操作，包括：根据所述遗传父代中的每个变异模型的适应性函数值确定迭代遗传父代；根据所述迭代遗传父代以及所述遗传算法得到所述遗传子代；根据所述遗传子代以及所述迭代遗传父代作为新的遗传父代进行遗传操作。在本专利技术实施例中，在迭代过程中将适应性函数值高的模型作为下次迭代的父代，有利于提高迭代子代的适应性函数，便于得到性能更好的子代模型。可选的，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的，包括：根据所述变异模型的模型规模、所述变异模型的模型计算时间、所述变异模型的模型性能以及所述模型规模的权重、所述模型计算时间的权重以及所述模型性能的权重确定所述适应性函数值。在本专利技术实施例中，通过对影响适应性函数的因子设置权重能够动态调整适应性函数值，并进一步影响压缩结果。可选的，所述根据所述变异模型的模型规模、所述变异模型的模型计算时间、所述变异模型的模型性能以及所述模型规模的权重、所述模型计算时间的权重以及所述模型性能的权重确定所述适应性函数值，包括：F(N)＝-α*S(N)-β*T(N)+γ*P(N)其中，F(N)为所述适应性函数值，α、β、γ为权重系数，S(N)为模型规模，T(N)为模型计算时间，P(N)为模型性能。本专利技术实施例中，由于希望得到规模小、计算时间好切性能优的子代模型，所以赋予模型规模以及计算时间为负权重，以便得到更好的子代模型。一方面，本专利技术实施例提供一种模型压缩装置，包括：获取单元，用于获取父代模型；迭代单元，用于对所述父代模型进行变异操作，得到初始子代种群，所述初始子代种群中至少包括两个由所述父代模型进行变异操作后得到的变异模型，所述变异操作至少包括压缩操作；将所述初始子代种群作为迭代种群，根据所述迭代种群的每个变异模型的适应性函数值确定迭代子群；将所述迭代子群中的每个变异模型进行变异操作，得到迭代后代；将所述迭代后代和所述迭代子群作为所述迭代种群重复进行迭代，直至满足迭代终止条件，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的；压缩模型确定单元，用于根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。可选的，所述迭代单元具体用于：根据所述遗传父代中的每个变异模型的适应性函数值确定迭代遗传父代；根据所述迭代遗传父代以及所述遗传算法得到所述遗传子代；根据所述遗传子代以及所述迭代遗传父代作为新的遗传父代进行遗传操作。可选的，所述迭代单元具体用于：根据所述变异模型的模型规模、所述变异模型的模型计算时间、所述变异模型的模型性能以及所述模型规模的权重、所述模型计算时间的权重以及所述模型性能的权重确定所述适应性函数值。可选的，所述迭代单元具体用于：F(N)＝-α*S(N)-β*T(N)+γ*P(N)其中，F(N)为所述适应性函数值，α、β、γ为权重系数，S(N)为模型规模，T(N)为模型计算时间，P(N)为模型性能。一方面，本专利技术实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现模型压缩方法的步骤。一方面，本专利技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行模型压缩的步骤。附图说明图1为本专利技术实施例提供的一种模型压缩方法的流程示意图；图2为本专利技术实施例提供的一种模型压缩方法的流程示意图；图3为本专利技术实施例提供的一种模型压缩装置的结构示意图；图4为本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。为了方便理解，下面对本申请实施例中涉及的名词进行解释。父代模型：复杂的深度神经网络结构但模型性能较好的模型，会指导子代模型到达在简化参数之后最好的模型效果。子代模型：轻量级的网络结构，并学习父代模型的性能。目前模型压缩相关的方法可以归纳为4种：剪枝量化、矩阵分解、知识萃取、结构搜索。剪枝量化：剪枝是指通过删除模型中冗余参数，比如把接近0的参数规整到0，增加网络的稀疏性；量化是通过减少模型中每个参数的比特数，例如把32比特浮点数变成8比特整数，从而压缩模型。矩阵分解：模型中大矩阵分解为几个小矩阵相乘本文档来自技高网...

【技术保护点】
1.一种模型压缩方法，其特征在于，所述方法包括：获取父代模型；对所述父代模型进行变异操作，得到初始子代种群，所述初始子代种群中至少包括两个由所述父代模型进行变异操作后得到的变异模型，所述变异操作至少包括压缩操作；将所述初始子代种群作为迭代种群，根据所述迭代种群的每个变异模型的适应性函数值确定迭代子群；将所述迭代子群中的每个变异模型进行变异操作，得到迭代后代；将所述迭代后代和所述迭代子群作为所述迭代种群重复进行迭代，直至满足迭代终止条件，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的；根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。

【技术特征摘要】
1.一种模型压缩方法，其特征在于，所述方法包括：获取父代模型；对所述父代模型进行变异操作，得到初始子代种群，所述初始子代种群中至少包括两个由所述父代模型进行变异操作后得到的变异模型，所述变异操作至少包括压缩操作；将所述初始子代种群作为迭代种群，根据所述迭代种群的每个变异模型的适应性函数值确定迭代子群；将所述迭代子群中的每个变异模型进行变异操作，得到迭代后代；将所述迭代后代和所述迭代子群作为所述迭代种群重复进行迭代，直至满足迭代终止条件，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的；根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。2.根据权利要求1所述的方法，其特征在于，所述将所述初始子代种群作为遗传父代，根据遗传算法得到遗传子代，并根据所述遗传子代以及所述遗传父代作为新的遗传父代进行遗传操作，包括：根据所述遗传父代中的每个变异模型的适应性函数值确定迭代遗传父代；根据所述迭代遗传父代以及所述遗传算法得到所述遗传子代；根据所述遗传子代以及所述迭代遗传父代作为新的遗传父代进行遗传操作。3.根据权利要求1所述的方法，其特征在于，所述适应性函数值是根据所述变异模型的模型规模、所述变异模型的模型计算时间以及所述变异模型的模型性能确定的，包括：根据所述变异模型的模型规模、所述变异模型的模型计算时间、所述变异模型的模型性能以及所述模型规模的权重、所述模型计算时间的权重以及所述模型性能的权重确定所述适应性函数值。4.根据权利要求3所述的方法，其特征在于，所述根据所述变异模型的模型规模、所述变异模型的模型计算时间、所述变异模型的模型性能以及所述模型规模的权重、所述模型计算时间的权重以及所述模型性能的权重确定所述适应性函数值，包括：F(N)＝-α*S(N)-β*T(N)+γ*P(N)其中，F(N)为所述适应性函数值，α、β、γ为权重系数，S(N)为模型规模，T(N)为模型计算时间，P(N)为模型性能。5.一种模型...

【专利技术属性】
技术研发人员：詹金波，徐倩，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44