模型的离线量化方法、装置、电子设备以及存储介质制造方法及图纸

本申请公开了模型的离线量化方法、装置、电子设备以及存储介质，涉及人工智能、深度学习、图像处理技术领域。具体实现方案为：获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及按照所述目标离线量化策略，对所述待量化模型进行离线量化，以生成目标量化模型。该方法能够通过搜索自动获取离线量化策略，并按照离线量化策略对模型进行离线量化，且量化后模型精度较高，易于实现。

【技术实现步骤摘要】
模型的离线量化方法、装置、电子设备以及存储介质
本申请涉及计算机
中的人工智能、深度学习、图像处理
，尤其涉及一种模型的离线量化方法、装置、电子设备以及存储介质。
技术介绍
目前量化模型的主要方式包括在线量化和离线量化。然而在线量化较难实现，且成本较高，离线量化大多采用随机选取图片计算相对熵的方式，该方法虽然易于实现，但精度损失较大。
技术实现思路
提供了一种模型的离线量化方法、装置、电子设备以及存储介质。根据第一方面，提供了一种模型的离线量化方法，包括：获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及按照所述目标离线量化策略，对所述待量化模型进行离线量化，以生成目标量化模型。根据第二方面，提供了一种模型的离线量化装置，包括：第一获取模块，用于获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；搜索模块，用于对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及量化模块，用于按照所述目标离线量化策略，对所述待量化模型进行离线量化，以生成目标量化模型。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的模型的离线量化方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的模型的离线量化方法。本申请提供的实施例，至少具有如下有益技术效果:根据本申请的模型的离线量化方法、装置、电子设备以及存储介质，能够通过搜索自动获取离线量化策略，并按照离线量化策略对模型进行离线量化，且量化后模型精度较高，易于实现。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例的模型的离线量化方法的流程示意图；图2是根据本申请第二实施例的模型的离线量化方法中对搜索空间进行量化策略的进化搜索的流程示意图；图3是根据本申请第三实施例的模型的离线量化方法中根据多个编码进行量化策略的进化搜索的流程示意图；图4是根据本申请第四实施例的模型的离线量化方法中基于遗传算法的迭代搜索过程的流程示意图；图5是根据本申请第五实施例的模型的离线量化方法中获取待量化模型的搜索空间的流程示意图；图6是根据本申请第一实施例的模型的离线量化装置的框图；图7是用来实现本申请实施例的模型的离线量化方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本申请第一实施例的模型的离线量化方法的流程示意图。如图1所示，本申请第一实施例的模型的离线量化方法包括：S101，获取待量化模型的搜索空间，其中，搜索空间中包括多个离线量化策略。其中，搜索空间可根据实际情况进行标定，在该搜索空间中包括预先构建的多个离线量化策略。可选的，待量化模型可为图像处理模型，可以基于图像处理模型的量化和训练需求，预先构建一个搜索空间，在搜索空间进行后续离线量化策略的搜索，通过搜索空间来约束离线量化策略的搜索过程，避免过度搜索。S102，对搜索空间进行量化策略的进化搜索，以获取待量化模型的目标离线量化策略。在获取到搜索空间后就可以模拟自然进化过程，以在搜索空间内搜索出最优的离线量化策略。需要说明的是，对搜索空间进行量化策略的进化搜索，指的是每次对搜索空间进行量化策略的搜索时，需要参考之前的搜索结果，使得当前搜索到的量化策略优于之前搜索到的量化策略。S103，按照目标离线量化策略，对待量化模型进行离线量化，以生成目标量化模型。需要说明的是，模型量化指的是将浮点存储转换为整型存储的一种模型压缩方法，可显著缩小模型所需的存储空间和带宽需求，提升模型的运行速度。例如，可对float32模型量化，将其转换为转换为int8模型。综上，根据本申请实施例的模型的离线量化方法，能够通过搜索自动获取离线量化策略，并按照离线量化策略对模型进行离线量化，该方法易于实现，且量化后模型精度较高，进而加快模型的运行速度。模型的精度和运行速度均与模型的复杂度有关，模型越复杂，则模型的精度和运行速度往往越高，然而通过本申请的模型训练方法可显著提升模型的精度和运行速度，进而体积小的模型也可以具有较高的精度和运行速度，便于应用在空间资源受限的硬件中，比如，手机、移动终端等，即该方法可带来较大的硬件收益。通过本申请的模型训练方法获取的图像处理模型，进行图像识别，由于模型结构简单、且精度高，从而使得在不占用过多资源的情况下，提高了图像识别的准确性和可靠性，而且提高了图像处理的速度，降低了图像处理模型对电子设备的硬件性能要求，降低了电子设备的硬件成本。在上述实施例的基础上，步骤S102中对搜索空间进行量化策略的进化搜索，以获取待量化模型的目标离线量化策略，如图2所示，可包括：S201，获取多个离线量化策略对应的多个编码。可以理解的是，离线量化策略是个抽象的概念，为了便于实现离线量化策略的搜索，可将每个离线量化策略用一个编码来表示，即每个离线量化策略均对应一个编码，且每个编码也可确定唯一的离线量化策略。可选的，编码可为二进制、八进制等形式的编码，这里不做过多限定。S202，根据多个编码进行量化策略的进化搜索，以获取目标离线量化策略。可以理解的是，可通过对编码进行进化搜索，以实现离线量化策略的进化搜索。由此，该方法可通过搜索编码来实现离线量化策略的搜索，易于实现。在上述实施例的基础上，步骤S202中根据多个编码进行量化策略的进化搜索，以获取目标离线量化策略，如图3所示，可包括：S301，利用多个编码构建初始种群。可以理解的是，可基于多个离线量化策略对应的多个编码构建初始种群。可选的，初始种群中可包括上述多个编码对应的多个染色体。S302，从初始种群开始，进入遗传算法的迭代搜索过程，以获取目标离线量化策略。可以理解的是，遗传算法的迭代搜索过程可包括根据初始种群中的多个染色体交叉产生第一子代，根据第一子代中的多个染色体交叉产生第二子代，以此类推，然后基于生成的子代获取相应的离本文档来自技高网...

【技术保护点】
1.一种模型的离线量化方法，包括：/n获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；/n对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及/n按照所述目标离线量化策略，对所述待量化模型进行离线量化，以生成目标量化模型。/n

【技术特征摘要】
1.一种模型的离线量化方法，包括：
获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；
对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及
按照所述目标离线量化策略，对所述待量化模型进行离线量化，以生成目标量化模型。


2.根据权利要求1所述的模型的离线量化方法，其中，所述对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略，包括：
获取所述多个离线量化策略对应的多个编码；
根据所述多个编码进行量化策略的进化搜索，以获取所述目标离线量化策略。


3.根据权利要求2所述的模型的离线量化方法，其中，所述根据所述多个编码进行量化策略的进化搜索，以获取所述目标离线量化策略，包括：
利用所述多个编码构建初始种群；以及
从所述初始种群开始，进入遗传算法的迭代搜索过程，以获取所述目标离线量化策略。


4.根据权利要求3所述的模型的离线量化方法，其中，所述从所述初始种群开始，进入遗传算法的迭代搜索过程，以获取所述目标离线量化策略，包括：
针对每次迭代出的种群，对所述种群中的染色体进行解码，获取所述染色体对应的候选离线量化策略，其中，每个所述染色体对应一个编码；
根据所述候选离线量化策略，对所述待量化模型进行量化，以得到候选量化模型；
对所述候选量化模型进行评估，以获取所述候选离线量化策略的适应度；以及
若所述适应度达到设定的搜索目标，则将所述候选离线量化策略作为所述目标离线量化策略。


5.根据权利要求4所述的模型的离线量化方法，其中，所述对所述候选量化模型进行评估，以获取所述候选离线量化策略的适应度，包括：
利用验证集对所述候选量化模型进行验证，以获取所述候选量化模型的评估精度，作为所述适应度；或者，
获取所述待量化模型和所述候选量化模型的相对熵，作为所述适应度；或者，
对所述验证集的评估精度和所述相对熵进行加权，作为所述适应度。


6.根据权利要求4所述的模型的离线量化方法，其中，还包括：
若累计迭代次数达到预设次数，且所述候选离线量化策略的适应度未达到所述搜索目标，则选取进化搜索过程中所述适应度最大的候选离线量化策略，作为所述目标离线量化策略。


7.根据权利要求4所述的模型的量化方法，其中，还包括：
若累计迭代次数未达到预设次数，且所述候选离线量化策略的适应度未达到所述搜索目标，则对所述种群进行遗传操作，以生成下一代的种群。


8.根据权利要求1-7任一项所述的模型的量化方法，其中，所述获取待量化模型的搜索空间，包括：
获取待量化模型的量化影响因子；以及
根据所述量化影响因子，生成所述待量化模型的所述搜索空间。


9.一种模型的离线量化装置，包括：
第一获取模块，用于获取待量化模型的搜索空间，其中，所述搜索空间中包括多个离线量化策略；
搜索模块，用于对所述搜索空间进行量化策略的进化搜索，以获取所述待量化模型的目标离线量化策略；以及
量化模块，用于按照所述目标离线量化策略，对所述...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11