一种模型部署的方法及装置制造方法及图纸

本说明书公开了一种模型部署的方法及装置，该模型部署的方法包括：确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。并根据替换后的模型进行模型部署。并根据替换后的模型进行模型部署。

【技术实现步骤摘要】
一种模型部署的方法及装置


[0001]本说明书涉及人工智能领域，尤其涉及一种模型部署的方法及装置。

技术介绍

[0002]随着深度学习技术的发展，神经网络的应用也日益走向成熟。目前神经网络模型已经被广泛应用于工业界和人们日常生活的各个业务场景中。而其中一些领域(如工业领域)通常对神经网络模型的精度与延时有着十分严格的要求，需要部署在终端上的模型能够保持高精度的同时，具有较低的延迟，以充分满足业务需求。为达成这一目标，诸多神经网络压缩及优化技术被深入研究，其中就包括重参数化结构和模型量化两种经典的模型优化方法。
[0003]由于在对模型的网络参数进行量化(即将高精度的网络参数压缩为低精度的网络参数，如将浮点精度的网络参数压缩为整数精度的网络参数)的过程中会产生一定的误差，所以目前通常会采用先对模型训练，再对训练后的模型的多个网络分支进行融合，而后在对融合后的单分支模型进行训练，在这一次训练的过程中会对单分支模型的网络参数进行伪量化处理(即先将高精度的网络参数压缩为带有一定量化误差的低精度的网络参数，再将该带有量化误差的低精度的网络参数还原为高精度的网络参数，但此时的高精度网络参数带有量化误差)，而后再对这一次训练完成后的模型中对应的网络参数进行量化处理。但是这样的优化过程会降低模型的精度，对于一些精度要求较为严格的业务来说无法满足其业务需求。
[0004]因此，如何在保证模型精度的前提下，对模型进行优化，提高模型运行效率，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种模型部署方法及装置，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种模型部署的方法，包括：
[0008]确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；
[0009]根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；
[0010]根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；
[0011]将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。
[0012]可选地，在将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支之前，所述方法还包括：
[0013]将经过伪量化处理后的模型进行训练，得到优化后模型；
[0014]根据替换后的模型进行模型部署，具体包括：
[0015]将所述优化后模型进行模型部署。
[0016]可选地，在根据替换后的模型进行模型部署之前，所述方法还包括：
[0017]对所述指定网络分支对应的网络参数进行量化处理；
[0018]根据替换后的模型进行模型部署，具体包括：
[0019]将经过量化处理后的模型进行部署。
[0020]可选地，将经过伪量化处理后的模型进行训练，得到优化后模型，具体包括：
[0021]获取输入数据；
[0022]将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果；
[0023]以最小化所述输出结果与所述输入数据对应的实际标签之间的偏差为优化目标，对所述经过伪量化处理后的模型进行训练，得到优化后的模型。
[0024]可选地，获取输入数据，具体包括：
[0025]获取初始输入数据；
[0026]对所述初始输入数据进行伪量化处理，得到所述输入数据。
[0027]可选地，将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果，具体包括：
[0028]根据所述输入数据，确定所述输入数据对应的数据分布
[0029]根据所述数据分布，对所述输入数据进行正则化处理，并根据处理后的输入数据，确定所述输入数据对应的输出结果。
[0030]可选地，所述方法还包括：
[0031]确定历史输入数据对应的数据分布，作为历史数据分布；
[0032]根据所述输入数据，对所述历史数据分布进行更新，得到更新后数据分布；
[0033]将所述优化后的模型进行部署，具体包括：
[0034]根据所述更新后数据分布，对所述优化后的模型进行部署。
[0035]本说明书提供了一种模型部署的装置，包括：
[0036]第一确定模块，确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；
[0037]第二确定模块，根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；
[0038]处理模块，根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；
[0039]部署模块，将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。
[0040]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型部署的方法。
[0041]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型部署的方法。
[0042]本说明书采用的上述至少一个技术方案能够达到以下有益效果：
[0043]在本说明书提供的模型部署的方法中，会先根据各目标网络分支对应的初始网络参数，来确定出假设将各目标网络分支等效替换为指定网络分支后指定网络分支对应的网络参数，并根据该指定网络分支对应的网络参数，来更新初始网络参数，并对更新后的初始网络参数进行伪量化处理，进而将经过伪量化处理后的模型中包含的各目标网络分支等效替换为指定网络分支，进而将最终得到的模型进行部署。
[0044]现有技术在将较多目标网络分支等效替代为较少的指定网络分支后，才会对替换后的较少网络分支对应的网络参数进行量化处理，但是对替换后的较少网络分支对应网络参数进行量化处理的过程中会产生较大的误差，而从上述方法可以看出，本说明书中在模型的训练阶段就已经对网络参数进行伪量化处理，并在训练时保持具有较多目标网络分支的模型结构，使得在模型训练过程中就已经消除了一部分伪量化网络参数的误差。因此，相比于现有技术通过较少指定网络分支的模型结构对带有伪量化参数的模型进行训练的方法，本方案进一步提高了模型的精度。
附图说明
[0045]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
[0046]图1为本说明书提供的一种现有的模型优化方法示意图；
[0047]图2为本说明书中提供的一种模型部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型部署的方法，其特征在于，包括：确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。2.如权利要求1所述的方法，其特征在于，在将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支之前，所述方法还包括：将经过伪量化处理后的模型进行训练，得到优化后模型；根据替换后的模型进行模型部署，具体包括：将所述优化后模型进行模型部署。3.如权利要求1或2所述的方法，其特征在于，在根据替换后的模型进行模型部署之前，所述方法还包括：对所述指定网络分支对应的网络参数进行量化处理；根据替换后的模型进行模型部署，具体包括：将经过量化处理后的模型进行部署。4.如权利要求2所述的方法，其特征在于，将经过伪量化处理后的模型进行训练，得到优化后模型，具体包括：获取输入数据；将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果；以最小化所述输出结果与所述输入数据对应的实际标签之间的偏差为优化目标，对所述经过伪量化处理后的模型进行训练，得到优化后的模型。5.如权利要求4所述的方法，其特征在于，获取输入数据，具体包括：获取初始输入数据；对所述初始输入数据进行伪量化处理，得到所述输入数据...

【专利技术属性】
技术研发人员：李亮，张勃，田值，初祥祥，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：