终端模型处理方法、装置及设备制造方法及图纸

本申请提供了终端模型处理方法、装置及电子设备，适用于人工智能领域中的模型小型化技术领域，该方法包括：将待处理的终端模型中的模型层划分为多个原层集合，并对各个原层集合进行多种轻量化处理得到对应的量化层集合。利用预设样本数据，对第二层集合进行权重参数迭代训练，或者对第一层集合和第二层集合进行权重参数迭代训练，直至模型收敛，完成对模型的轻量化训练。再基于轻量化训练得到模型对待处理数据进行处理，得到对应的处理结果。由于选取出的层集合权重参数的数据量小于原本的待处理模型，且模型运行时的计算量也大大减小，从而使得在保障模型性能的同时，模型的体积得以缩减并节约了计算资源。

【技术实现步骤摘要】
终端模型处理方法、装置及设备
本申请属于人工智能
，尤其涉及终端模型处理方法、装置及设备。
技术介绍
随着人工智能(ArtificialIntelligence，AI)技术的不断进步，利用AI提升电子设备智能化的场景也越来越丰富。例如通过在终端设备内置包含如神经网络模型等终端模型(以下简称模型)的AI应用，可以极大地丰富终端设备的功能，使得终端设备变得更为智能化。为了提升模型的性能，往往会训练较多的权重参数来表示模型，这使得模型存储时占用的存储空间和运行时占用的计算资源等都会迅速增长，影响了终端设备的处理性能。特别是对应手机等计算资源较为有限的终端设备而言，甚至可能导致AI应用无法正常使用。
技术实现思路
有鉴于此，本申请实施例提供了终端模型处理方法、装置及设备，可以减小终端模型的内存占用空间以及计算资源，提高终端设备的处理性能。本申请实施例的第一方面提供了一种终端模型处理方法，包括：将待处理的终端模型中的模型层划分为多个原层集合，并对各个原层集合进行多种轻量化处理得到对应的量化层集合。利用预设本文档来自技高网...

【技术保护点】
1.一种终端模型处理方法，其特征在于，包括：/n获取待处理的终端模型；/n对所述待处理的终端模型进行轻量化处理，得到处理后的终端模型；/n获取待处理数据，并通过所述处理后的终端模型对所述待处理数据进行处理，得到对应的处理结果；/n所述对所述待处理的终端模型进行轻量化处理，包括：/n将所述待处理的终端模型的模型层划分为至少一个第一层集合；/n对每个所述第一层集合轻量化处理，得到对应的第二层集合，其中，所述轻量化处理包含以下处理中的至少两种：对层集合中权重参数进行量化处理、减少层集合中权重参数数量以及对层集合中模型层之间的网络结构进行调整；/n利用预设样本数据，对所述第二层集合进行权重参数迭代训练...

【技术特征摘要】
1.一种终端模型处理方法，其特征在于，包括：
获取待处理的终端模型；
对所述待处理的终端模型进行轻量化处理，得到处理后的终端模型；
获取待处理数据，并通过所述处理后的终端模型对所述待处理数据进行处理，得到对应的处理结果；
所述对所述待处理的终端模型进行轻量化处理，包括：
将所述待处理的终端模型的模型层划分为至少一个第一层集合；
对每个所述第一层集合轻量化处理，得到对应的第二层集合，其中，所述轻量化处理包含以下处理中的至少两种：对层集合中权重参数进行量化处理、减少层集合中权重参数数量以及对层集合中模型层之间的网络结构进行调整；
利用预设样本数据，对所述第二层集合进行权重参数迭代训练，或者对所述第一层集合和所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，完成轻量化处理。


2.如权利要求1所述的终端模型处理方法，其特征在于，所述减少层集合中权重参数数量，包括：
减小层集合中包含的卷积核的尺寸，或者减少卷积核的数量。


3.如权利要求1所述的终端模型处理方法，其特征在于，在所述对所述第二层集合进行权重参数迭代训练之前，还包括：
获取每个所述第二层集合对应的预设激活概率，其中，所述预设激活概率与所述第二层集合中权重参数占用的字节数呈负相关；
在所述对所述第二层集合进行权重参数迭代训练的过程中，每次训练的过程，包括：
根据对应的所述预设激活概率，选取所需激活的所述第二层集合，并对选取出的所述第二层集合进行权重参数更新。


4.如权利要求1所述的终端模型处理方法，其特征在于，在所述对所述第一层集合和所述第二层集合进行权重参数迭代训练之前，还包括：
获取每个所述第一层集合和所述第二层集合对应的预设激活概率，其中，所述预设激活概率与所述第一层集合和所述第二层集合中权重参数占用的字节数呈负相关；
在所述对所述第一层集合和所述第二层集合进行权重参数迭代训练的过程中，每次训练的过程，包括：
根据对应的所述预设激活概率，从所述第一层集合和所述第二层集合中选取所需激活的层集合，并对选取出的层集合进行权重参数更新。


5.如权利要求1至4任意一项所述的终端模型处理方法，其特征在于，所述利用预设样本数据，对所述第二层集合进行权重参数迭代训练，或者对所述第一层集合和所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，完成轻量化处理，还包括：
若对所述第二层集合的单次训练完成后，或者对所述第一层集合和所述第二层集合的单次训练完成后，所述待处理的终端模型不满足预设收敛条件，获取该次训练完成后所述待处理的终端模型的至少一个性能指标参数；
利用所述预设样本数据和所述至少一个性能指标参数，对所述第二层集合进行权重参数迭代训练，或者对所述第一层集合和所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，完成轻量化处理。


6.如权利要求1至3任意一项所述的终端模型处理方法，其特征在于，所述利用预设样本数据，对所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，完成轻量化处理，还包括：
若迭代训练后所述待处理的终端模型满足所述预设收敛条件，以各个所述第二层集合为路径节点，对所述待处理的终端模型进行层集合的路径搜索，得到满足预设性能指标要求的层集合路径，并将由所述层集合路径中各个路径节点组成的模型作为所述处理后的终端模型。


7.如权利要求1、2和4中任意一项所述的终端模型处理方法，其特征在于，所述利用预设样本数据，对所述第一层集合和所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，完成轻量化处理，还包括：
若迭代训练后所述待处理的终端模型满足所述预设收敛条件，以各个所述第一层集合和所述第二层集合为路径节点，对所述待处理的终端模型进行层集合的路径搜索，得到满足预设性能指标要求的层集合路径，并将由所述层集合路径中各个路径节点组成的模型作为所述处理后的终端模型。


8.一种终端模型训练方法，其特征在于，包括：
获取待处理的终端模型，并将所述待处理的终端模型的模型层划分为至少一个第一层集合；
对每个所述第一层集合轻量化处理，得到对应的第二层集合，其中，所述轻量化处理包含以下处理中的至少两种：对层集合中权重参数进行量化处理、减少层集合中权重参数数量以及对层集合中模型层之间的网络结构进行调整；
利用预设样本数据，对所述第二层集合进行权重参数迭代训练，或者对所述第一层集合和所述第二层集合进行权重参数迭代训练，直至所述待处理的终端模型满足预设收敛条件，得到训练完成的终端模型。


9.如权利要求8所述的终端模型训练方法，其特征在于，所述减少层集合中权重参数数量，包括：
减小层集合中包含的卷积核的尺寸，或者减少卷积核的数量。


10.如权利要求8所述的终端模型训练方法，其特征在于，在所述对所述第二层集合进行权重参数迭代训练之前，还包括：
获取每个所述第二层集合对应的预设激活概率，其中，所述预设激活概率与所述第二层集合中权重参数占用的字节数呈负相关；
在所述对所述第二层集合进行权重参数迭代训练的过程中，每次训练的过程，包括：
根据对应的所述预设激活概率，选取所需激活的所述第二层集合，并对选取出的所述第二层集合进行权重参数更新。


11.如权利要求8所述的终端模型训练方法，其特征在于，在所述对所述第一层集合和所述第二层集合进行权重参数迭代训练之前，还包括：
获取每个所述第一层集合和所述第二层集合对应的预设激活概率，其中，所述预设激活概率与所述第一层集合和所述第二层集合中权重参数占用的字节...

【专利技术属性】
技术研发人员：隋志成，俞清华，刘默翰，周力，蒋洪睿，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44