模型优化方法及相关装置制造方法及图纸

本申请实施例公开了一种模型优化方法，本申请实施例方法包括：数据处理设备获取模型信息，并根据该模型信息生成模型节点，模型节点为计算单元，数据处理设备确定模型节点间的连接关系，并根据该连接关系确定可量化结构，针对可量化结构进行量化，可量化的结构包括两个或两个以上的节点，即包括多个算子，提高了优化效率。化效率。化效率。

【技术实现步骤摘要】
模型优化方法及相关装置


[0001]本申请实施例涉及人工智能领域，尤其涉及一种模型优化方法及相关装置。

技术介绍

[0002]近几年来，人工智能实现了爆炸发展，深度学习可以说是其主要的推动力，广泛应用在了计算机视觉，如图像识别，语义分割，目标检测与跟踪，图像检索等领域，各种深度模型从宽度与深度等方面进行了不同程度的扩增，导致了性能的下降，例如对于相机场景自动识别系统(如人像，美食，夜景等场景的识别)，为追求场景的细分和准确性，相机场景自动识别系统的模型不断扩增，可能导致卡顿等现象。
[0003]为解决上述问题，需要对模型进行模型结构的量化，现有技术中，针对模型结构的量化通常为针对单个算子的量化，效率较低。

技术实现思路

[0004]本申请实施例第一方面提供了一种模型优化方法，包括：
[0005]数据处理设备获取模型信息，并根据该模型信息生成模型节点，模型节点为计算单元，根据模型信息生成的模型节点的个数为两个或两个以上，数据处理设备确定模型节点间的连接关系，并根据该连接关系确定可量化结构，其中可量化的结构包括两个或两个以上的模型节点。
[0006]本申请实施例提供了一种模型优化方法，针对可量化结构进行量化，可量化的结构包括两个或两个以上的节点，即包括多个算子，提高了优化效率。
[0007]基于本申请实施例第一方面，本申请实施例第一方面的第一种实施方式中，数据处理设备根据连接关系确定可量化结构的方法包括：数据处理设备根据连接关系确定最短路径节点，最短路径节点为起始节点和终止节点间最短路径所包括的模型节点，其中，始节点和终止节点均属于模型节点，数据处理设备从最短路径节点中选择可量化节点，其中可量化节点包括起始节点、终止节点、最短路径节点中和三个或三个以上模型节点连接的节点，数据处理设备根据可量化节点确定可量化结构。
[0008]本申请实施例中，提供了确定可量化结构的具体方法。
[0009]基于本申请实施例第一方面的第一种实施，本申请实施例第一方面的第二种实施方式中，可量化节点还可以包括：单个节点，单个节点为最短路径节点中除起始节点和终止节点外，仅和两个节点相连，且和单个节点相连的两个节点除了通过单个节点外没有其他连接方式。
[0010]本申请实施例中，可以为可量化节点增设单个节点，预设置的可量化结构除了包含多个节点的结构，例如1-7，也包含单个节点例如8,9,10，当模型按照结构进行划分时，8,9,10为单独链路的节点进行单独分析，提高模型优化的效果。
[0011]基于本申请实施例第一方面至第一方面的第二种实施方式中任一实施方式，本申请实施例第一方面的第三种实施方式中，数据处理设备根据连接关系确定可量化结构后，
数据处理设备确定可量化结构的量化方式。
[0012]基于本申请实施例第一方面的第三种实施，本申请实施例第一方面的第四种实施方式中，可量化方式包括1bit、4bit、或8bit量化方式，和/或1bit、4bit、或8bit中多个混合的量化方式。
[0013]本申请实施例第二方面提供了一种数据处理设备，该数据处理设备执行前述第一方面以及第一方面任一实施方式的方法。
[0014]本申请实施例第三方面提供了一种计算机存储介质，该计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面以及第一方面任一实施方式的方法。
[0015]本申请实施例第四方面提供了一种计算机软件产品，该计算机程序产品在计算机上执行时，使得计算机执行前述第一方面以及第一方面任一实施方式的方法。
附图说明
[0016]图1为本申请实施例中的模型可优化结构示意图；
[0017]图2为本申请实施例中一种模型优化方法流程示意图；
[0018]图3为本申请实施例中模型信息的一个示意图；
[0019]图4为本申请实施例中一个节点网络示意图；
[0020]图5为本申请实施例中另一个节点网络示意图；
[0021]图6为本申请实施例中一个可量化结构示意图；
[0022]图7为本申请实施例中另一个可量化结构示意图；
[0023]图8为本申请实施例中数据处理设备的一个结构示意图；
[0024]图9为本申请实施例中数据处理设备的另一个结构示意图。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
[0026]需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0027]本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
[0028]本申请实施例提供了一种模型优化方法，针对可量化结构进行量化，可量化的结构包括两个或两个以上的节点，即包括多个算子，提高了优化效率。
[0029]随着深度学习的发展，神经网络被广泛应用于各种领域，模型性能的提高同时也引入了巨大的参数量和计算量。模型量化是一种将浮点计算转成低比特定点计算的技术，可以有效的降低模型计算强度、参数大小和内存消耗。
[0030]本申请实施例中，算子为最小的计算单元，如：(2.5+3)、(7/2)等。
[0031]根据模型可优化的结构，模板可以分为4个级别：node，cell，block，network。其中node为模型中进行量化的单元，现有技术中为单个算子，cell由多个node组成，block由多个cell组成，network由多个block组成network，具体可参阅图1。
[0032]为提高优化效率，本申请实施例供了一种模型优化方法，针对可量化结构(即新定义的node)进行量化，可量化的结构包括两个或两个以上的节点。
[0033]具体参阅图2，本申请实施例一种模型优化方法，包括：
[0034]201、数据处理设备获取模型信息；
[0035]本申请实施例中，数据处理设备可以为终端设备，又称之为用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，其特征在于，包括：数据处理设备获取模型信息；所述数据处理设备根据所述模型信息生成模型节点，所述模型节点为计算单元，所述模型节点的个数为两个或两个以上；所述数据处理设备确定所述模型节点间的连接关系；所述数据处理设备根据所述连接关系确定可量化结构，所述可量化的结构包括两个或两个以上的节点。2.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述连接关系确定可量化结构包括：所述数据处理设备根据所述连接关系确定最短路径节点，所述最短路径节点为起始节点和终止节点间最短路径所包括的模型节点，所述起始节点和所述终止节点均属于所述模型节点；所述数据处理设备确定可量化节点，所述可量化节点包括所述起始节点、所述终止节点、所述最短路径节点中和三个或三个以上模型节点连接的节点；所述数据处理设备根据所述可量化节点确定可量化结构。3.根据权利要求2所述的方法，其特征在于，所述可量化节点还可以包括：单个节点，所述单个节点为所述最短路径节点中除所述起始节点和所述终止节点外，仅和两个节点相连，且和所述单个节点相连的两个节点除了通过所述单个节点外没有其他连接方式。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述数据处理设备根据所述连接关系确定可量化结构后，所述方法还包括：所述数据处理设备确定所述可量化结构的量化方式。5.根据权利要求4所述的方法，其特征在于，所述可量化方式包括1bit、4bit、或8bit量化方式，和/或1bit、4bit、或8bit中多个混合的量化方式。6.一种数据处理设备，其特征在于，包括：获取单元，用于获取模型信息；生成单元，根据...

【专利技术属性】
技术研发人员：杨仁志，周力，刘默翰，江继勇，段明非，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：