本申请提供了一种模型量化方法、装置及存储介质，涉及计算机技术领域。该方法包括：从预设的阈值范围中确定搜索中心；根据搜索中心确定搜索范围；根据搜索范围内的各个阈值对应的第二KL散度值，从搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；根据目标阈值进行模型量化。本申请实施例的方法中，先对搜索范围通过锚定法进行粗搜索，确定最优锚点，再对最优锚点的邻域范围进行精确搜索，得到领域最优点，以领域最优点作为全局最优点使用，可以大大降低计算耗时，提升模型量化速度。升模型量化速度。升模型量化速度。
【技术实现步骤摘要】
模型量化方法、装置及存储介质
[0001]本申请涉及计算机
，具体而言，本申请涉及一种模型量化方法、装置及计算机可读存储介质。
技术介绍
[0002]在模型量化过程中，一般不选用最大值映射数据，而是通过计算得出合适的映射最大值。要获得合适的映射最大值，可以通过计算原始数据与映射数据的分布相似性来判断映射最大值的取值是否合理，其中，数据的分布相似度就是Kullback
‑
Leibler散度值(简称KL散度值)，KL散度值越小说明两个分布越相似。
[0003]现有技术中，在计算KL时通常会遍历从128到2048个阈值，这样计算耗时较多，严重影响模型量化速度。
技术实现思路
[0004]本申请实施例提供了一种模型量化方法、装置及计算机可读存储介质，旨在解决现有技术中的至少一个技术问题。
[0005]根据本申请实施例的一个方面，提供了一种模型量化方法，该方法包括：
[0006]从预设的阈值范围中确定搜索中心；
[0007]根据所述搜索中心确定搜索范围；
[0008]根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；
[0009]根据所述目标阈值进行模型量化。
[0010]在一个可能的实现方式中，所述从预设的阈值范围中确定搜索中心，包括：
[0011]从预设的所述阈值范围内获取多个锚点；
[0012]根据各个所述锚点对应的第一KL散度值，从多个所述锚点中确定搜索中心。
[0013]在另一个可能的实现方式中，所述从预设的所述阈值范围内获取多个锚点，包括：
[0014]按照预设步长，从预设的所述阈值范围内获取多个锚点。
[0015]在另一个可能的实现方式中，所述根据多个所述锚点的KL散度值，从多个所述锚点中确定搜索中心，包括：
[0016]计算各个锚点对应的第一KL散度值；
[0017]将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。
[0018]在又一个可能的实现方式中，根据所述搜索中心确定搜索范围，包括：
[0019]将与所述搜索中心相邻的锚点之间的阈值，确定为所述搜索范围。
[0020]在又一个可能的实现方式中，所述根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值，包括：
[0021]针对所述搜索范围内的阈值，逐个计算对应的第二KL散度值；
[0022]将多个第二KL散度值中的最小值对应的阈值，确定为所述目标阈值，以作为模型量化后的映射范围的最大值。
[0023]根据本申请实施例的另一个方面，提供了一种模型量化装置，该装置包括：
[0024]确定模块，用于从预设的阈值范围中确定搜索中心；还用于根据所述搜索中心确定搜索范围；还用于根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；
[0025]量化模块，用于根据所述目标阈值进行模型量化。
[0026]在一个可能的实现方式中，所述确定模块在从预设的阈值范围中确定搜索中心时，具体用于：
[0027]从预设的所述阈值范围内获取多个锚点；
[0028]根据各个所述锚点对应的第一KL散度值，从多个所述锚点中确定搜索中心。
[0029]所述确定模块在从预设的所述阈值范围内获取多个锚点时，具体用于：按照预设步长，从预设的所述阈值范围内获取多个锚点。
[0030]在另一个可能的实现方式中，所述确定模块在根据各个所述锚点对应的第一KL散度值，从多个所述锚点中确定搜索中心时，具体用于：
[0031]计算各个锚点对应的第一KL散度值；
[0032]将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。
[0033]在又一个可能的实现方式中，所述确定模块在根据所述搜索中心确定搜索范围时，具体用于：将与所述搜索中心相邻的锚点之间的阈值，确定为所述搜索范围。
[0034]在又一个可能的实现方式中，所述确定模块在根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值时，具体用于：
[0035]针对所述搜索范围内的阈值，逐个计算对应的第二KL散度值；
[0036]将多个第二KL散度值中的最小值对应的阈值，确定为所述目标阈值，以作为模型量化后的映射范围的最大值。
[0037]根据本申请实施例的另一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面所示的模型量化方法的步骤。
[0038]根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现第一方面所示的模型量化方法的步骤。
[0039]根据本申请实施例的又一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所示的模型量化方法的步骤。
[0040]本申请实施例提供的技术方案带来的有益效果是：
[0041]通过先对搜索范围通过锚定法进行粗搜索，确定最优锚点，再对最优锚点的邻域范围进行精确搜索，得到领域最优点，以领域最优点作为全局最优点使用，可以大大降低计算耗时，提升模型量化速度。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所
需要使用的附图作简单地介绍。
[0043]图1为本申请实施例提供的一种模型量化方法中KL散度值的搜索空间的示意图；
[0044]图2为本申请实施例提供的一种模型量化方法中的锚点的示意图；
[0045]图3为本申请实施例提供的一种模型量化方法中搜索范围的示意图；
[0046]图4为本申请实施例提供的一种模型量化方法的流程示意图；
[0047]图5为本申请实施例提供的一种模型量化方法中确定搜索中心的流程示意图；
[0048]图6为本申请另一实施例提供的一种模型量化方法中确定搜索中心的流程示意图；
[0049]图7为本申请实施例提供的一种模型量化方法中确定目标阈值的流程示意图；
[0050]图8为本申请实施例提供的一种模型量化装置的结构示意图；
[0051]图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0052]下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
[0053]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0054]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型量化方法，其特征在于，包括：从预设的阈值范围中确定搜索中心；根据所述搜索中心确定搜索范围；根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；根据所述目标阈值进行模型量化。2.根据权利要求1所述的方法，其特征在于，所述从预设的阈值范围中确定搜索中心，包括：从预设的所述阈值范围内获取多个锚点；根据各个所述锚点对应的第一KL散度值，从多个所述锚点中确定搜索中心。3.根据权利要求2所述的方法，其特征在于，所述从预设的所述阈值范围内获取多个锚点，包括：按照预设步长，从预设的所述阈值范围内获取多个锚点。4.根据权利要求2所述的方法，其特征在于，所述根据多个所述锚点的KL散度值，从多个所述锚点中确定搜索中心，包括：计算各个锚点对应的第一KL散度值；将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述搜索中心确定搜索范围，包括：将与所述搜索中心相邻的锚点之间的阈值，确定为所述搜索范围。6.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述...
【专利技术属性】
技术研发人员：邓帆，朱思，胡可飞，李锐峰，王继铭，邱亮，
申请(专利权)人：北京奕斯伟计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。