Softmax模型的量化方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了Softmax模型的量化方法、装置、设备及介质，包括：将Softmax模型对应的原始输入向量加载至目标芯片中，通过目标芯片确定与原始输入向量匹配的目标输入向量；通过目标芯片中的DMA控制器从地址查询链表中获取多个目标查询地址；通过DMA控制器根据各目标查询地址，分别从指数运算查找表以及求和运算查找表中，获取目标输入向量匹配的指数运算输出结果以及求和运算输出结果；通过目标芯片根据指数运算输出结果以及求和运算输出结果，确定与Softmax模型对应的目标输出结果。本发明专利技术实施例的技术方案可以有效降低目标芯片中Softmax模型的运算量，提升目标芯片对Softmax模型的在线处理性能。模型的在线处理性能。模型的在线处理性能。

【技术实现步骤摘要】
Softmax模型的量化方法、装置、设备及介质


[0001]本专利技术实施例涉及计算机
，尤其涉及Softmax模型的量化方法、装置、设备及介质。

技术介绍

[0002]随着人工智能技术的发展，人工神经网络模型的参数量和运算量急剧增加。其中，Softmax模型作为一种常见的运算模型，在BERT等大型神经网络模型中应用广泛。
[0003]现有的Softmax模型中含有大量的浮点数指数运算，以及累加运算等，导致参数运算量较大，运算过程耗时较久，给用户带来巨大的算力成本和时间成本；其次，现有的Softmax模型量化过程通常依靠软件处理，运算效率较低。
[0004]因此，有待提出一种Softmax模型运算方法的新方案，以提高运算效率。

技术实现思路

[0005]本专利技术提供了Softmax模型的量化方法、装置、设备及介质，可以有效降低目标芯片中Softmax模型的运算量，提升目标芯片对Softmax模型的在线处理性能。
[0006]根据本专利技术的一方面，提供了一种Softmax模型的量化方法，包括：...

【技术保护点】

【技术特征摘要】
1.一种Softmax模型的量化方法，其特征在于，所述方法包括：将与Softmax模型对应的原始输入向量加载至目标芯片中，并通过所述目标芯片确定与所述原始输入向量匹配的目标输入向量；通过目标芯片中的直接存储器访问DMA控制器，从预设的地址查询链表中获取与所述目标输入向量对应的多个目标查询地址；通过所述DMA控制器，根据各所述目标查询地址，分别从指数运算查找表以及求和运算查找表中，获取与所述目标输入向量匹配的指数运算输出结果以及求和运算输出结果；通过所述目标芯片，根据所述指数运算输出结果以及求和运算输出结果，确定与所述Softmax模型对应的目标输出结果。2.根据权利要求1所述的方法，其特征在于，所述目标输入向量、指数运算输出结果以及求和运算输出结果，均基于定点数运算进行确定。3.根据权利要求1所述的方法，其特征在于，所述指数运算查找表用于存储Softmax模型对应的，多个预设输入向量与指数运算结果之间的映射关系；所述求和运算查找表用于存储Softmax模型对应的，多个预设输入向量与求和运算结果之间的映射关系。4.根据权利要求1所述的方法，其特征在于，在将与Softmax模型对应的原始输入向量加载至目标芯片中之前，还包括：将与Softmax模型对应的多个第一输入向量加载至目标芯片中，通过目标芯片，根据所述Softmax模型中的指数运算规则，确定与各第一输入向量匹配的指数运算结果；通过目标芯片，根据各第一输入向量与指数运算结果之间的映射关系，构建指数运算查找表；将与Softmax模型对应的多个第二输入向量加载至目标芯片中，通过目标芯片，根据所述Softmax模型中的求和运算规则，确定与各第二输入向量匹配的求和运算结果；通过目标芯片，根据各第二输入向量与求和运算结果之间的映射关系，构建求和运算查找表。5.根据权利要求4所述的方法，其特征在于，通过目标芯片，根据所述Softmax模型中的指数运算规则，确定与各第一输入向量匹配的指数运算结果，包括：通过目标芯片，根据所述Softmax模型中的指数函数，对预设的多项式函数进行拟合，并根据多项式拟合结果，以及各第一输入向量，确定与各第一输入向量匹配的指数运算结果。6.根据权利要求5所述的方法，其特征在于，所述多项式拟合结果中包括多个函数参数；所述根据多项式拟合结果，以及...

【专利技术属性】
技术研发人员：李迎，张克俭，张亚林，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：