基于硬件环境的数据量化方法、装置及可读存储介质制造方法及图纸

本申请公开了一种基于硬件环境的数据量化方法、装置及计算机可读存储介质。其中，方法包括解析当前深度学习框架下的模型文件得到与硬件环境无关的中间计算图数据和权重数据，并对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；分别按照预先设置的线性量化方法对权重数据和每层特征图数据进行均匀量化，计算得到权重量化因子和特征图量化因子，将权重量化因子和特征图量化因子进行合并，得到使硬件使用移位代替除法的量化参数；最后按照硬件需求将量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据，从而解决了相关技术中为了支持多种深度学习框架导致量化软件包冗余、依赖库冲突的问题。

Data quantization method, device and readable storage medium based on hardware environment

【技术实现步骤摘要】
基于硬件环境的数据量化方法、装置及可读存储介质
本申请涉及人工智能
，特别是涉及一种基于硬件环境的数据量化方法、装置及计算机可读存储介质。
技术介绍
随着人工智能在各个领域的发展，如农业、金融、安防、健康医疗、制造等，用户对基于人工智能技术的产品的计算速度、精度和功耗有更高的需求。各大硬件产商研发专门针对人工智能算法计算的加速卡及相应配套的量化方案，来加速人工智能算法在日常使用的普及。AI(ArtificialIntelligence，人工智能)加速卡的大规模和并行特点，导致AI加速卡的开发也极具挑战，同时还需要满足量化方案能够使用低精度运算实现类似高精度运算的算法精度。为了满足高精度数据映射到低精度、减少硬件资源开销，需提前对高精度数据进行量化以生成低精度的权重数据和量化参数文件，软件端的量化工具包的开发即满足上述需求。但是，随着目前深度学习框架种类增多，为AI加速卡适应各种框架下的模型增加了困难，普通的量化工具包为兼容各种框架，需提前安装多种深度学习框架软件，很容易造成主机端软件的冗余和各种依赖库的冲突。鉴于此，如何解决为了支持多种深度学习框架导致软件包冗余、依赖库冲突的问题，是本领域技术人员需要解决的技术问题。
技术实现思路
本申请提供了一种基于硬件环境的数据量化方法、装置及计算机可读存储介质，解决了相关技术中为了支持多种深度学习框架导致软件包冗余、依赖库冲突的问题。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种基于硬件环境的数据量化方法，包括：根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。可选的，所述按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件之前，还包括：对所述量化参数和量化后的权重数据进行重排序，以使所述量化参数和量化后的权重数据的数据格式为64通道并行格式。可选的，所述解析得到当前深度学习框架的中间计算图数据和权重数据包括：利用NNVM编译器中的NNVM组件解析所述模型文件得到所述中间计算图数据；利用所述NNVM编译器中的TVM组件执行中间计算图的操作运算符并计算得到张量形式的权重数据。可选的，所述将所述权重量化因子和所述特征图量化因子进行合并为：根据量化因子合并计算关系式将所述权重量化因子和所述特征图量化因子进行合并，所述量化因子合并计算关系式为：式中，yw为所述权重量化因子，yf为所述特征图量化因子，n为所述量化参数。可选的，所述分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子包括：计算每层特征图数据的平均值，以作为每层特征图平均数据；统计所述权重数据和每层特征图平均数据的数据分布，并计算相应的限定值；将所述权重数据和每层特征图平均数据限定在相应限定范围内，所述限定范围根据相应限定值确定；将限定后的数据平均量化至int8数据精度的-127～+127之间，计算得到权重量化因子和特征图量化因子。可选的，所述计算相应的限定值包括：所述权重数据的权重限定值根据权重限定值计算关系式计算得到，所述权重限定值计算关系式为xw＝max(|w|)，xw为所述权重限定值，w为所述权重数据；相应的，所述权重数据的限定范围为(-xw,+xw)；所述每层特征图平均数据的特征图限定值根据特征图限定值计算关系式计算得到，所述特征图限定值计算关系式为xf＝max(|F|)，xf为所述特征图限定值，F为每层特征图平均数据；相应的，每层特征图平均数据的限定范围为(-xf,+xf)。本专利技术实施例另一方面提供了一种基于硬件环境的数据量化装置，包括：框架数据解析模块，用于根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；特征图数据计算模块，用于基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；线性量化模块，用于分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；量化参数计算模块，用于将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；硬件可识别数据输出模块，用于按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。可选的，还包括重排序模块，所述重排序模块用于对所述量化参数和量化后的权重数据进行重排序，以使所述量化参数和量化后的权重数据的数据格式为64通道并行格式。本专利技术实施例还提供了一种基于硬件环境的数据量化装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述基于硬件环境的数据量化方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于硬件环境的数据量化程序，所述基于硬件环境的数据量化程序被处理器执行时实现如前任一项所述基于硬件环境的数据量化方法的步骤。本申请提供的技术方案的优点在于，将深度学习框架下的模型文件转化为与硬件无关的中间计算图数据和权重数据，从而可支持各种深度学习框架在不同的计算机平台上运行；采用线性量化策略，对每层特征图数据和权重数据进行均匀量化，保持最少的量化参数，同时合并量化参数利于硬件推理，数据都写入硬件能够识别的bin文件，从而解决了相关技术由于支持多种深度学习框架带来的软件冗余、依赖库冲突问题，可有效减少为支持多种深度学习框架而开发的各种接口，精简了主机端软件的工作量和开发难度；还可减少硬件计算资源，加速AI加速卡推理速度，降低能耗。此外，本专利技术实施例还针对基于硬件环境的数据量化方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明为了更清楚的说明本专利技术实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种基于硬本文档来自技高网...

【技术保护点】
1.一种基于硬件环境的数据量化方法，其特征在于，包括：/n根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；/n基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；/n分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；/n将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；/n按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。/n

【技术特征摘要】
1.一种基于硬件环境的数据量化方法，其特征在于，包括：
根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；
基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；
分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；
将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；
按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。


2.根据权利要求1所述的基于硬件环境的数据量化方法，其特征在于，所述按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件之前，还包括：
对所述量化参数和量化后的权重数据进行重排序，以使所述量化参数和量化后的权重数据的数据格式为64通道并行格式。


3.根据权利要求2所述的基于硬件环境的数据量化方法，其特征在于，所述解析得到当前深度学习框架的中间计算图数据和权重数据包括：
利用NNVM编译器中的NNVM组件解析所述模型文件得到所述中间计算图数据；
利用所述NNVM编译器中的TVM组件执行中间计算图的操作运算符并计算得到张量形式的权重数据。


4.根据权利要求3所述的基于硬件环境的数据量化方法，其特征在于，所述将所述权重量化因子和所述特征图量化因子进行合并为：
根据量化因子合并计算关系式将所述权重量化因子和所述特征图量化因子进行合并，所述量化因子合并计算关系式为：



式中，yw为所述权重量化因子，yf为所述特征图量化因子，n为所述量化参数。


5.根据权利要求1至4任意一项所述的基于硬件环境的数据量化方法，其特征在于，所述分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子包括：
计算每层特征图数据的平均值，以作为每层特征图平均数据；
统计所述权重数据和每层特征图平均数据的数据分布，并计算相应的限定值；
将所述权重数据和每层特征图平均数据限定在相应限定范围内，所述限定范围根据相应限定值确定；
将限定后的...

【专利技术属性】
技术研发人员：曹其春，赵雅倩，董刚，梁玲燕，尹文枫，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32