【技术实现步骤摘要】
基于硬件环境的数据量化方法、装置及可读存储介质
本申请涉及人工智能
，特别是涉及一种基于硬件环境的数据量化方法、装置及计算机可读存储介质。
技术介绍
随着人工智能在各个领域的发展，如农业、金融、安防、健康医疗、制造等，用户对基于人工智能技术的产品的计算速度、精度和功耗有更高的需求。各大硬件产商研发专门针对人工智能算法计算的加速卡及相应配套的量化方案，来加速人工智能算法在日常使用的普及。AI(ArtificialIntelligence，人工智能)加速卡的大规模和并行特点，导致AI加速卡的开发也极具挑战，同时还需要满足量化方案能够使用低精度运算实现类似高精度运算的算法精度。为了满足高精度数据映射到低精度、减少硬件资源开销，需提前对高精度数据进行量化以生成低精度的权重数据和量化参数文件，软件端的量化工具包的开发即满足上述需求。但是，随着目前深度学习框架种类增多，为AI加速卡适应各种框架下的模型增加了困难，普通的量化工具包为兼容各种框架，需提前安装多种深度学习框架软件，很容易造成主机端软件的冗余和各种依赖库的...
【技术保护点】
1.一种基于硬件环境的数据量化方法，其特征在于，包括：/n根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；/n基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；/n分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；/n将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；/n按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。/n
【技术特征摘要】
1.一种基于硬件环境的数据量化方法，其特征在于，包括：
根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；
基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；
分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；
将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；
按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。
2.根据权利要求1所述的基于硬件环境的数据量化方法，其特征在于，所述按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件之前，还包括：
对所述量化参数和量化后的权重数据进行重排序，以使所述量化参数和量化后的权重数据的数据格式为64通道并行格式。
3.根据权利要求2所述的基于硬件环境的数据量化方法，其特征在于，所述解析得到当前深度学习框架的中间计算图数据和权重数据包括：
利用NNVM编译器中的NNVM组件解析所述模型文件得到所述中间计算图数据；
利用所述NNVM编译器中的TVM组件执行中间计算图的操作运算符并计算得到张量形式的权重数据。
4.根据权利要求3所述的基于硬件环境的数据量化方法，其特征在于，所述将所述权重量化因子和所述特征图量化因子进行合并为：
根据量化因子合并计算关系式将所述权重量化因子和所述特征图量化因子进行合并，所述量化因子合并计算关系式为：
式中，yw为所述权重量化因子，yf为所述特征图量化因子，n为所述量化参数。
5.根据权利要求1至4任意一项所述的基于硬件环境的数据量化方法，其特征在于，所述分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子包括：
计算每层特征图数据的平均值，以作为每层特征图平均数据；
统计所述权重数据和每层特征图平均数据的数据分布，并计算相应的限定值；
将所述权重数据和每层特征图平均数据限定在相应限定范围内，所述限定范围根据相应限定值确定；
将限定后的...
【专利技术属性】
技术研发人员：曹其春，赵雅倩，董刚，梁玲燕，尹文枫，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。