【技术实现步骤摘要】
本专利技术涉及深度学习，具体涉及一种适用于ai芯片的量化调优装置及方法。
技术介绍
1、随着ai技术的不断发展，用于加速人工智能计算的专用ai芯片得到广泛应用。ai芯片中嵌入有神经网络模型，同时为适应算力需求，需进行模型压缩，其中，神经网络量化是实现这些需求最有效的方法之一。
2、目前，在神经网络量化加速算法中，大多采用ptq(post-training quantization)和qat(quantization-aware training)量化技术。
3、ptq量化技术是一种在训练后对模型进行量化的方法。它的优点包括需要较少的校准数据和较快的量化速度，可以更快部署模型。ptq通过将已训练好的模型转换为低精度表示，如整数或二进制，来实现模型压缩和加速。
4、qat量化技术通过在训练过程中引入量化操作，使模型对量化误差具有鲁棒性。qat可以通过模拟量化操作或使用硬件支持的量化函数来实现。qat可以有效减少量化带来的精度损失。
5、然而，ptq可能导致不小的模型精度损失，并且在某些情况下可...
【技术保护点】
1.一种适用于AI芯片的量化调优装置，其特征在于，包括：
2.如权利要求1所述的一种适用于AI芯片的量化调优装置，其特征在于，所述调优设定包括搜索设定，子图观察层设定，子图的输入设定和定义了对每个子图的观察层所使用的评价指标以及如何比较相应指标。
3.如权利要求2所述的一种适用于AI芯片的量化调优装置，其特征在于，所述搜索设定包括：
4.如权利要求2所述的一种适用于AI芯片的量化调优装置，其特征在于，所述子图观察层设定用于为子图指定观察层，所述观察层包括：
5.如权利要求1至4中任一项所述的一种适用于AI芯片的量化调优装...
【技术特征摘要】
1.一种适用于ai芯片的量化调优装置，其特征在于，包括：
2.如权利要求1所述的一种适用于ai芯片的量化调优装置，其特征在于，所述调优设定包括搜索设定，子图观察层设定，子图的输入设定和定义了对每个子图的观察层所使用的评价指标以及如何比较相应指标。
3.如权利要求2所述的一种适用于ai芯片的量化调优装置，其特征在于，所述搜索设定包括：
4.如权利要求2所述的一种适用于ai芯片的量化调优装置，其特征在于，所述子图观察层设定用于为子图指定观察层，所述观察层包括：
5.如权利要求1至4中任一项所述的一种适用于ai芯片的量化调优装置，其特征在于，还包括调优器模块，所述调优器模块用于使用组合方式，组合了众多调优器。
6.如权利要求5所述的一种适用于ai芯片的量化调优装置，其特征在于，进行调优处理时，将尝试不同的...
【专利技术属性】
技术研发人员：赵武金，张祥建，宋莉莉，
申请(专利权)人：北京谦合益邦云信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。