【技术实现步骤摘要】
所公开的实施例总体上涉及神经网络参数的量化。更具体地，所公开的实施例涉及使用优化技术来提高神经网络量化准确度。
技术介绍
1、深度神经网络(deep neural network，dnn)已经广泛地用于支持ai的边缘设备，例如自主驾驶芯片、家庭安全系统以及自主机器人等。然而，由于dnn的庞大的模型尺寸以及与边缘计算设备相关联的有限的计算能力，对于能够减小dnn模型尺寸并且降低功耗而不显著损害推理速度的技术的需求日益增加。注意，推理速度和功率效率的改进还可以降低云基础设施成本，并且将使得可以在例如智能电话、物联网设备等的异构设备上以及在各种类型的低功率硬件上运行这些计算任务。
2、实现上述组合目标的一些现有尝试包括使用自底向上方法来构建轻量级模型以及通过使用量化、剪枝和压缩技术的组合来减小模型尺寸。然而，当将上述模型部署到例如基于专用集成电路(application-specific integrated circuit，asic)的设备等的边缘设备时，它们经常经受到降低的模型准确度，因为硬件特定的算术运算和对这些设备的限制可...
【技术保护点】
1.一种用于减少用作神经网络结构的硬件设备的输出处的量化误差的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，其中，所述硬件设备至少包括乘法器或累加器、加法器、以及多个位移位单元。
3.根据权利要求2所述的计算机实现的方法，其中，所述位移位单元包括一组右位移位单元和一组左位移位单元，并且其中，所述目标函数是最小化所述一组右位移位单元的位移位的加权和。
4.根据权利要求3所述的计算机实现的方法，其中，与右位移位单元相关联的权重因数与所述右位移位单元和所述硬件设备的输入级之间的距离负相关。
5.根...
【技术特征摘要】
1.一种用于减少用作神经网络结构的硬件设备的输出处的量化误差的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，其中，所述硬件设备至少包括乘法器或累加器、加法器、以及多个位移位单元。
3.根据权利要求2所述的计算机实现的方法，其中，所述位移位单元包括一组右位移位单元和一组左位移位单元，并且其中，所述目标函数是最小化所述一组右位移位单元的位移位的加权和。
4.根据权利要求3所述的计算机实现的方法，其中，与右位移位单元相关联的权重因数与所述右位移位单元和所述...
【专利技术属性】
技术研发人员：昝鹏，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。