【技术实现步骤摘要】
一种用于任意位宽网络量化的新型多分支拓扑方法
[0001]本专利技术涉及量化的人工神经网络的训练，尤其是涉及一种用于任意位宽网络量化的新型多分支拓扑方法
。
技术介绍
[0002]通过将深度神经网络
(DNN)
中的全精度权重和激活转换为较低的比特位，量化技术
(Raghuraman Krishnamoorthi.Quantizing deep convolutional networks for efficient inference:Awhitepaper.arXiv preprint arXiv:1806.08342,2018.)
已经成为近年来最主要的模型压缩方法之一，显示出令人印象深刻的压缩
DNN
的能力
。
然而，大多数网络量化方法是以固定位宽设计的
(
如
Ruihao Gong,Xianglong Liu,Shenghu Jiang,Tianxiang Li,Peng Hu,Jiazhen Lin,Fengwei...
【技术保护点】
【技术特征摘要】
1.
一种用于任意位宽网络量化的新型多分支拓扑方法，其特征在于包括以下步骤：
1)
量化策略：将网络复制成多个独立的分支，并将每个分支的权重量化为2比特；相反，激活则保持在输入位宽
。2)
摊销分支选择策略：引入一个摊销分支选择策略，以摊销切换激活位宽导致的量化误差，其中分支组合的选择是分散的
。3)
就地蒸馏策略：通过设计一个就地蒸馏策略，以促进各分支之间的指导，进一步提高量化
。2.
如权利要求1所述一种用于任意位宽网络量化的新型多分支拓扑方法，其特征在于在步骤
1)
中，所述量化策略具体为：通过组合个独立2比特分支的输出实现所需
b
i
位宽的计算，其中分支数量的选择是为了满足原始计算约束；一个具有8比特权重和8比特激活的8比特
QNN
被建模为4个分支，每个分支配备2比特权重和8比特激...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。