基于流间数据混洗的神经网络量化压缩方法及系统技术方案

本发明专利技术提出一种基于流间数据混洗的神经网络量化压缩方法及系统，包括获取经过量化处理后待压缩的神经网络数据，对该神经网络数据进行分块，得到多个数据块；对每一个该数据块分配一个数据流进行压缩，且数据流随机选择输入缓存或根据预设规则选择输入缓存，得到该数据块的压缩结果；集合各数据块的压缩结果，作为该神经网络数据的压缩结果；本发明专利技术避免了连续从同一个输入缓存读取数据，增加了单个数据流的输入随机性，进一步平衡各数据流的编码速率，从而提高硬件资源的利用效率。从而提高硬件资源的利用效率。从而提高硬件资源的利用效率。

【技术实现步骤摘要】
基于流间数据混洗的神经网络量化压缩方法及系统


[0001]本专利技术涉及神经网络运算领域，并特别涉及一种基于流间数据混洗的神经网络量化压缩方法及系统。

技术介绍

[0002]近年来，人工智能在信息量和硬件算力双重爆发的背景下迅猛发展，已经日趋成为生产力发展和技术创新的主要推动力。作为人工智能技术的主要分支，神经网络算法为了进一步提高模型精度，已经遇到了结构复杂、参数量和计算量巨大的技术瓶颈，限制了神经网络模型在追求吞吐率和能效比场景下的应用，因此计算效率成为了下一阶段的主要研究目标。目前最有效的神经网络压缩方法结合了低精度和稀疏化，能够在一定程度上减少神经网络的参数量，但是无法进一步挖掘剪枝和量化后的神经网络模型中的数据冗余。
[0003]剪枝(Pruning)，如图1所示，也可以称作模型稀疏化，即直接将神经网络当中重要性较低的一部分参数裁剪为0，与这部分参数有关的计算也都被屏蔽，按照裁剪的基本单元可以分为单个参数剪枝和结构化参数剪枝。
[0004]量化(Quantization)，如图2所示，也可以称作模型低比特化，即低精度表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流间数据混洗的神经网络量化压缩方法，其特征在于，包括：步骤1、获取经过量化处理后待压缩的神经网络数据，对该神经网络数据进行分块，得到多个数据块；步骤2、对每一个该数据块分配一个数据流进行压缩，每条数据流的压缩包括：对该数据块进行游程全零编码，得到游程压缩数据，其中该游程全零编码仅对该神经网络数据中的零字符进行游程编码，对该游程压缩数据进行规范化哈夫曼编码，并对编码结果进行重整，得到规范哈夫曼编码，作为该数据块的压缩结果；步骤3、集合各数据块的压缩结果，作为该神经网络数据的压缩结果；其中，该步骤2包括：设置与数据流数量相同的输入缓存，用于缓存该数据块，每条该数据流具有输出缓存，用于缓存该数据块的压缩结果；该数据流随机选择输入缓存或根据预设规则选择输入缓存，并从中获取该数据块。2.如权利要求1所述的基于流间数据混洗的神经网络量化压缩方法，其特征在于，每条该数据流具有独立的输入缓存和输出缓存，输入缓存用于缓存该数据块，输出缓存用于缓存该数据块的压缩结果。3.如权利要求2所述的基于流间数据混洗的神经网络量化压缩方法，其特征在于，步骤2包括：步骤21、监测各数据流已经压缩编码的数据量，判断是否满足P
current
‑
P
min
≥S，若满足，则向当前数据流的输出缓存写入虚字符对应的虚编码，否则再次执行步骤21；其中P
current
为当前数据流的输入队列宽度，P
min
为编码速率最慢的数据流的输入队列宽度，S为数据流的流水线深度。4.如权利要求3所述的基于流间数据混洗的神经网络量化压缩方法，其特征在于，向当前数据流的输出缓存写入虚编码的数据量为P
current
‑
P
min
。5.如权利要求4所述的基于流间数据混洗的神经网络量化压缩方法，其特征在于，该步骤21包括：向当前数据流的输出缓存写入虚字符，得到第三中间数据；判断该第三中间数据中与该虚字符相同的字符是否为当前数据流的输出缓存中的原字符，若是，则将该第三中间数据中与该虚字符相同的字符替换为虚编码，同时在其后增加表示其为原字符的标志位，否则将该第三中间数据中与该虚字符相同的字符替换为虚编码，同时在其后增加表示其为替换字符的标志位。6.一种基于流间数据混...

【专利技术属性】
技术研发人员：何皓源，王秉睿，支天，郭崎，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：