数据压缩方法、处理器、数据压缩装置及存储介质制造方法及图纸

本申请涉及一种数据压缩方法、处理器、数据压缩装置及存储介质。所述方法包括：在压缩速度较快的流水线插入空泡，从而缩小多条流水线之间的压缩速度差距。采用本方法能够避免发生死锁。

【技术实现步骤摘要】
数据压缩方法、处理器、数据压缩装置及存储介质
本申请涉及数据处理
，特别是涉及一种数据压缩方法、处理器、数据压缩装置及存储介质。
技术介绍
随着信息技术的不断发展，配置有先入先出双口存储器(FirstInputFirstOutput,FIFO)的芯片以其灵活、方便、高效的特性，逐渐在高效数据采集、高效数据处理、高效数据传输以及多级并行处理系统中得到越来越广泛的应用。神经网络处理器中，由于数据压缩过程中产生的定长输入，变长输出的情况，也就是说，同样长度的输入数据可能产生不同长度的输出数据，那么，由于FIFO输入输出端口的一致性，多条码流并行压缩过程中压缩速度的差异性，可能会导致死锁。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够在输出码长较短的流水线插入预设字符，从而缩小多条流水线之间的压缩速度差距，进而避免发生死锁的数据压缩方法、处理器、数据压缩装置及存储介质。一种数据压缩方法，所述方法包括：获取当前码流的流水线级数以及当前码流已经处理的字符数量；获取多个码流中已经处理的最本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，所述方法包括：/n获取当前码流的流水线级数以及当前码流已经处理的字符数量；/n获取多个码流中已经处理的最小字符数量；/n若所述当前码流已经处理的字符数量与所述多个码流中已经处理的最小字符数量之间的差值大于或等于所述当前码流的流水线级数，判断流水线会发生死锁，则向所述当前码流中插入第一预设字符。/n

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：
获取当前码流的流水线级数以及当前码流已经处理的字符数量；
获取多个码流中已经处理的最小字符数量；
若所述当前码流已经处理的字符数量与所述多个码流中已经处理的最小字符数量之间的差值大于或等于所述当前码流的流水线级数，判断流水线会发生死锁，则向所述当前码流中插入第一预设字符。


2.根据权利要求1所述的方法，其特征在于，所述当前码流每完成一次字符处理后，在累加模块中进行字符数量累加，包括：
获取所述累加模块中的字符数量，得到所述当前码流已经处理的字符数量。


3.根据权利要求2所述的方法，其特征在于，所述当前码流每完成一次字符处理后，在累加模块中进行字符数量累加，包括：
对输入数据进行编码，得到第一中间编码结果；
将所述第一中间编码结果输入下一级流水线，对所述第一中间编码结果进行再次编码，得到第二中间编码结果；
在最后一级流水线完成所述输入数据在所述当前码流中的数据编码，并在所述累加模块中进行一次字符数量累加；
其中，所述编码包括哈夫曼编码以及游程编码中的至少一种。


4.根据权利要求1所述的方法，其特征在于，所述获取多个码流中已经处理的最小字符数量，包括：
所述多个码流中的每一码流每完成一次字符处理后，在所述每一码流对应的累加模块中进行字符数量累加；
获取多个所述每一码流对应的累加模块中的字符数量；
对多个所述每一码流对应的累加模块中的字符数量进行对比，得到所述多个码流中已经处理的最小字符数量。


5.根据权利要求1所述的方法，其特征在于，所述向所述当前码流中插入第一预设字符，包括：
在配置模块中对所述第一预设字符进行编码，得到第一预设字符编码；
当流水线发生死锁时，在所述当前码流的输出模块中插入所述第一预设字符编码。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个码流中输出模块的存储容量，其中，所述多个码流中每一码流的输出模块的存储容量一致；
当所述每一码流的输出模块中的输出数据均占满所述存储容量时，将多个所述输出模块中的数据统一进行输出。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
为与所述第一预设字符数值相同的真实数据设置附加字符位。


8.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
用第二预设字符对所述第一预设字符进行替换；
为与所述第二预设字符数值相同的真实数据设置附加字符位。


9.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
获取编码数据，并对所述编码数据进行解码，得到第一输出数据；
若所述第一输出数据中包括所述第一预设字符或所述第一预设字符编码，则将所述第一预设字符或所述第一预设字符编码删除，得到第二输出数据。


10.一种处理器，其特征在于，所述处理器包括运算单元、与所述运算单元邻近设置的存储单元以及控制器单元，所述控制器单元连接于所述运算单元与所述存储单元之间；
其中，所述运算单元包括数据压缩模块，所述数据压缩模块用于若当前码流已经处理的字符数量与多个码流中已经处理的最小字符数量之间的差值大于或等于当前码流的流水线级数时，判断流水线会发生死锁，则向所述当前码流中插入第一预设字符；
所述存储单元用于存储原始数据以及编码后的数据，并与所述控制器单元以及所述运算单元之间进...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海;31