数据压缩、解压方法、可读存储介质和电子设备技术

本发明专利技术实施例公开了一种数据压缩、解压方法、可读存储介质和电子设备，在数据的压缩和解压过程中通过图形处理器(GPU)实现数据的高并行处理，提高了压缩和解压过程的效率。同时根据数据中的数据值出现次数由多至少对数据中包含的数据值进行排序，以减小压缩过程中查询哈希字典时的冲突率，还根据所述图形处理器的不同存储区域的性能对数据存储位置进行选择，提高数据的访问速度和效率。

【技术实现步骤摘要】
数据压缩、解压方法、可读存储介质和电子设备
本专利技术涉及计算机
，尤其涉及一种数据压缩、解压方法、可读存储介质和电子设备。
技术介绍
现有技术的字典压缩算法都是在中央处理器(CPU)上串行执行的，这类算法首先会找出数据中包含的所有数据值并将所述数据存储在内存中,然后数据中包含的数据值数量计算编码长度。其后对每个数据值进行编码，之后将所述数据值作为键(key)，所述编码作为值(value)通过哈希函数映射构建哈希字典。在写数据压缩包之前会存储数据信息，所述数据信息包括数据量，数据中包含的数据值，编码长度等。写数据压缩包的过程会在内存中依次取出数据值，通过哈希字典查找所述数据值对应的编码，并将该编码写入压缩包。解压时，首先从数据信息中获取编码与数据值的对应关系。对于每一个压缩数据通过查找上述对应关系即可得到原始数据。但由于中央处理器(CPU)的内核数量少，提供的线程数量有限，程序无法高并发执行，导致压缩效率较低，尤其在现今数据越来越大的情况下，利用中央处理器(CPU)对数据的压缩效率是非常低下的。同时在写压缩包时，需要对照哈希字典得本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，包括：/n获取第一数据分段的数据信息，所述数据信息包括全部数据值组成的序列、编码长度和每个数据值出现的次数；/n根据每个数据值在所述序列中的位置确定对应的编码；/n根据所述数据值和对应的编码组成的键值对构建哈希字典；/n根据所述哈希字典确定所述第一数据分段中的每个数据值对应的编码，以确定第二数据；/n将压缩信息和所述第二数据写入压缩文件，所述压缩信息包括数据值组成的序列和编码长度。/n

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：
获取第一数据分段的数据信息，所述数据信息包括全部数据值组成的序列、编码长度和每个数据值出现的次数；
根据每个数据值在所述序列中的位置确定对应的编码；
根据所述数据值和对应的编码组成的键值对构建哈希字典；
根据所述哈希字典确定所述第一数据分段中的每个数据值对应的编码，以确定第二数据；
将压缩信息和所述第二数据写入压缩文件，所述压缩信息包括数据值组成的序列和编码长度。


2.如权利要求1所述的方法，其特征在于，所述获取第一数据分段的数据信息包括：
确定所述第一数据分段包含的数据值以及每个数据值出现的次数；
根据每个数据值出现的次数对所述数据值进行排序确定包含全部数据值的序列。


3.如权利要求1所述的方法，其特征在于，所述根据所述数据值和对应的编码组成的键值对构建哈希字典包括：
响应于共享内存区域的剩余空间不小于所述哈希字典占用的空间，将所述哈希字典存储至所述共享内存区域。


4.如权利要求1所述的方法，其特征在于，所述根据所述数据值和对应的编码组成的键值对构建哈希字典还包括：
响应于共享内存区域的剩余空间小于所述哈希字典占用的空间，将所述哈希字典存储至所述全局内存区域。


5.一种数据压缩方法，其特征在于，包括：
获取第一数据的数据信息，所述数据信息包括全部数据值组成的序列、编码长度和每个数据值出现的次数；
根据每个数据值在所述序列中的位置确定对应的编码；
根据所述数据值和对应的编码组成的键值对构建哈希字典；
对所述第一数据进行数据分段以确定多个第一数据分段，所述第一数...

【专利技术属性】
技术研发人员：谢超，刘鹏，易小萌，郭人通，
申请(专利权)人：上海赜睿信息科技有限公司，
类型：发明
国别省市：上海;31