基于飞腾处理器平台的多线程并发数据压缩方法技术

本发明专利技术公开了一种基于飞腾处理器平台的多线程并发数据压缩方法，其实施步骤如下：获取压缩参数，初始化压缩队列和写队列，开启写线程；根据压缩参数确定每一份分割压缩数据信息并存入压缩队列；根据确定的压缩线程的数量创建压缩线程，每一个压缩线程根据收到分割压缩数据信息读取对应的分割压缩数据进行压缩元操作，并将所述压缩结果数据放入写队列；写线程不停读取写队列，将压缩结果数据写入结果缓冲区进行拼接，同时释放写队列中已写入结果缓冲区的压缩结果数据，最终在结果缓冲区得到压缩完成的数据结果。本发明专利技术能够充分利用飞腾处理器多核多线的特点，具有数据压缩并发性好、数据压缩速度快、数据压缩效率高、兼容性好的优点。

【技术实现步骤摘要】

本专利技术涉及计算机系统的数据并发压缩
，具体涉及一种。
技术介绍
随着计算机技术和信息科技的发展，数据成为了各行各业尤其重要并且保持飞速增长的资源。数据调查公司IDC报告显示，2011年的全球数据总量已达到1.8ZB(万亿GB)，预计到2020年全球电子设备存储的数据将暴增至40ZB。数据量的不断增大给数据的存储和传输速度带来了巨大挑战，尤其大规模数据的压缩速度问题占用了大量cpu时间。为了满足各种用户的存储与传输需求，数据压缩技术显得尤为重要，大量应用于网络传输中。数据压缩技术将一个文件或信息压缩成自身大小的一半甚至更小的空间，以优化数据存储空间及数据传输效率。传统的数据压缩优化技术大多基于x86体系结构；而飞腾处理器平台的飞腾处理器基于spare体系结构，与x86体系结构无法兼容。飞腾处理器平台下，大多数的应用程序调用的都是zIib压缩库，针对调用zlib压缩库时数据一般都处于单线调用，所以压缩速度慢、效率低的问题，而且同x86体系结构相比，飞腾处理器的单核处理能力较低，而传统的压缩程序都是针对单线程的，这就导飞腾平台上针对大文件压缩速度缓慢；但另一方面，飞本文档来自技高网...

【技术保护点】
一种基于飞腾处理器平台的多线程并发数据压缩方法，其特征在于实施步骤如下：1）获取上层应用调用多线程并发数据压缩时传入的压缩参数，所述压缩参数包括待压缩数据所在的缓冲区起始地址和待压缩数据的长度；初始化用于存储各个压缩线程的分割压缩数据信息的压缩队列、用于存储各个压缩线程的压缩结果数据的写队列，同时开启一个用于将写队列的压缩结果数据进行拼接的写线程；2）根据所述压缩参数中待压缩数据所在的缓冲区起始地址和待压缩数据的长度确定压缩线程的数量、每一个分割压缩数据的缓冲区起始地址和压缩数据大小，将每一个分割压缩数据的缓冲区起始地址和压缩数据大小作为分割压缩数据信息存入压缩队列；3）根据确定的压缩线程的数...

【技术特征摘要】
1.一种基于飞腾处理器平台的多线程并发数据压缩方法，其特征在于实施步骤如下: 1)获取上层应用调用多线程并发数据压缩时传入的压缩参数，所述压缩参数包括待压缩数据所在的缓冲区起始地址和待压缩数据的长度；初始化用于存储各个压缩线程的分割压缩数据信息的压缩队列、用于存储各个压缩线程的压缩结果数据的写队列，同时开启一个用于将写队列的压缩结果数据进行拼接的写线程； 2)根据所述压缩参数中待压缩数据所在的缓冲区起始地址和待压缩数据的长度确定压缩线程的数量、每一个分割压缩数据的缓冲区起始地址和压缩数据大小，将每一个分割压缩数据的缓冲区起始地址和压缩数据大小作为分割压缩数据信息存入压缩队列； 3)根据确定的压缩线程的数量创建压缩线程...

【专利技术属性】
技术研发人员：吴庆波，史佩昌，单晋奎，高珑，夏若冰，魏彦斌，刘云，黄雪娇，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43