【技术实现步骤摘要】
【专利摘要】一种DNA读序数据FASTQ文件并行压缩和并行解压缩方法，针对DNA读序数据FASTQ文件的压缩与解压缩，利用循环双缓冲队列、循环双内存映射和内存映射并结合数据分块处理、多线程流水并行压缩解压缩处理、读写顺序二维数组等技术，实现FASTQ文件的多个进程以及进程内的多个线程之间的并行压缩和并行解压缩处理。可以基于MPI和OpenMP实现，也可以基于MPI和Pthread实现。本专利技术充分利用各个计算节点以及节点内多核CPU的强大计算能力，能够解决串行压缩解压缩程序所受到的处理器、内存等资源的限制。【专利说明】—种DNA读序数据FASTQ文件并行压缩和解压缩方法
本专利技术涉及生物信息、数据压缩和高性能计算领域，特别涉及一种DNA读序数据FASTQ文件的并行压缩和并行解压缩方法。
技术介绍
生物信息学的主要任务之一是采集和分析大量的基因数据。这些数据对于基因研究来说至关重要，有助于确定防止或导致疾病产生的基因组件，并研究出具有针对性的疗法。高通量的测序方法和设备产生海量的短的读序数据。存储、管理和传输DNA读序数据的常用方法是采用FASTQ文件格...
【技术保护点】
一种DNA读序数据FASTQ文件并行压缩方法，其特征在于包括并行压缩进程任务分割部分和压缩进程处理部分，具体如下：（一）并行压缩进程任务分割部分根据FASTQ文件大小、并行压缩进程数目、FASTQ文件中每个读序片段——每个记录的数据特点，确定每个压缩进程待处理数据的起始和结束位置；每个进程将待压缩的原始数据近似均匀地分配到各个进程上，以实现数据并行，这样每个进程在处理时相互之间没有通信时间的消耗，提升了数据并行的处理效率；每个进程得到单独的压缩文件，压缩数据的顺序与进程号一致；（二）压缩进程处理部分负责进程内多线程流水并行压缩每个压缩进程处理部分包含一个原始数据读取线程、一...
【技术特征摘要】
【专利技术属性】
技术研发人员：郑晶晶，王婷，张常有，詹科，
申请(专利权)人：中国科学院软件研究所，广州中国科学院软件应用技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。