基因测序数据压缩方法、系统及计算机可读介质技术方案

本发明专利技术公开了一种基因测序数据压缩方法、系统及计算机可读介质，压缩方法包括遍历获取读长为Lr的读序列，针对每一条读序列生成短串K‑mer，选择原始基因字符串CS0并确定正负链类型d，通过预测数据模型P1获取每个短串K‑mer的预测字符c得到预测字符集PS，将读序列R的Lr‑k位、预测字符集PS编码后通过可逆函数进行可逆运算；将读序列R的正负链类型d、CS0及可逆运算结果压缩输出。本发明专利技术具有压缩率低，压缩时间短，压缩性能稳定的优点，不需要对基因数据进行精准比对，有较高的计算效率，预测数据模型P1的预测准确度越高，则可逆运算结果中的重复字符串就越多，压缩的压缩率就越低。

Compression Method, System and Computer Readable Media for Gene Sequencing Data

【技术实现步骤摘要】
基因测序数据压缩方法、系统及计算机可读介质
本专利技术涉及基因测序和数据压缩技术，具体涉及一种基因测序数据压缩方法、系统及计算机可读介质。
技术介绍
近年来，随着下一代测序技术（NextGenerationSequence,NGS）的持续进步，基因测序的速度更快，成本更低，基因测序技术得以在更加广泛的生物、医疗、健康、刑侦、农业等等许多领域被推广应用，从而导致基因测序产生的原始数据量以每年3到5倍、甚至更快的速度爆炸式增长。而且，每个基因测序样本数据又很大，例如一个人的55x全基因组测序数据大约是400GB。因此，海量的基因测试数据的存储、管理、检索和传输面临技术和成本的挑战。数据压缩（datacompression）就是缓解这个挑战的技术之一。数据压缩，是为了减少存储空间而把数据转换成比原始格式更紧凑形式的过程。原始的输入数据包含我们需要压缩或减小尺寸的符号序列。这些符号被压缩器编码，输出结果是编码过的数据。通常在之后的某个时间，编码后的数据会被输入到一个解压缩器，在这里数据被解码、重建，并以符号序列的形式输出原始数据。如果输出数据和输入数据始终完全相同，那么这个压缩方案被称为无损的（lossless），也称无损编码器。否则，它就是一个有损的（lossy）压缩方案。目前，世界各国研究人员已经开发出多种用于基因测序数据的压缩方法。基于基因测序数据的用途，其压缩后必须随时可以重建、恢复成原始数据，因此，有实际意义的基因测序数据压缩方法都是无损压缩。如果按总的技术路线分类，可以将基因测序数据压缩方法分成三大类：通用（generalpurpose）压缩算法、有参考基因组（reference-based）的压缩算法和无参考基因组（reference-free）的压缩算法。通用压缩算法，就是不考虑基因测序数据的特点，采用通用的压缩方法进行数据压缩。无参考基因组压缩算法，就是不使用参考基因组，只是利用基因测序数据自身的特点，采用某种压缩方法对目标样本数据直接进行数据压缩。已有的无参考基因组压缩算法常用的压缩方法有霍夫曼编码、以LZ77和LZ78为代表的字典方法、算术编码等基础的压缩算法及其变种和优化。有参考基因组压缩算法，就是选取某个基因组数据作为参考基因组，利用基因测序数据自身的特点，以及目标样本数据和参考基因组数据之间的相似性，间接进行数据压缩。已有的有参考基因组压缩算法常用的相似性表示、编码和压缩方法主要还是霍夫曼编码、以LZ77和LZ78为代表的字典方法、算术编码等基础的压缩算法及其变种和优化。衡量压缩算法性能或效率的2个最常用的技术指标是：压缩率（compressionratio）或压缩比；压缩/解压时间或压缩/解压速度。压缩率=（压缩后数据大小/压缩前数据大小）*100%，压缩比=（压缩前数据大小/压缩后数据大小），即压缩率和压缩比互为倒数。压缩率和压缩比只和压缩算法本身有关，多种算法间可以直接进行比较，压缩率越小或压缩比越大，表明算法性能或效率越好；压缩/解压时间，即从读取原始数据到解压完成所需的机器运行时间；压缩/解压速度，即平均每单位时间可以处理压缩的数据量。压缩/解压时间和压缩/解压速度，既和压缩算法本身有关，也和使用的机器环境（包括硬件和系统软件）有关，因此，多种算法必须基于相同的机器环境运行，压缩/解压时间或压缩/解压速度的比较才有意义，在此前提下，压缩/解压时间越短，压缩/解压速度越快，表明算法性能或效率越好。另外，还有一个参考技术指标是运行时的资源消耗，主要是机器存储的峰值。在压缩率和压缩/解压时间相当的情况下，对存储的要求越少，表明算法性能或效率越好。根据研究人员对已有的基因测序数据压缩方法的比较研究结果，无论是通用压缩算法、无参考基因组的压缩算法，还是有参考基因组压缩算法，都存在的问题有：1、压缩率还有进一步下降的空间；2、在获得相对较好的压缩率时，算法的压缩/解压时间相对较长，时间成本成为新的问题。此外，与通用压缩算法和无参考基因组压缩算法相比，有参考基因组压缩算法通常能获得更好的压缩率。但是，对于有参考基因组的压缩算法，参考基因组的选择会导致算法性能的稳定性问题，即处理相同的目标样本数据，当选择不同的参考基因组时，压缩算法性能可能存在明显差异；而使用相同的参考基因组选择策略，当处理同种的、不同的基因测序样本数据时，压缩算法的性能同样可能存在明显差异。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基因测序数据压缩方法、系统及计算机可读介质，本专利技术的基因测序数据压缩方法是一种无损的、有参考基因组的基因测序数据压缩方法，具有压缩率低，压缩时间短，压缩性能稳定的优点，不需要对基因数据进行精准比对，有较高的计算效率，预测数据模型P1的预测准确度越高，则可逆运算结果中的重复字符串就越多，从而压缩的压缩率就越低。为了解决上述技术问题，本专利技术采用的技术方案为：一方面，本专利技术提供一种基因测序数据压缩方法，实施步骤包括：1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、k位原始基因字母以及可逆运算结果作为三条数据流压缩输出。优选地，步骤2）的实施步骤包括：2.1）从基因测序数据样本data中遍历获取一条读长为Lr的读序列R，针对读序列R选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长子字符串作为短串K-mer得到读序列短串集合KR；2.2）按照顺序生成定长子字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；2.3）将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；2.4）将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出；2.5）判断基因测序数据样本data中的读序列R是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤2.1）；否则结束并退出。优选地，步骤2.2）的详细步骤包括：2.2.1）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造正链预测序列KP1，正链预测序列KP1中对于读序列短串集合KR中任意短串K-mer均存在一个本文档来自技高网...

【技术保护点】
1.一种基因测序数据压缩方法，其特征在于实施步骤包括：1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K‑mer，根据短串K‑mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K‑mer对应相邻位的预测字符c得到长度为Lr‑k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K‑mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr‑k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出。

【技术特征摘要】
1.一种基因测序数据压缩方法，其特征在于实施步骤包括：1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出。2.根据权利要求1所述的基因测序数据压缩方法，其特征在于，步骤2）的实施步骤包括：2.1）从基因测序数据样本data中遍历获取一条读长为Lr的读序列R，针对读序列R选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长子字符串作为短串K-mer得到读序列短串集合KR；2.2）按照顺序生成定长子字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；2.3）将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；2.4）将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出；2.5）判断基因测序数据样本data中的读序列R是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤2.1）；否则结束并退出。3.根据权利要求2所述的基因测序数据压缩方法，其特征在于，步骤2.2）的详细步骤包括：2.2.1）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造正链预测序列KP1，正链预测序列KP1中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,0)，其中k-mer为短串K-mer，0表示假设该短串K-mer来自正链；2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其对应的预测字符c，得到所有预测字符c构成的正链预测字符序列PS1；所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其相邻位对应的预测字符c；2.2.3）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造负链预测序列KP2，负链预测序列KP2中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,1)，其中k-mer为短串K-mer，1表示假设该短串K-mer来自负链；2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c，得到所有预测字符c构成的负链预测字符序列PS2；2.2.5）计算正链预测字符序列PS1、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L1，计算负链预测字符序列PS2、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L2；2.2.6）判断编辑距离为L1小于L2是否成立，如果成立则判定读序列R的正负链类别d为正链、将正链预测字符序列PS1作为Lr-k位的预测字符集PS；否则，判定读序列R的正负链类别d为负链、将负链预测字符序列PS2作为Lr-k位的预测字符集PS。4.根据权利要求3所述的基因测序数据压缩方法，其特征在...

【专利技术属性】
技术研发人员：李根，宋卓，刘蓬侠，王振国，冯博伦，
申请(专利权)人：人和未来生物科技长沙有限公司，
类型：发明
国别省市：湖南,43