一种对数据集的多路压缩方法、装置及存储介质制造方法及图纸

本申请公开了一种对数据集的多路压缩方法、装置及存储介质，该方法包括：预先配置数据集的特征信息和多路压缩策略的对应关系；提取待压缩数据集的特征信息；根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略；根据待压缩数据集的特征信息对应的多路压缩策略，对待压缩数据集进行多路压缩。本发明专利技术能够自适应地根据数据集的具体特征选择合适的多路压缩策略对数据集进行压缩，达到提高数据压缩率的目的。

A multi-channel compression method, device and storage medium for data set

【技术实现步骤摘要】
一种对数据集的多路压缩方法、装置及存储介质
本申请涉及海量数据存储
，尤其涉及一种对数据集的多路压缩方法、装置及存储介质。
技术介绍
冷冻电镜是用于扫描电镜的超低温冷冻制样及传输技术(Cryo-SEM)，可实现直接观察液体、半液体及对电子束敏感的样品，如生物、高分子材料等。随着硬件技术的进步，应用冷冻电镜技术解析生物大分子的结构正在成为一个崭新的结构生物学研究方向。为了重构出高精度的分子结构，冷冻电镜需要拍摄大量二维的高分辨率图像，由于冷冻电镜在拍摄过程中很难避免诸如欠焦等问题，从而会导致丢失一些图像信息，为了避免有效信息的丢系，冷冻电镜通常会在不同的欠焦水平和不同的角度下拍摄大量高分辨率的二维图像加以合成，以弥补单一图像丢失的信息，最终利用所拍摄的大量的高分辨率的二维图像，通过相关的三维重构软件如Relion等重构出高分辨率的分子结构。在重构三维分子结构的过程中，由于冷冻电镜需要从不同的角度拍摄大量的高分辨率的二维图像，细微的角度变化均需要拍摄大量的二维图像，这使得图像之间的数据相似度(可达到60％以上)非常高，存在很高本文档来自技高网...

【技术保护点】
1.一种对数据集的多路压缩方法，其特征在于，该方法包括：/n预先配置数据集的特征信息和多路压缩策略的对应关系；/n提取待压缩数据集的特征信息；/n根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略；/n根据待压缩数据集的特征信息对应的多路压缩策略，对待压缩数据集进行多路压缩。/n

【技术特征摘要】
1.一种对数据集的多路压缩方法，其特征在于，该方法包括：
预先配置数据集的特征信息和多路压缩策略的对应关系；
提取待压缩数据集的特征信息；
根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略；
根据待压缩数据集的特征信息对应的多路压缩策略，对待压缩数据集进行多路压缩。


2.根据权利要求1所述的方法，其特征在于，
所述数据集特征信息包括数据集的数据类型和最大波动幅度；
每一数据集中的各数据属于同一基本数据类型；
提取待压缩数据集的特征信息的方法为：
将待压缩数据集中的数据所属数据类型确定为待压缩数据集的数据类型；
将待压缩数据集的最大数据取值与最小数据取值之差确定为待压缩数据集的最大波动幅度。


3.根据权利要求2所述的方法，其特征在于，
所述多路压缩策略包括比特位范围和每一比特位范围对应的压缩算法；各比特位范围的并集中的比特位数与特征信息对应于所述多路压缩策略的数据集的数据类型占用的比特位数相同；
根据待压缩数据集的特征信息对应的多路压缩策略，对待压缩数据集进行多路压缩，包括：
针对所述多路压缩策略中的每一比特位范围，将待压缩数据集中每一数据中对应于该比特位范围的比特位数据提取出来，将提取出的各比特位数据拼接起来形成一比特流，将该比特流按照该比特位范围对应的压缩算法进行压缩。


4.根据权利要求3所述的方法，其特征在于，
所述数据集为冷冻电镜数据的数据集；
所述数据集的数据类型为单精度浮点型，且所述数据集的最大波动幅度位于取值区间[2，64]内；
所述多路压缩策略中包括第一比特位范围和第二比特位范围；其中，第一比特位范围为单精度浮点型的第25至32位，对应的压缩算法为zlib算法；第二比特位范围为单精度浮点型的第1至24位，对应的压缩算法为lz4算法。


5.根据权利要求3所述的方法，其特征在于，
所述数据集为冷冻电镜数据的数据集；
所述数据集的数据类型为单精度浮点型，且所述数据集的最大波动幅度位于取值区间[0，2]内；
所述多路压缩策略中包括第三比特位范围、第四比特位范围、第五比特位范围、第六比特位范围；其中，第三比特位范围、第四比特位范围、第五比特位范围、第六比特位范围分别是单精度浮点型的第25至32位、第17至24位...

【专利技术属性】
技术研发人员：杨涛，阮华斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11