【技术实现步骤摘要】
本专利技术实施例涉及数据库管理，尤其涉及一种数据自适应存储方法、装置、电子设备及存储介质。
技术介绍
1、随着云计算和数据湖技术的兴起，数据存储和分析正逐步从传统数据库迁往云平台，如amazon s3等blob存储服务。这些服务支持无缝的数据共享与系统互操作。
2、现有的开放存储格式，如apache parquet和apache orc，并未为远程数据湖和高吞吐量网络环境进行优化，导致解压缩效率不佳，从而增加查询时间和成本。
3、因此，如何自适应压缩存储格式是当前亟待解决的问题。
技术实现思路
1、本专利技术提供了一种数据自适应存储方法、装置、电子设备及存储介质，以解决现有技术在云基础设施和数据湖环境中面临的数据压缩及解压缩效率不高的问题。
2、根据本专利技术的一方面，提供了一种数据自适应存储方法，包括：
3、对数据的类型进行划分，确定不同数据类型的数据对应的压缩算法列表；
4、获取目标数据，确定所述目标数据对应的目标压缩算法列表；
5、基于所述目标数据的统计信息从所述目标压缩算法列表中选择出所述目标数据对应的最佳压缩方式；
6、使用所述最佳压缩方式对所述目标数据进行数据压缩得到压缩数据；
7、在所述压缩数据的头部写入头信息，以基于所述头信息进行数据解压缩。
8、根据本专利技术的另一方面，提供了一种数据自适应存储装置，包括：
9、划分模块，用于对数据的类型进行划分
10、确定模块，用于获取目标数据，确定所述目标数据对应的目标压缩算法列表；
11、选择模块，用于基于所述目标数据的统计信息从所述目标压缩算法列表中选择出所述目标数据对应的最佳压缩方式；
12、压缩模块，用于使用所述最佳压缩方式对所述目标数据进行数据压缩得到压缩数据；
13、解压缩模块，用于在所述压缩数据的头部写入头信息，以基于所述头信息进行数据解压缩。
14、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
15、至少一个处理器；
16、以及与所述至少一个处理器通信连接的存储器；
17、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据自适应存储方法。
18、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据自适应存储方法。
19、本专利技术实施例的技术方案，通过对数据的类型进行划分，确定不同数据类型的数据对应的压缩算法列表；获取目标数据，确定所述目标数据对应的目标压缩算法列表；基于所述目标数据的统计信息从所述目标压缩算法列表中选择出所述目标数据对应的最佳压缩方式；使用所述最佳压缩方式对所述目标数据进行数据压缩得到压缩数据；在所述压缩数据的头部写入头信息，以基于所述头信息进行数据解压缩，解决了现有技术在云基础设施和数据湖环境中面临的数据压缩及解压缩效率不高的问题，取到了提高数据的压缩率，从而降低存储空间，节省存储成本，减少访问时间的有益效果。
20、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据自适应存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对数据的类型进行划分，确定不同数据类型的数据对应的压缩算法列表，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标数据的统计信息至少包括以下几种：
4.根据权利要求1所述的方法，其特征在于，基于所述目标数据的统计信息从所述压缩算法列表中选择出所述目标数据对应的最佳压缩方式，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述多个压缩率从所述压缩算法列表中选择出最佳压缩方式，包括：
6.根据权利要求1所述的方法，其特征在于，基于所述头信息进行数据解压缩，包括：
7.根据权利要求6所述的方法，其特征在于，若所述编码方式为游程编码，则在数据解压缩过程，所述SIMD指令采用AVX2算法对数据进行并行处理。
8.一种数据自适应存储装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可
...【技术特征摘要】
1.一种数据自适应存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对数据的类型进行划分，确定不同数据类型的数据对应的压缩算法列表，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标数据的统计信息至少包括以下几种：
4.根据权利要求1所述的方法，其特征在于，基于所述目标数据的统计信息从所述压缩算法列表中选择出所述目标数据对应的最佳压缩方式，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述多个压缩率从所述压缩算法列表中选择出最佳压缩方式，包括：
【专利技术属性】
技术研发人员：李本旺，张雁飞，
申请(专利权)人：北京数变科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。