本发明专利技术公开了一种基于存储桶的数据处理方法及装置、电子设备、存储介质。其中，该方法包括：获取业务层的数据集合，其中，数据集合中包括多个数据卷；将数据集合中的数据卷分别放入不同的存储桶中；根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。本发明专利技术解决了相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。术问题。术问题。
【技术实现步骤摘要】
基于存储桶的数据处理方法及装置、电子设备、存储介质
[0001]本专利技术涉及数据处理领域，具体而言，涉及一种基于存储桶的数据处理方法及装置、电子设备、存储介质。
技术介绍
[0002]相关技术中，一般的数据存储系统为了兼顾性能和成本，会采用多层数据存储策略，数据先写入缓存池，当缓存池的数据存储量(或者存储水位)达到一定阀值的时候，再由缓存池淘汰部分数据到数据存储池，这样所有的客户端I/O操作都首先由缓存池处理，如果大部分读写都在缓存池里处理，性能就比较高。
[0003]在由缓存池淘汰部分数据到数据存储池的过程中，传统的淘汰算法，只能根据特定应用场景，选择固定的淘汰算法，并且算法是根据数据热点来做统计的，也就是数据产生读写后，产生相应的热点信息，根据这些信息通过算法来决策是否在缓存中淘汰，这种淘汰方式比较单一，并且对业务数据的特点，是不能感知的，识别业务的要求低时延的数据比较困难，淘汰效率较低，所以效果并不那么理想。
[0004]传统的缓存池因为上下没有联动，并且淘汰策略比较单一，需要一种新的方案去改善这种缺点。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例提供了一种基于存储桶的数据处理方法及装置、电子设备、存储介质，以至少解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种基于存储桶的数据处理方法，应用于数据存储系统，所述数据存储系统与业务层对接，包括：获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；将所述数据集合中的数据卷分别放入不同的存储桶中；根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
[0008]可选地，在获取业务层的数据集合之前，还包括：所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。
[0009]可选地，在获取业务层的数据集合之前，还包括：获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建与所述数据类型的总数量具有相同数量的存储桶。
[0010]可选地，在创建与所述数据类型的总数量具有相同数量的存储桶之后，还包括：根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。
[0011]可选地，在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，还包括：接收数据查询请求；响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储系统预先建立通讯连接。
[0012]可选地，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
[0013]可选地，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
[0014]根据本专利技术实施例的另一方面，还提供了一种基于存储桶的数据处理装置，应用于数据存储系统，所述数据存储系统与业务层对接，包括：获取单元，用于获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；存储单元，用于将所述数据集合中的数据卷分别放入不同的存储桶中；设置单元，用于根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；淘汰单元，用于基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
[0015]可选地，基于存储桶的数据处理装置还包括：第一响应单元，用于在获取业务层的数据集合之前，所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。
[0016]可选地，基于存储桶的数据处理装置还包括：第一获取模块，用于在获取业务层的数据集合之前，获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建模块，用于创建与所述数据类型的总数量具有相同数量的存储桶。
[0017]可选地，基于存储桶的数据处理装置还包括：设置模块，用于在创建与所述数据类型的总数量具有相同数量的存储桶之后，根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。
[0018]可选地，基于存储桶的数据处理装置还包括：接收单元，用于在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，接收数据查询请求；第二响应单元，用于响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；第一返回单元，用于在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；第二返回单元，用于在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储系统预先建立通讯连接。
[0019]可选地，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
[0020]可选地，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
[0021]根据本专利技术实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令
来执行上述任意一项所述的基于存储桶的数据处理方法。
[0022]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于存储桶的数据处理方法。
[0023]本专利技术实施例中，采用获取业务层的数据集合，其中，数据集合中包括多个数据卷，将数据集合中的数据卷分别放入不同的存储桶中，根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数，基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。在该实施例中，引用了存储桶的概念，缓存池采用上下联动的方式，根据业务层的实际需求，配置存储桶的相关参数，设置存储桶的淘汰参数，结合每个存储桶所设置的不同淘汰算法，能够精确的控制数据淘汰，从而解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
附图说明
[0024]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于存储桶的数据处理方法，其特征在于，应用于数据存储系统，所述数据存储系统与业务层对接，包括：获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；将所述数据集合中的数据卷分别放入不同的存储桶中；根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。2.根据权利要求1所述的数据处理方法，其特征在于，在获取业务层的数据集合之前，还包括：所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。3.根据权利要求2所述的数据处理方法，其特征在于，在获取业务层的数据集合之前，还包括：获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建与所述数据类型的总数量具有相同数量的存储桶。4.根据权利要求3所述的数据处理方法，其特征在于，在创建与所述数据类型的总数量具有相同数量的存储桶之后，还包括：根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。5.根据权利要求1所述的数据处理方法，其特征在于，在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，还包括：接收数据查询请求；响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；在未...
【专利技术属性】
技术研发人员：吴素宏，池信泽，张旭明，王豪迈，胥昕，
申请(专利权)人：北京星辰天合科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。