【技术实现步骤摘要】
本申请涉及存储，尤其涉及一种数据存储方法和分布式存储处理系统。
技术介绍
1、近年来，分布式存储系统凭借高扩展、多协议、高性能、高可靠和生态开放等特点被广泛应用。分布式存储系统，通常包括主控服务器、存储服务器，以及多个客户端组成。其本质是将大量的文件，均匀分布到多个存储器上。
2、在众多分布式存储系统中，混闪架构的使用率较高。混闪架构包括缓存层(cachetier)和容量层(backing storage tier)。其中缓存层为使用相对快速i/o接口或昂贵的设备创建的存储池，比如固态硬盘(solid state drive，ssd)；容量层为使用相对慢速i/o接口或经济的设备创建的存储池，比如机械硬盘(hard disk drive，hdd)。混闪架构存储成本低，占有率高，但是i/o性能受缓存命中率影响较大，尤其是大数据量读写会降低缓存命中率，影响关键业务的i/o性能。在混闪架构中，如果发生大数据量的读写，会伴随频繁的刷盘。由于刷盘时无法区分业务，某些关键业务的数据会被刷至容量层，导致关键业务命中率降低，i/o性能受到影响。例如视频监控场景中管理面数据库业务；另外关键业务的数据量通常较小(约几百g)，若因此将分布式存储系统改为全闪架构成本会成倍增加，代价太大。
技术实现思路
1、本申请实施例提供了一种数据存储方法和分布式存储处理系统，能够实现在大量数据读写情况下保持关键业务i/o性能和高命中率。
2、第一方面，本申请实施例提供了一种数据存储方法，方法包括：
3、由此，本申请实施例实现了一种基于业务标签控制的object分布机制，保证关键业务数据不受落盘和刷盘的影响，始终存在于缓存中。这种情况下，关键业务的命中率可达到100％，彻底解决混闪分布式存储中因命中率导致关键业务性能下降的问题。
4、在一种可能的实现方式中，业务数据的类型按照多个关键等级划分，不同的业务标签指示不同业务数据的类型对应的关键等级；将业务标签的字段设置于存储对象对应的数据结构中。
5、由此，本申请实施例根据不同性质的数据设置业务标签，标记关键业务的数据和普通业务数据以区分业务属性，在文件元数据对应的数据结构中添加标记以区分业务属性，在发生大数据量的读写伴随频繁的刷盘的情况下能够区分业务，防止某些关键业务的数据会被刷至容量层。
6、在一种可能的实现方式中，在缓存层中创建至少一个存储对象，包括：设置输入参数的参数值；输入参数的参数值用于确定存储对象的业务标签；将输入参数设置于存储对象对应的数据结构中。
7、由此，本申请实施例对于通过输入参数设置业务标签，以标记以区分业务属性。
8、在一种可能的实现方式中，确定待写入数据的目标业务标签，包括：将待写入数据切分成多数据块，确定多个数据块的目标业务标签；将待写入数据写入缓存层中的目标存储对象，包括：将多个数据块写入缓存层中多个带有相应的业务标签的目标存储对象。
9、由此，本申请实施例可以根据数据的业务性能进行智能化存储，提高缓存层的有效利用空间；实现在数据落盘时能够区分业务，方便查询和写入的目标存储对象；根据业务标签设置缓存层的数据分布策略，以提高数据读写的命中率。
10、在一种可能的实现方式中，在缓存层的容量使用率达到水位线的值时，根据所述业务标签确定刷盘的存储对象；刷盘的存储对象为多个所述带有业务标签的存储对象中关键等级最低的存储对象。
11、由此，本申请实施例提供了分层存储策略，保证关键业务数据不受落盘和刷盘的影响，始终存在于缓存中；在发生大数据量的读写的情况下，由于刷盘时能够区分业务，保证关键业务命中率为100％，i/o性能不会受到影响，降低成本。
12、在一种可能的实现方式中，所述业务标签包括第一标签和第二标签，所述第一标签的关键等级高于第二标签，带有带有第二标签的存储对象有多个，根据所述业务标签确定刷盘的存储对象，包括：确定多个带有第二标签的存储对象中优先刷盘的存储对象；将优先刷盘的存储对象向容量层迁移。
13、由此，本申请实施例在刷盘时可以根据时间优先，频率优先或缓存淘汰算法确定优先级别，根据优先级别选择适合向容量层迁移的普通业务的数据，提高缓存层的有效利用空间，实现根据数据的业务性能进行智能化存储。
14、在一种可能的实现方式中，方法还包括：确定缓存层的分布，缓存层的分布包括多个缓存区，多个缓存区中的每一个缓存区用于存放相同/不同业务标签的多个存储对象；多个缓存区至少包括第一缓存区和第二缓存区，第一缓存区中存储对象的业务标签对应的关键等级高于第二缓存区。
15、由此，本申请实施例提供了分级分片的存储策略，保证关键业务数据不受落盘和刷盘的影响，始终存在于缓存中。在发生大数据量的读写的情况下，由于刷盘时能够区分业务，保证关键业务命中率，提高数据i/o性能，降低成本。
16、在一种可能的实现方式中，方法还包括：设置多个缓存区中每一个缓存区的水位线；在第一缓存区的容量使用率达到或超过对应的水位线的情况下，扩展第三缓存区，减少第二缓存区的容量，第三缓存区用于存放带有第一标签的存储对象。
17、由此，本申请实施例可以落盘时能够动态调整缓存层的有效分布策略，根据数据的业务性能进行智能化存储，关键业务数据始终存在于缓存中，保证关键业务命中率为100％，i/o性能不会受到影响，降低成本。
18、第二方面，本申请实施例提供了一种分布式存储处理系统，系统包括主控服务器、存储服务器；主控服务器，用于在缓存层中创建至少一个存储对象，至少一个存储对象带有业务标签，业务标签用于标记业务数据的类型；获取待写入数据；确定与待写入数据相匹配的目标业务标签；将待写入数据写入缓存层中的目标存储对象，目标存储对象为缓存层中带有目标业务标签的存储对象；业务标签包括第一标签和第二标签，第一标签的关键等级高于第二标签；存储服务器，用于管理多个缓存层的存储设备和容量层的存储设备。其有益效果如第一方面，此处不再赘述。
19、第三方面，本申请实施例提供了一种服务器，包括：至少一个存储介质，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行如第一方面任意一项的方法。其有益效果如第一方面，此处不再赘述。
20、第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行如第一方面任意一项的方法。其有益效果如第一方面，此处不再赘述。
21、第五方面，本申请实施例提供了一种数据存储装置，包括确定存储对象模块，确定数据标签模块，数据落盘模块和数据刷盘模块；其中确定存本文档来自技高网...
【技术保护点】
1.一种数据存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述业务数据的类型按照多个关键等级划分，不同的业务标签指示不同业务数据的类型对应的关键等级；将业务标签的字段设置于所述存储对象对应的数据结构中。
3.根据权利要求1或2所述的方法，其特征在于，所述在缓存层中创建至少一个存储对象，包括：
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述确定待写入数据的目标业务标签，包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述缓存层的容量使用率达到水位线的值时，根据所述业务标签确定刷盘的存储对象。
6.根据权利要求5所述的方法，其特征在于，所述业务标签包括第一标签和第二标签，所述第一标签的关键等级高于第二标签，带有所述第二标签的存储对象有多个，所述根据所述业务标签确定刷盘的存储对象，包括：
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.一种分布
10.一种服务器，其特征在于，包括：
...【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述业务数据的类型按照多个关键等级划分，不同的业务标签指示不同业务数据的类型对应的关键等级；将业务标签的字段设置于所述存储对象对应的数据结构中。
3.根据权利要求1或2所述的方法，其特征在于，所述在缓存层中创建至少一个存储对象，包括：
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述确定待写入数据的目标业务标签，包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述缓存层的容量使用率达到...
【专利技术属性】
技术研发人员：谢林延，
申请(专利权)人：超聚变数字技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。