【技术实现步骤摘要】
本申请涉及分布式存储，尤其涉及一种纠删码存储网络开销降低方法、装置、设备及存储介质。
技术介绍
1、现今数据量呈现爆发式增长，为提升数据存储的可靠性，在分布式存储领域副本和纠删码是两种常用的冗余策略，对于纠删码冗余存储策略，为降低对硬盘写入的性能影响，副本写方案应运而生，参照图1，图1为纠删码副本写方案流程示意图，如图1所示，纠删码副本写方案的主要流程为：当条带写满时，计算该条带数据对应的校验数据，随后将原始数据块连同校验数据块一起写入硬盘，当条带未写满时，将其作为一个整体，以副本的形式写到对应的数据分片以及校验分片上，校验分片上运行有后台任务，负责定期检测写入条带的数据，当检测到条带被写满后，就会将该条带上的副本数据聚合为校验数据，然后删除副本数据。
2、纠删码副本写方案很好的解决了条带未写满情况下的写入性能问题，同时巧妙的利用后台任务对条带数据进行定期聚合，在条带被写满并聚合完副本数据后，会无差别的删除副本数据，参照图2，图2为纠删码副本写方案的覆盖写流程示意图，如图2所示，当条带中的数据发生覆盖写，并且该条带数据在之前已经被聚合副本数据已经被删除，另外参照图3，图3为纠删码副本写方案的删除流程示意图，如图3所示，当条带中的数据被删除，并且该条带数据在之前已经被聚合副本数据已经被删除，在这两种情况下，在聚合完成后校验分片上的副本数据均已被删除，但由于条带上的数据发生了变化，校验分片均需要和数据分片进行通信，从数据分片上拉取数据，以恢复副本数据或更新校验数据，当某个条带由于某些原因成为热点，反复的覆盖写和删除操作就
3、综上，目前纠删码副本写方案在条带被写满并聚合完副本数据后，会无差别的删除副本数据，当某个条带由于某些原因成为热点，反复的进行覆盖写和删除操作时，校验分片需要频繁的从数据分片上拉取数据以恢复副本数据或更新校验数据，会产生非常大的网络开销。
技术实现思路
1、本申请提供一种纠删码存储网络开销降低方法、装置、设备及存储介质，旨在解决的技术问题为：目前纠删码副本写方案在条带被写满并聚合完副本数据后，会无差别的删除副本数据，当某个条带由于某些原因成为热点，反复的进行覆盖写或删除操作时，校验分片需要频繁的从数据分片上拉取数据以恢复副本数据或更新校验数据，会产生非常大的网络开销。
2、第一方面，本申请实施例提供一种纠删码存储网络开销降低方法，所述纠删码存储网络开销降低方法包括：
3、在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列，所述延迟淘汰队列用于存储写入或删除操作的条带的标识，所述延迟淘汰队列包括淘汰哨兵，所述淘汰哨兵用于指示延迟淘汰队列中某个条带的标识，所述延迟淘汰队列以最先加入队列的为队尾，以最后加入队列的为队头；
4、在每次执行聚合任务时，针对每条被写满的条带，根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略；
5、在聚合被写满的条带的副本数据后，若副本数据处理策略为删除策略，则删除副本数据，若副本数据处理策略为不删除策略，则不删除副本数据。
6、可选的，所述在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列包括：
7、在每次对条带进行写入或删除操作时，获取写入或删除的当前条带的标识；
8、当当前条带的标识不在延迟淘汰队列中时，将当前条带的标识加入延迟淘汰队列的队头；
9、当当前条带的标识在延迟淘汰队列中时，检测当前条带的标识在延迟淘汰队列中的位置是否为队头，检测当前条带的标识是否为淘汰哨兵；
10、若不为队头且不为淘汰哨兵，则将当前条带的标识移动至队头；
11、若不为队头且为淘汰哨兵，则将当前条带的标识往队尾方向的下一个条带标识设置为新的淘汰哨兵，并将当前条带的标识移动至队头；
12、若为队头且为淘汰哨兵，则将当前条带的标识往队尾方向的下一个条带标识设置为新的淘汰哨兵；
13、若为队头且不为淘汰哨兵，则不调整延迟淘汰队列。
14、可选的，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略包括：
15、若被写满的条带的标识在延迟淘汰队列中且被写满的条带的标识在延迟淘汰队列中的位置位于第一范围，则确定副本数据处理策略为不删除策略，所述第一范围为淘汰哨兵之前至队头的位置范围；
16、若被写满的条带的标识在延迟淘汰队列中且被写满的条带的标识在延迟淘汰队列中的位置位于第二范围，或被写满的条带的标识不在延迟淘汰队列中，则确定副本数据处理策略为删除策略，所述第二范围为淘汰哨兵及淘汰哨兵之后至队尾的位置范围。
17、可选的，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略还包括：
18、检测当前的磁盘使用率是否小于预设磁盘使用率；
19、若当前的磁盘使用率小于预设磁盘使用率，则根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略。
20、可选的，在所述检测当前的磁盘使用率是否小于预设磁盘使用率之后，包括：
21、若当前的磁盘使用率大于等于预设磁盘使用率，则确定副本数据处理策略为删除策略。
22、可选的，所述当当前条带的标识不在延迟淘汰队列中时，将当前条带的标识加入延迟淘汰队列的队头包括：
23、当当前条带的标识不在延迟淘汰队列中时，检测将当前条带的标识加入延迟淘汰队列的队头后延迟淘汰队列中存储的条带标识的数量是否大于预设数量；
24、若是，则在删除延迟淘汰队列的队尾所存储的条带标识后，将当前条带的标识加入至延迟淘汰队列的队头；
25、若否，则将当前条带的标识加入至延迟淘汰队列的队头。
26、可选的，在所述在聚合被写满的条带的副本数据后，若副本数据处理策略为删除策略，则删除副本数据，若副本数据处理策略为不删除策略，则不删除副本数据之后，包括：
27、在每次聚合任务执行结束时，删除延迟淘汰队列中位于淘汰哨兵到队尾范围中所有条带的标识，并将延迟淘汰队列的队头设置为新的淘汰哨兵。
28、第二方面，本申请实施例提供了一种纠删码存储网络开销降低装置，所述纠删码存储网络开销降低装置包括：
29、调整模块，用于在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列，所述延迟淘汰队列用于存储写入或删除操作的条带的标识，所述延迟淘汰队列包括淘汰哨兵，所述淘汰哨兵用于指示延迟淘汰队列中某个条带的标识，所述延迟淘汰队列以最先加入队列的为队尾，以最后加入队列的为队头；
30、确定模块，用于在每次执行聚合任务时，针对每条被写满的条带，根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略；
31、处理模块，用于在聚合被写满的条带的副本数据后，若副本数据处理策略为本文档来自技高网...
【技术保护点】
1.一种纠删码存储网络开销降低方法，其特征在于，所述纠删码存储网络开销降低方法包括：
2.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列包括：
3.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略包括：
4.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略还包括：
5.如权利要求4所述的纠删码存储网络开销降低方法，其特征在于，在所述检测当前的磁盘使用率是否小于预设磁盘使用率之后，包括：
6.如权利要求2所述的纠删码存储网络开销降低方法，其特征在于，所述当当前条带的标识不在延迟淘汰队列中时，将当前条带的标识加入延迟淘汰队列的队头包括：
7.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，在所述在聚合被写满的条带的副本数据后，若副本数据处理策略为删除策
8.一种纠删码存储网络开销降低装置，其特征在于，所述纠删码存储网络开销降低装置包括：
9.一种纠删码存储网络开销降低设备，其特征在于，所述纠删码存储网络开销降低设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的纠删码存储网络开销降低程序，其中所述纠删码存储网络开销降低程序被所述处理器执行时，实现如权利要求1至7中任一项所述的纠删码存储网络开销降低方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有纠删码存储网络开销降低程序，其中所述纠删码存储网络开销降低程序被处理器执行时，实现如权利要求1至7中任一项所述的纠删码存储网络开销降低方法的步骤。
...【技术特征摘要】
1.一种纠删码存储网络开销降低方法，其特征在于，所述纠删码存储网络开销降低方法包括：
2.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列包括：
3.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略包括：
4.如权利要求1所述的纠删码存储网络开销降低方法，其特征在于，所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略还包括：
5.如权利要求4所述的纠删码存储网络开销降低方法，其特征在于，在所述检测当前的磁盘使用率是否小于预设磁盘使用率之后，包括：
6.如权利要求2所述的纠删码存储网络开销降低方法，其特征在于，所述当当前条带的标识不在延迟淘汰队列中时，将当前条带的标识加入延迟淘汰队列的队...
【专利技术属性】
技术研发人员：张得旭，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。