数据一致性校验流控方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种数据一致性校验流控方法，包括：接收到用户数据的写入请求时，将所述用户数据存储为多个副本；侦测是否满足了数据一致性校验的触发条件；当侦测到满足了数据一致性校验的触发条件时，获取校验周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，对所述多个副本进行数据一致性校验。本发明专利技术还提供了一种数据一致性校验流控装置、电子设备及存储介质。本发明专利技术能够在提高大规模分布式存储系统的数据一致性校验效率的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。

Data consistency check flow control method, device, electronic device and storage medium

The invention provides a data consistency checking flow control method, which includes: storing the user data into multiple copies when receiving the write request of the user data; detecting whether the trigger condition of the data consistency checking is satisfied; and acquiring the checking period when the trigger condition of the data consistency checking is satisfied. The flow control threshold corresponding to the current statistical period is used to check the data consistency of the multiple replicas based on the flow control threshold corresponding to the current statistical period. The invention also provides a data consistency check flow control device, an electronic device and a storage medium. The invention can improve data consistency checking efficiency of large-scale distributed storage system, avoid obvious impact on normal input and output service performance, and has good flow control effect.

【技术实现步骤摘要】
数据一致性校验流控方法、装置、电子设备及存储介质
本专利技术涉及计算机
，具体涉及一种数据一致性校验流控方法、装置、电子设备及存储介质。
技术介绍
分布式存储系统是将数据分散存储在多台独立的设备上，采用可扩展的系统结构和多种冗余策略，利用多台存储服务器分担存储负荷，根据相应的定位算法查找存储信息。分布式存储系统不但可以提高系统的可靠性、可用性和存取效率，还易于扩展，并且能够消除单点故障，在规定的冗余规则范围内，当存储节点的某块磁盘或整个存储节点发生故障时，对前端的用户应用产生的影响很小。尽管如此，在保证相应的性能指标的同时，分布式存储系统保证各个存储节点中副本数据一致性也是相当重要的。目前的分布式存储数据一致性校验，一般会按照一定的周期，进行各个存储节点中各个副本数据之间的一致性校验。如果正好在用户应用的输入输出(Input/Output，IO)(写下全称，)压力大的时候，触发了数据的一致性校验，则可能正在进行一致性校验的IO会对用户应用的IO产生影响，从而降低用户应用的使用体验，甚至产生系统故障。如何较好的权衡分布式存储数据一致性校验与正常的用户输入输出业务之间的任务分配，在本文档来自技高网...

【技术保护点】
1.一种数据一致性校验流控方法，其特征在于，所述方法包括：接收到用户数据的写入请求时，将所述用户数据存储为多个副本；侦测是否满足了数据一致性校验的触发条件；当侦测到满足了数据一致性校验的触发条件时，获取校验周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，对所述多个副本进行数据一致性校验。

【技术特征摘要】
1.一种数据一致性校验流控方法，其特征在于，所述方法包括：接收到用户数据的写入请求时，将所述用户数据存储为多个副本；侦测是否满足了数据一致性校验的触发条件；当侦测到满足了数据一致性校验的触发条件时，获取校验周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，对所述多个副本进行数据一致性校验。2.如权利要求1所述的方法，其特征在于，所述数据一致性校验的触发条件包括以下一种或多种的组合：满足了预设时间点；接收到了用户数据的读取请求；每隔预设时间段。3.如权利要求1所述的方法，其特征在于，所述获取校验周期内的当前统计周期对应的流控阈值包括：判断当前统计周期是否为第一个统计周期；当确定所述当前统计周期为第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值；当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的IO负载，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值。4.如权利要求3所述的方法，其特征在于，所述根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值包括：获取上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度；根据所述上一个统计周期内的IO负载强度，利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别；根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值。5.如权利要求4所述的方法，其特征在于，所述根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度的计算公式为：其中，X为上述上一个统计周期内的所述IO的平均数据块大小，Y为所述平均数据...

【专利技术属性】
技术研发人员：陈学伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44