分布式存储IO路径数据写入、读取方法、装置和设备制造方法及图纸

本发明专利技术涉及存储领域，尤其涉及一种分布式存储IO路径数据写入、读取方法、装置和设备。所述分布式存储IO路径数据写入方法包括：由客户端发送待写入数据，并由接入网关为接收到的所述待写入数据生成原始校验值；获取校验模式，并根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作；根据所增加校验操作的执行结果传递所述待写入数据和所述原始校验值，以及确定是否将所述待写入数据和所述原始校验值写入存储介质。本发明专利技术的方案使得分布式存储集群数据读写过程中能够在IO路径上及时发现数据的不一致问题，避免受污染的数据落入集群，保障分布式存储集群的数据的数据一致性，显著提升分布式存储的稳定性。显著提升分布式存储的稳定性。显著提升分布式存储的稳定性。

【技术实现步骤摘要】
分布式存储IO路径数据写入、读取方法、装置和设备


[0001]本专利技术涉及存储领域，尤其涉及一种分布式存储IO路径数据写入方法、分布式存储IO路径数据读取方法、分布式存储IO路径数据写入装置、分布式存储IO路径数据读取装置、计算机设备及存储介质。

技术介绍

[0002]数据一致性是存储系统最基本的要求。在存储系统中，任何一个存储服务或者介质的异常，极易引起数据的不一致。在AS13000分布式存储系统中，从接收到客户端的数据请求到真正的读取/写入到磁盘介质，中间需要经过多个数据处理服务，每个服务的异常处理（例如内存被越界访问）都有可能引起数据错误，系统版本测试一旦出现数据不一致问题，只能依靠不断的复现和增加调试日志才能定位解决；而在现场环境中一旦出现数据不一致，则直接影响用户业务。

技术实现思路

[0003]有鉴于此，有必要针对以上技术问题，提供一种分布式存储IO路径数据写入方法、分布式存储IO路径数据读取方法、分布式存储IO路径数据写入装置、分布式存储IO路径数据读取装置、计算机设备及存储介质。
[0004]根据本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储IO路径数据写入方法，其特征在于，所述分布式存储IO路径数据写入方法包括：由客户端发送待写入数据，并由接入网关为接收到的所述待写入数据生成原始校验值；获取校验模式，并根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作；根据所增加校验操作的执行结果传递所述待写入数据和所述原始校验值，以及确定是否将所述待写入数据和所述原始校验值写入存储介质。2.根据权利要求1所述的分布式存储IO路径数据写入方法，其特征在于，所述校验模式为调试模式。3.根据权利要求2所述的分布式存储IO路径数据写入方法，其特征在于，所述根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作，包括：在所述接入网关中、所述存储服务中和所述存储引擎中各添加一次校验；其中，每次校验均用于为接收的待写入数据生成新校验值，并将新校验值与原始校验值进行比较，若新校验值与原始校验值相同则执行结果为通过，若新校验值与原始校验值不相同则校验结果为未通过。4.根据权利要求3所述的分布式存储IO路径数据写入方法，其特征在于，所述根据所增加校验操作的执行结果传递所述待写入数据和所述原始校验值，以及确定是否将所述待写入数据和所述原始校验值写入存储介质，包括：响应于接入网关中校验的执行结果为通过，则由接入网关将所述待写入数据和所述原始校验值发送给存储服务；响应于存储服务中校验的执行结果为通过，则由存储服务将所述待写入数据和所述原始校验值发送给存储引擎；响应于存储引擎中校验的执行结果为通过，则允许存储引擎将所述待写入数据和所述原始校验值发送给存储介质以完成数据落盘；响应于接入网关中校验的执行结果为未通过，和/或存储服务中校验的执行结果为未通过，和/或存储引擎中校验的执行结果为未通过，则拒绝将待写入数据和所述原始校验值写入存储介质，并确认数据写入失败。5.根据权利要求1所述的分布式存储IO路径数据写入方法，其特征在于，所述校验模式为精简模式。6.根据权利要求5所述的分布式存储IO路径数据写入方法，其特征在于，所述根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作，包括：在所述接入网关中和所述存储引擎中各添加一次校验；其中，每次校验均用于为接收的待写入数据生成新校验值，并将新校验值与原始校验值进行比较，若新校验值与原始校验值相同则执行结果为通过，若新校验值与原始校验值不相同则校验结果为未通过。7.根据权利要求6所述的分布式存储IO路径数据写入方法，其特征在于，所述根据所增加校验操作的执行结果传递所述待写入数据和所述原始校验值，以及确定是否将所述待写入数据和所述原始校验值写入存储介质，包括：
响应于接入网关中校验的执行结果为通过，则由接入网关将所述待写入数据和所述原始校验值发送给存储服务；则由存储服务将所述待写入数据和所述原始校验值直接发送给存储引擎；响应于存储引擎中校验的执行结果为通过，则允许存储引擎将所述待写入数据和所述原始校验值发送给存储介质以完成数据落盘；响应于接入网关中校验的执行结果为未通过，和/或存储引擎中校验的执行结果为未通过，则拒绝将待写入数据和所述原始校验值写入存储介质，并确认数据写入失败。8.根据权利要求7所述的分布式存储IO路径数据写入方法，其特征在于，所述存储服务包括主存储服务和从存储服务，所述分布式存储IO路径数据写入还包括：当存储引擎中校验的执行结果为未通过时，则向主存储服务返回校验错误码，从存储服务继续处理；响应于主存储服务收到校验错误码，则终止主存储服务，并触发集群异常以产生新的主存储服务；响应于接入网关中OSDC客户端检测到集群异常，则基于接收的待写入数据和所述原始校验值进行再次校验，若再次校验成功则将所述待写入数据和所述原始校验值发送给新的主存储服务。9.根据权利要求1
‑
8任意一项所述的分布式存储IO路径数据写入方法，其特征在于，原始校验值和新校验值均遵循以下原则：当数据部分是按照4K对齐写时，以每4K上数据为单位计算一个CRC校验值；当数据部分不是按照4K对齐写时，则基于偏移和数据长度先按照4K进行对齐，然后以每4K上数据为单位计算一个CRC校验值。10.一种分布式存储IO路径数据读取方法，其特征在于，所述分布式存储IO路径数据读取方法包括：由存储引擎根据客户端发送的数据读取请求从存储介质中读取数据以及与读取数据对应的原始校验值；获取校验模式，并根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作；根据所增加校验操作的执行结果传递所述读取数据和所述原始校验值，以及确定客户端能否从存储介质中正确读取数据。11.根据权利要求10所述的分布式存储IO路径数据读取方法，其特征在于，所述校验模式为调试模式。12.根据权利要求11所述的分布式存储IO路径数据读取方法，其特征在于，所述根据所述校验模式在接入网关、存储服务、存储引擎中的至少一处增加校验操作，包括：在所述接入网关中、所述存储服务中和所述存储引擎中各添加一次校验；其中，每次校验均用于为接...

【专利技术属性】
技术研发人员：张旭升，李吉龙，王刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：