基于分布式集群系统的数据存储方法、装置、系统及设备制造方法及图纸

本发明专利技术公开了一种基于分布式集群系统的数据存储方法，包括：客户端向数据池写入目标数据；接收已写入的目标数据的第一数据大小信息，以及已写入的目标数据的元数据中记载的第二数据大小信息；判断第一数据大小信息和第二数据大小信息是否与原数据大小信息一致；若是，目标数据成功写入；若否，重新写入目标数据。可见，本方案将数据写入数据池后，需要确定写入数据池的数据大小是否正确、写入数据池的数据的元数据记载的数据大小是否正确；若均正确，则判定数据写入成功，从而通过这种方式确保数据的一致性，提高了分布式集群系统的可靠性；本发明专利技术还公开了一种基于分布式集群系统的数据存储装置、系统及设备，同样能实现上述技术效果。

【技术实现步骤摘要】
基于分布式集群系统的数据存储方法、装置、系统及设备
本专利技术涉及分布式存储
，更具体地说，涉及一种基于分布式集群系统的数据存储方法、装置、系统及设备。
技术介绍
分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。目前，分布式集群存储系统在当前海量数据的多种场景下广泛应用，例如：高性能场景、视频监控场景、广电媒资等。在进行分布式集群存储时，若在数据存储过程中出现数据不一致的情况，则会降低分布式集群系统的数据可靠性。因此，如何提高分布式集群系统的可靠性，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种基于分布式集群系统的数据存储方法、装置、系统及设备，以提高分布式集群系统的可靠性。为实现上述目的，本专利技术实施例提供了如下技术方案：一种基于分布式集群系统的数据存储方法本文档来自技高网...

【技术保护点】
1.一种基于分布式集群系统的数据存储方法，其特征在于，包括：客户端向数据池写入目标数据；所述客户端接收所述数据池反馈的已写入的目标数据的第一数据大小信息，以及所述数据池通过元数据服务反馈的已写入的目标数据的元数据中记载的第二数据大小信息；所述客户端判断所述第一数据大小信息和第二数据大小信息是否均与所述目标信息的原数据大小信息一致；若一致，则判定所述目标数据成功写入；若不一致，则重新向所述数据池写入所述目标数据。

【技术特征摘要】
1.一种基于分布式集群系统的数据存储方法，其特征在于，包括：客户端向数据池写入目标数据；所述客户端接收所述数据池反馈的已写入的目标数据的第一数据大小信息，以及所述数据池通过元数据服务反馈的已写入的目标数据的元数据中记载的第二数据大小信息；所述客户端判断所述第一数据大小信息和第二数据大小信息是否均与所述目标信息的原数据大小信息一致；若一致，则判定所述目标数据成功写入；若不一致，则重新向所述数据池写入所述目标数据。2.根据权利要求1所述的数据存储方法，其特征在于，所述客户端向数据池写入目标数据之前，还包括：所述客户端向元数据服务发送元数据请求，以使所述元数据服务根据所述元数据请求生成对应的日志事件，并落盘至所述数据池。3.根据权利要求2所述的数据存储方法，其特征在于，还包括：所述元数据服务检测所述日志事件是否成功落盘至所述数据池；若否，则所述元数据服务根据日志事件回放机制，利用所述日志事件回放对应的元数据请求，并生成日志事件落盘至所述数据池。4.根据权利要求1至3中任意一项所述的数据存储方法，其特征在于，所述客户端向数据池写入目标数据，包括：所述客户端通过分段方式依次向所述数据池写入数据；其中，所述客户端判定数据成功写入后，才会向所述数据池写入下一段数据。5.一种基于分布式集群系统的数据存储装置，其特征在于，基于客户端，所述数据存储装置包括：数据写入模块，用于向数据池写入目标数据；信息接收模块，用于接收所述数据池反馈的已写入的目标数据的第一数据大小信息，以及所述数据池通过元数据服务反馈的已写入的目标数据的元数据中记载的第二数据大小信息；判断模块，用于判断所述第一数据大小信息和第二数...

【专利技术属性】
技术研发人员：刘洪栋，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41