一种基于副本存储系统的数据处理方法及相关装置制造方法及图纸

本申请公开了一种基于副本存储系统的数据处理方法，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；将读取校验值和对应的写入校验值进行比较；当相同时，将所有数据返回给客户端；当不相同时，向客户端返回错误响应。通过将写入和读取的校验值进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。本申请还公开了一种数据处理装置、服务器以及计算机可读存储介质，具有上述有益效果。

A data processing method and related device based on a replica storage system

The invention discloses a processing method, a copy of the data storage system based on CEPH storage system includes: when the client receives a copy of the written data, data check on every piece of data to calculate the checksum value when writing; a copy of the CEPH storage system the client receives a read request, for each block of data check the calculated data read request read checksum; write check will read the checksum and the corresponding values are compared; when the phase at the same time, all data will be returned to the client; when not at the same time, the wrong response back to the client. By comparing the check values written and read, we can achieve the purpose of data consistency check. When the data is inconsistent, we can respond in time, and prevent the serious consequences of data errors still being used. The application also discloses a data processing device, a server and a computer readable storage medium, which has the beneficial effect.

【技术实现步骤摘要】
一种基于副本存储系统的数据处理方法及相关装置
本申请涉及计算机
，特别涉及一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质。
技术介绍
随着信息技术的发展，在互联网中有大量的数据需要存储，单个的存储系统由于性能的限制没有办法存储更多的数据，所以厂商通常会使用分布式存储系统进行存储，具体的是一种将数据分散存储在多台独立的设备上的存储系统。在众多分布式存储系统中，CEPH(分布式文件系统)是一个为优秀的性能、可靠性和可扩展性而设计的统一的分布式文件系统，可以将存储的容量扩展到PB(数据存储单位)级别。并且CEPH系统能够在维护POSIX(可移植操作系统接口)兼容性的同时，加入了副本和容错功能，两个功能分别对应了副本存储系统和纠删码存储系统。当存储的数据到达PB级别时，大量数据的IO(输入输出)读写操作容易出现数据丢失、数据错误等情况。当出现读取错误情况时对于保护数据一致性的副本存储系统的损失无疑是巨大的，可以直接导致该数据无法进行挽回。但是目前对于CEPH的副本存储系统，没有数据写入和读出一致性校验的功能，当出现错误时无法得知，容易造成严重的后果。因此，如何针对CEPH副本存储系统进行数据一致性的检验，是本领域技术人员所关注的重点问题。
技术实现思路
本申请的目的是提供一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。为解决上述技术问题，本申请提供一种基于副本存储系统的数据处理方法，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。可选的，所述当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值，包括：所述CEPH副本存储系统接收到所述客户端发送的数据写入请求；根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；将所述写入校验值存储在对应的元数据信息中。可选的，所述当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值，包括：所述客户端向所述CEPH副本存储系统发送读取请求；所述CEPH副本存储系统根据所述读取请求读取相应的所述数据；对每一块所述数据进行数据校验计算得到所述读取校验值。本申请还提供一种基于副本存储系统的数据处理装置，包括：写入校验模块，用于当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；读取校验模块，用于当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；校验比较模块，用于将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；数据返回模块，用于当所述比较结果为相同时，将所有所述数据返回给所述客户端；错误响应模块，用于当所述比较结果为不相同时，向所述客户端返回错误响应。可选的，所述写入校验模块，包括：请求接收单元，用于接收到所述客户端发送的数据写入请求；校验值计算单元，用于根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；校验值存储单元，用于将所述写入校验值存储在对应的元数据信息中。可选的，所述读取校验模块，包括：请求发送单元，用于向所述CEPH副本存储系统发送读取请求；数据读取单元，用于根据所述读取请求读取相应的所述数据；校验值计算单元，用于对每一块所述数据进行数据校验计算得到所述读取校验值。本申请还提供一种服务器，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时，实现如下的步骤：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如下的步骤：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。本申请所提供的一种基于副本存储系统的数据处理方法，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。本申请还提供一种基于副本存储系统的数据处理装置、服务器以及计算机可读存储介质，具有上述有益效果，在此不再做赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种基于副本存储系统的数据处理方法的流程图；图2为本申请实施例所提供的一种基于副本存储系统的数据处理方法的写入数据校验值计算的流程图；图3为本申请实施例所提供的一种基于副本存储系统的数据处理方法的读取数据校验值计算的流程图；图4为本申请实施例所提供的一种基于副本存储系统的数据处理装置的结构示意图；图5为本申请实施例所提供的基于数据处理装置的实施例流程图。具体实施方式本申请的核心是提供一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到本文档来自技高网...

【技术保护点】
一种基于副本存储系统的数据处理方法，其特征在于，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。

【技术特征摘要】
1.一种基于副本存储系统的数据处理方法，其特征在于，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。2.根据权利要求1所述的数据处理方法，其特征在于，所述当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值，包括：所述CEPH副本存储系统接收到所述客户端发送的数据写入请求；根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；将所述写入校验值存储在对应的元数据信息中。3.根据权利要求2所述的数据处理方法，其特征在于，所述当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值，包括：所述客户端向所述CEPH副本存储系统发送读取请求；所述CEPH副本存储系统根据所述读取请求读取相应的所述数据；对每一块所述数据进行数据校验计算得到所述读取校验值。4.一种基于副本存储系统的数据处理装置，其特征在于，包括：写入校验模块，用于当CEPH副本存储系统接收到客户端写入的数据时，对每一块...

【专利技术属性】
技术研发人员：任东旭，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41