数据处理方法和存储管理系统技术方案

本申请提供一种数据处理方法和存储管理系统。本申请的数据处理方法包括：第一存储网关客户端接收写数据请求消息，该写数据请求消息携带的信息包括第一数据、第一位置信息和第一存储系统的第一标识信息；第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志，该第一写日志包括第一数据和第一位置信息，第一日志文件存储于第二存储系统，第二存储系统与第一存储系统不是同一个存储系统。本申请提供的数据处理方法和存储管理系统能够提高存储管理系统的适用性，并提高存储系统的可复用性。

【技术实现步骤摘要】
数据处理方法和存储管理系统
本申请涉及云存储领域，尤其涉及数据处理方法和存储管理系统。
技术介绍
云存储网关(cloudstoragegateway)是基于硬件或软件的设备，它作为本地应用和远程云存储间的桥梁提供服务。云存储网关的产品有时候也叫做云存储设备或云存储控制器。云存储网关通常可以实现的功能包括：基于快照、备份、复制的数据保护，写出或读入缓存等。传统的云存储网关需要绑定特定的存储系统，即传统的云存储网关的适配性较差。而且，与传统的云存储网关绑定个存储系统的可复用性较差。
技术实现思路
本申请提供一种数据处理方法和存储管理系统，能够提高云存储管理系统的适用性，和提高存储系统的可复用性。第一方面，本申请提供了一种数据处理方法，包括：第一存储网关客户端接收写数据请求消息，所述写数据请求消息携带的信息包括第一数据、第一位置信息和第一存储系统的第一标识信息；所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志，所述第一写日志包括所述第一数据和所述第一位置信息，所述第一日志文件存储于第二存储系统，所述第二存储系统与所述第一存储系统不是同一个存储系统。本申请的数据处理方法中，通过第一存储网关客户端和第一存储网关服务端，将第一数据存储至第一存储系统，而将第一存储系统中的第一数据对应的增量数据存储至另一个第二存储系统，一方面，不会破坏第一存储系统中的数据结构，也不会增加读取第一存储系统中的数据时使用的路径，即即使停止该云存储网关的服务，仍然可以正常使用第一存储系统；另一方面，将第一存储系统中的第一数据对应的增量数据与第一存储系统解耦，存储到第二存储系统，第一存储系统重新绑定到该云存储网关时，不需要进行格式化，即可以提高第一存储系统的复用性；另外，将第一存储系统中的第一数据对应的增量数据与第一存储系统解耦，存储到第二存储系统，可以使得快照、备份、复制等功能不再依赖于第一存储系统，提高云存储网关的适用性。在一种可能的实现方式中，所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志之前，所述数据处理方法还包括：所述第一存储网关客户端根据所述写数据请求消息，向第一存储网关服务端发送第一文件路径请求消息，所述第一文件路径请求消息携带所述第一标识信息；所述第一存储网关服务端根据所述第一文件路径请求消息，请求所述第二存储系统创建所述第一日志文件，并向所述第二存储系统上存储的第一元数据集合中写入第一日志元数据信息，所述第一日志元数据信息包括第一指示信息，所述第一指示信息用于指示所述第一日志文件的所述第一文件路径信息与所述第一标识信息的对应关系；所述第一存储网关服务端向所述第一存储网关客户端发送所述第一文件路径信息。在一种可能的实现方式中，所述第一日志元数据信息还包括第二指示信息，所述第二指示信息用于指示所述第一日志文件未复制到第三存储系统；所述数据处理方法还包括：所述第一存储网关服务端向所述第二存储系统发送第一日志文件请求消息，所述第一日志文件请求消息用于请求所述第二存储系统中，与所述第一标识信息对应的、且未复制到所述第三存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第二存储系统根据所述第一日志文件请求消息和所述第一元数据集合发送的所述第一文件路径信息；所述第一存储网关服务端从所述第二存储系统中读取所述第一日志文件，并向所述第三存储系统复制所述第一日志文件。在一种可能的实现方式中，所述数据处理方法还包括：所述第一存储网关服务端接收第二日志文件和第四存储系统的标识信息；所述第一存储网关服务端将所述第二日志文件写入第五存储系统；所述第一存储网关服务端向所述第五存储系统上的第二元数据集合中写入第二日志元数据信息，所述第二日志元数据信息包括第三指示信息，所述第三指示信息用于指示所述第四存储系统的标识信息与所述第二日志文件在所述第五存储系统上的第二文件路径信息的对应关系。在一种可能的实现方式中，所述第二日志元数据信息还包括第四指示信息，所述第四指示信息用于指示所述第二日志文件未重放到所述第四存储系统；其中，所述数据处理方法还包括：所述第一存储网关服务端向所述第五存储系统发送第二日志文件请求消息，所述第二日志文件请求消息用于请求所述第五存储系统中还未重放到所述第四存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第五存储系统根据所述第二日志文件请求消息和所述第二元数据集合发送的所述第二文件路径信息；所述第一存储网关服务端向第二存储网关客户端发送所述第二文件路径信息；所述第二存储网关客户端根据所述第二文件路径信息，从所述第五存储系统读取所述第二日志文件中的第二写日志，并将所述第二写日志中的第二数据，写入所述第四存储系统上的第二位置。在一种可能的实现方式中，所述第一写日志中的所述第一数据未重放到所述第一存储系统上所述第一位置信息所指示的第一位置；其中，所述数据处理方法还包括：所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统的所述第一位置。在一种可能的实现方式中，所述第一日志元数据信息还包括第五指示信息，所述第五指示信息用于指示所述第一日志文件中的写日志未重放到所述第一存储系统；其中，所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统的所述第一位置，包括：所述第一存储网关客户端向所述第一存储网关服务端发送第三日志文件请求消息，所述第三日志文件请求消息携带所述第一标识信息；所述第一存储网关服务端根据所述第三日志文件请求消息，向所述第二存储系统发送第四日志文件请求消息，所述第四日志文件请求消息用于请求所述第二存储系统中还未重放到所述第一存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第二存储系统根据所述第四日志文件请求消息和所述第一元数据集合发送的所述第一文件路径信息；所述第一存储网关服务端向所述第一存储网关客户端发送所述第一文件路径信息；所述第一存储网关客户端根据所述第一文件路径信息，从所述第二存储系统读取所述第一日志文件中的所述第一写日志，并将所述第一写日志中的所述第一数据，写入所述第一存储系统上的所述第一位置。在一种可能的实现方式中，所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统上的所述第一位置之前，所述数据处理方法还包括：所述第一存储网关客户端接收读数据请求消息，所述读数据请求消息携带所述第一位置信息和所述第一标识信息；若所述第一存储网关客户端根据所述读数据请求消息，确定所述第一存储网关客户端上存在应写入所述第一存储系统中所述第一位置的所述第一数据，则发送所述第一存储网关客户端上存在的所述第一数据；若所述第一存储网关客户端根据所述读数据请求消息，确定所述第一存储网关客户端上不存在所述第一数据，则读取所述第一存储系统中所述第一位置上的所述第一数据。并发送所述第一数据。在一种可能的实现方式中，所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志之前，所述数据处理方法还包括：所述第一存储网关客户端接收第一快照请求消息；所述第一存储网关客户端根据所述第一快照请求消息，向所述第一日志文件写入第一快照的标识日志；所述第一存储网关客户端向所述第本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：第一存储网关客户端接收写数据请求消息，所述写数据请求消息携带的信息包括第一数据、第一位置信息和第一存储系统的第一标识信息；所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志，所述第一写日志包括所述第一数据和所述第一位置信息，所述第一日志文件存储于第二存储系统，所述第二存储系统与所述第一存储系统不是同一个存储系统。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：第一存储网关客户端接收写数据请求消息，所述写数据请求消息携带的信息包括第一数据、第一位置信息和第一存储系统的第一标识信息；所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志，所述第一写日志包括所述第一数据和所述第一位置信息，所述第一日志文件存储于第二存储系统，所述第二存储系统与所述第一存储系统不是同一个存储系统。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志之前，所述数据处理方法还包括：所述第一存储网关客户端根据所述写数据请求消息，向第一存储网关服务端发送第一文件路径请求消息，所述第一文件路径请求消息携带所述第一标识信息；所述第一存储网关服务端根据所述第一文件路径请求消息，请求所述第二存储系统创建所述第一日志文件，并向所述第二存储系统上存储的第一元数据集合中写入第一日志元数据信息，所述第一日志元数据信息包括第一指示信息，所述第一指示信息用于指示所述第一日志文件的所述第一文件路径信息与所述第一标识信息的对应关系；所述第一存储网关服务端向所述第一存储网关客户端发送所述第一文件路径信息。3.根据权利要求2所述的数据处理方法，其特征在于，所述第一日志元数据信息还包括第二指示信息，所述第二指示信息用于指示所述第一日志文件未复制到第三存储系统；所述数据处理方法还包括：所述第一存储网关服务端向所述第二存储系统发送第一日志文件请求消息，所述第一日志文件请求消息用于请求所述第二存储系统中，与所述第一标识信息对应的、且未复制到所述第三存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第二存储系统根据所述第一日志文件请求消息和所述第一元数据集合发送的所述第一文件路径信息；所述第一存储网关服务端从所述第二存储系统中读取所述第一日志文件，并向所述第三存储系统复制所述第一日志文件。4.根据权利要求2或3所述的数据处理方法，其特征在于，所述数据处理方法还包括：所述第一存储网关服务端接收第二日志文件和第四存储系统的标识信息；所述第一存储网关服务端将所述第二日志文件写入第五存储系统；所述第一存储网关服务端向所述第五存储系统上的第二元数据集合中写入第二日志元数据信息，所述第二日志元数据信息包括第三指示信息，所述第三指示信息用于指示所述第四存储系统的标识信息与所述第二日志文件在所述第五存储系统上的第二文件路径信息的对应关系。5.根据权利要求4所述的数据处理方法，其特征在于，所述第二日志元数据信息还包括第四指示信息，所述第四指示信息用于指示所述第二日志文件未重放到所述第四存储系统；其中，所述数据处理方法还包括：所述第一存储网关服务端向所述第五存储系统发送第二日志文件请求消息，所述第二日志文件请求消息用于请求所述第五存储系统中还未重放到所述第四存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第五存储系统根据所述第二日志文件请求消息和所述第二元数据集合发送的所述第二文件路径信息；所述第一存储网关服务端向第一存储网关客户端发送所述第二文件路径信息；所述第一存储网关客户端根据所述第二文件路径信息，从所述第五存储系统读取所述第二日志文件中的第二写日志，并将所述第二写日志中的第二数据，写入所述第四存储系统上的第二位置。6.根据权利要求2至5中任一项所述的数据处理方法，其特征在于，所述第一写日志中的所述第一数据未重放到所述第一存储系统上所述第一位置信息所指示的第一位置；其中，所述数据处理方法还包括：所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统的所述第一位置。7.根据权利要求6所述的数据处理方法，其特征在于，所述第一日志元数据信息还包括第五指示信息，所述第五指示信息用于指示所述第一日志文件中的写日志未重放到所述第一存储系统；其中，所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统的所述第一位置，包括：所述第一存储网关客户端向所述第一存储网关服务端发送第三日志文件请求消息，所述第三日志文件请求消息携带所述第一标识信息；所述第一存储网关服务端根据所述第三日志文件请求消息，向所述第二存储系统发送第四日志文件请求消息，所述第四日志文件请求消息用于请求所述第二存储系统中还未重放到所述第一存储系统上的日志文件的文件路径信息；所述第一存储网关服务端接收所述第二存储系统根据所述第四日志文件请求消息和所述第一元数据集合发送的所述第一文件路径信息；所述第一存储网关服务端向所述第一存储网关客户端发送所述第一文件路径信息；所述第一存储网关客户端根据所述第一文件路径信息，从所述第二存储系统读取所述第一日志文件中的所述第一写日志，并将所述第一写日志中的所述第一数据，写入所述第一存储系统上的所述第一位置。8.根据权利要求7所述的数据处理方法，其特征在于，所述第一存储网关客户端向第一文件路径信息指示的第一日志文件中写入第一写日志之前，所述数据处理方法还包括：所述第一存储网关客户端接收第一快照请求消息；所述第一存储网关客户端根据所述第一快照请求消息，向所述第一日志文件写入第一快照的标识日志；所述第一存储网关客户端向所述第一存储网关服务端发送快照元数据生成请求消息；所述第一存储网关服务端根据所述元数据生成请求消息，向所述第二存储系统的第三元数据集合中写入第一快照增量元数据信息，所述第一快照增量元数据信息包括所述第一快照的标识信息、第三位置信息和所述第一位置信息，所述第三位置信息用于指示所述第三位置；其中，所述第一存储网关客户端将所述第一写日志中的所述第一数据，写入所述第一存储系统上的所述第一位置之前，所述数据处理方法还包括：所述第一存储网关客户端读取所述第一存储系统中所述第一位置处的第三数据，将所述第三数据写到所述第二存储系统上的第三位置。9.根据权利要求2至8中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：所述第一存储网关客户端接收读数据请求消息，所述读数据请求消息携带所述第一位置信息和所述第一标识信息；若所述第一存储网关客户端根据所述读数据请求消息，确定所述第一存储网关客户端上存在应写入所述第一存储系统中所述第一位置的所述第一数据，则发送所述第一存储网关客户端上存在的所述第一数据；若所述第一存储网关客户端根据所述读数据请求消息，确定所述第一存储网关客户端上不存在所述第一数据，则读取所述第一存储系统中所述第一位置上的所述第一数据。并发送所述第一数据。10.根据权利要求2至9中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：所述第一存储网关客户端接收第一备份请求消息，所述第一备份请求消息用于请求对所述第一存储系统进行第一备份；所述第一存储网关客户端向所述第一日志文件写入第二快照的标识日志；所述第一存储网关客户端向所述第一存储网关服务端发送备份元数据生成请求消息；所述第一存储网关服务端根据所述备份元数据生成请求消息，向所述第二存储系统的第四元数据集合中写入所述第一存储系统的第一备份元数据信息，所述第一备份元数据信息包括所述第二快照的标识信息和所述第一备份的标识信息的对应关系，所述第四元数据集合包括所述第一存储系统的第二备份元数据信息，所述第二备份元数据信息包括第三快照的标识信息和第二备份的标识信息的对应关系，所述第一日志文件包括所述第三快照的标识日志；所述第一存储网关服务端读取所述第二存储系统上的第一日志文件中所述第二快照的标识日志至第三快照的标识日志之间所有日志；所述第一存储网关服务端向第三存储网关服务端发送所述所有日志。11.根据权利要求2至9中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：所述第一存储网关客户端接收第一备份请求消息，所述第一备份请求消息用于请求对所述第一存储系统进行第一备份；所述第一存储网关客户端向所述第一日志文件写入第二快照的标识日志；所述第一存储网关客户端向所述第一存储网关服务端发送备份元数据生成请求消息；所述第一存储网关服务端根据所述备份元数据生成请求消息，向所述第二存储系统的第四元数据集合中写入所述第一存储系统的第一备份元数据信息，所述第一备份元数据信息包括所述第二快照的标识信息和所述第一备份的标识信息的对应关系；所述第一存储网关服务端读取所述第二存储系统上所述第二快照的快照增量数据；所述第一存储网关服务端向第三存储网关服务端发送所述第二快照的快照增量数据。12.根据权利要求2至11中任一项所述的数据处理方法，其特征在于，所述第一存储网关客户端为仲裁集群管理的多个存储网关客户端中的一个，所述第一存储网关服务端为所述仲裁集群管理的多个存储网关服务端中的一个。13.一种存储管理系统，其特征在于，包括第一计算设备，所述第一计算设备包括第一存储器、第一处理器和第一通信接口，所述第一存储器用于存储代码，所述第一处理器用于执行所述第一存储器存储的代码，所述第一通信接口用于与其他设备通信；当所述第一处理器执行所述第一存储器存储的代码时，所述第一处理器用于接收写数据请求消息，所述写数据请求消息携带的信息包括第一数据、第一位置信息和第一存储系统的第一标识信息；所述第一处理器还用于通过所述第一通信接口向第一文件路径信息指示的第一日志文件中写入第一写日志，所述第一...

【专利技术属性】
技术研发人员：殷薇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44