一种数据处理方法和设备技术

本发明专利技术实施例公开了一种数据处理方法，包括：接收针对目标文件的上传指令；响应所述上传指令，获取所述目标文件的存储位置信息；根据K个第一存储设备，以及M个第二存储设备的位置信息，将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备，以使所述M个第二存储设备中的目标第二存储设备确定满足预设条件时，根据自身存储的文件生成M个校验块，并将其中M-1个校验块分别存储到其余M-1个第二存储设备后，删除自身存储的所述文件，并通知所述其余M-1个第二存储设备删除自身存储的文件。本发明专利技术实施例还公开了一种数据处理设备。实施本发明专利技术实施例，可以有效降低写缓存带来的网络带宽开销。

【技术实现步骤摘要】

本专利技术涉及互联网
，尤其涉及一种数据处理方法和设备。
技术介绍
分布式存储系统，是将数据分散存储在多台独立的设备上，通过采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。目前主流的分布式存储系统均提供了基于纠删码的存储方式，为了解决纠删码所带来的数据一致性问题，其具体实现方式为：先将用户上传的数据以多副本的方式保存在多个缓存设备(如cache)中，由同步设备读取任一缓存设备中保存的数据副本，并对该数据副本进行分片并编码，生成校验数据的分片，之后，数据同步设备将数据副本的分片以及校验数据的分片分别保存到相应的存储设备中，并更新文件索引，删除缓存设备中保存的数据副本。然而实践发现，上述基于缓存中转的方式实现的分布式存储系统中，会带来设备间极大的流量穿越，网络带宽开销较大。
技术实现思路
本专利技术实施例公开了一种数据处理方法和设备，能够有效降低写缓存带来的网络带宽开销。本专利技术实施例第一方面公开了一种数据处理方法，包括：接收针对目标文件的上传指令；响应所述上传指令，获取所述目标文件的存储位置信息，所述存储位置信息包括K个用于存储原始数据的第一存储设备，以及M个用于存储校验块的第二存储设备的位置信息；其中，K≥2；M≥2；K、M为整数；根据所述K个第一存储设备，以及M个第二存储设备的位置信息，将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备，以使所述M个第二存储设备中的目标第二存储设备确定满
足预设条件时，根据自身存储的文件生成M个校验块，并将其中M-1个校验块分别存储到其余M-1个第二存储设备后，删除自身存储的所述文件，并通知所述其余M-1个第二存储设备删除自身存储的文件。本专利技术实施例第二方面公开了一种数据处理设备，包括：接收模块，用于接收针对目标文件的上传指令；获取模块，用于响应所述上传指令，获取所述目标文件的存储位置信息，所述存储位置信息包括K个用于存储原始数据的第一存储设备，以及M个用于存储校验块的第二存储设备的位置信息；其中，K≥2；M≥2；K、M为整数；处理模块，用于根据所述K个第一存储设备，以及M个第二存储设备的位置信息，将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备，以使所述M个第二存储设备中的目标第二存储设备确定满足预设条件时，根据自身存储的文件生成M个校验块，并将其中M-1个校验块分别存储到其余M-1个第二存储设备后，删除自身存储的所述文件，并通知所述其余M-1个第二存储设备删除自身存储的文件。实施本专利技术实施例，具有如下有益效果：当接收到针对目标文件的上传指令时，可以响应该上传指令，获取该目标文件的存储位置信息，该存储位置信息可以包括K个用于存储原始数据的第一存储设备，以及M个用于存储校验块的第二存储设备的位置信息，并将该目标文件上传该K个第一存储设备中对应的目标第一存储设备，以及该M个第二存储设备，以使该M个第二存储设备中的目标第二存储设备确定满足预设条件时，根据自身存储的文件生成M个校验块，并将其中M-1个校验块分别存储到其余M-1个第二存储设备后，删除自身存储的文件，并通知其余M-1个第二存储设备删除自身存储的文件，由于数据上传和存储的过程中不需要经过缓存设备中转，因而，能够有效降低写缓存带来的网络带宽开销。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅
仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种数据处理方法的流程示意图；图2为本专利技术实施例公开的另一种数据处理方法的流程示意图；图3为本专利技术实施例公开的另一种数据处理方法的流程示意图；图4为本专利技术实施例公开的一种数据处理设备的结构示意图；图5为本专利技术实施例公开的另一种数据处理设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种数据处理方法和设备，能够有效降低写缓存带来的网络带宽开销。以下分别进行详细说明。请参阅图1，图1为本专利技术实施例公开的一种数据处理方法的流程示意图。如图1所示，该数据处理方法可以包括以下步骤：S101、接收针对目标文件的上传指令。本专利技术实施例中，上述方法可以应用于Client，该Client可以包括但不限于PC(Personal Computer，个人计算机)、手机、平板电脑等。Client可以通过特定进程访问系统，进行文件上传、下载、删除等数据处理操作。本专利技术实施例中，当用户需要上传文件时，用户可以向Client发送一个上传文件的指令，例如，用户可以在Client的指定功能界面(如文件上传界面)中选择需要上传的文件(目标文件)，并通过点击该指定功能界面中的指定功能按钮(如“上传”按钮)，向client发送针对目标文件的上传指令。其中，该目标文件可以包括一个或多个文件，该文件可以包括但不限于照片、文档等数据内容。S102、响应该上传指令，获取目标文件的存储位置信息。本专利技术实施例中，Client接收到用户输入的针对目标文件的上传指令时，需要确定存储该目标文件的存储设备的位置信息。作为一种可选的实施方式，上述步骤S102中，获取目标文件的存储位置信息，可以包括以下步骤：11)、向中心元数据集群发送针对目标文件的上传请求，以使中心元数据集群根据该上传请求确定目标文件的存储位置信息；12)、接收中心元数据集群返回的目标文件的存储位置信息。在该可选的实施方式中，数据处理系统中至少可以包括以下几个部分：中心元数据集群：负责数据的定位和路由信息；数据集群：包括存储原始数据的存储设备和存储校验块的存储设备；Client：用于接收用户对于文件的操作请求(如文件上传、下载、删除等)，并转换为集群内部的交互协议。具体的，当Client接收到针对目标文件的上传指令时，Client可以向中心元数据集群发送针对目标文件的上传请求；中心元数据集群接收到该上传请求后，可以根据目标文件的标识信息或其它预设规则确定目标文件的存储位置信息，即确定数据集群中用于存储目标文件的存储设备，并将该目标文件的存储位置信息发送给Client。作为另一种可选的实施方式，上述步骤S102中，获取目标文件的存储位置信息，可以包括以下步骤：21)、获取该上传指令中包括的目标文件的标识信息；22)、根据该标识信息确定该目标文件的存储位置信息。在该可选的实施方式中，区别于上一可选的实施方式，数据上传系统中不包括中心元数据集群，Client接收到针对目标文件的上传指令时，由Client确定该目标文件的存储位置信息。具体地，当Client接收到针对目标文件的上传指令时，Client可以获取该上传指令中携带的目标文件的标识信息，如目标文本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：接收针对目标文件的上传指令；响应所述上传指令，获取所述目标文件的存储位置信息，所述存储位置信息包括K个用于存储原始数据的第一存储设备，以及M个用于存储校验块的第二存储设备的位置信息；其中，K≥2；M≥2；K、M为整数；根据所述K个第一存储设备，以及M个第二存储设备的位置信息，将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备，以使所述M个第二存储设备中的目标第二存储设备确定满足预设条件时，根据自身存储的文件生成M个校验块，并将其中M‑1个校验块分别存储到其余M‑1个第二存储设备后，删除自身存储的所述文件，并通知所述其余M‑1个第二存储设备删除自身存储的文件。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收针对目标文件的上传指令；响应所述上传指令，获取所述目标文件的存储位置信息，所述存储位置信息包括K个用于存储原始数据的第一存储设备，以及M个用于存储校验块的第二存储设备的位置信息；其中，K≥2；M≥2；K、M为整数；根据所述K个第一存储设备，以及M个第二存储设备的位置信息，将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备，以使所述M个第二存储设备中的目标第二存储设备确定满足预设条件时，根据自身存储的文件生成M个校验块，并将其中M-1个校验块分别存储到其余M-1个第二存储设备后，删除自身存储的所述文件，并通知所述其余M-1个第二存储设备删除自身存储的文件。2.根据权利要求1所述的方法，其特征在于，所述获取所述目标文件的存储位置信息，包括：向中心元数据集群发送针对目标文件的上传请求，以使所述中心元数据集群根据所述上传请求确定所述目标文件的存储位置信息；接收所述中心元数据集群返回的所述目标文件的存储位置信息。3.根据权利要求1所述的方法，其特征在于，所述获取所述目标文件的存储位置信息，包括：获取所述上传指令中包括的所述目标文件的标识信息；根据所述标识信息确定所述目标文件的存储位置信息。4.根据权利要求1所述的方法，其特征在于，所述将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备之后，所述方法还包括：接收针对所述目标文件的下载指令；当所述目标第一存储设备可用时，从所述目标第一存储设备中下载所述目标文件；当所述目标第一存储设备不可用，且所述第二存储设备中存储有所述目标文件时，从所述第二存储设备中下载所述目标文件；当所述目标第一存储设备不可用，且所述第二存储设备中未存储有所述目标文件时，根据所述K个第一存储设备，以及M个第二存储设备中除所述目标第一存储设备之外的其余存储设备中随机K个存储设备中存储的原始数据或校验块还原所述目标文件。5.根据权利要求1所述的方法，其特征在于，所述将所述目标文件上传至所述K个第一存储设备中对应的目标第一存储设备，以及所述M个第二存储设备之后，所述方法还包括：接收针对所述目标文件的删除指令；向所述目标第一存储设备，以及所述M个第二存储设备发送删除请求，以使所述目标第一存储设备删除自身存储的所述目标文件，设置对应所述目标文件的删除标识，并使所述M个第二存储设备在确定自身存储有所述目标文件时删除所述目标文件，设置对应所述目标文件的删除标识，或在确定自身未存储有所...

【专利技术属性】
技术研发人员：王炎，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44