一种分布式数据的存储方法、装置及系统制造方法及图纸

本发明专利技术的实施例提供一种分布式数据的存储方法、装置及系统，将绝大部分数据读写操作限制在指定的DC内进行，从而提升分布式IMDG数据的存储性能。该方案包括：第一DC获取本地用户发起的对第一文件的写操作指令；若跨DC数据地址信息中不包括第一文件的标识，且第一DC中有存储第一文件的存储资源，则为第一文件在第一DC中分配存储地址，以便将第一文件写入第一DC中的存储地址；若跨DC数据地址信息中不包括第一文件的标识，且第一DC没有存储第一文件的存储资源，则将第一文件的写操作指令为第一文件分配发送写入给第二DC；第一DC将第一文件的标识和第一文件在第二DC的存储地址的对应关系保存至跨DC数据地址信息中。

【技术实现步骤摘要】
一种分布式数据的存储方法、装置及系统
本专利技术涉及数据存储
，尤其涉及一种分布式数据的存储方法、装置及系 统。
技术介绍
内存数据网格（In-Memory Data GricUMDG)，是分布式数据技术中的一种典型代 表，它可以将数据存储到内存中，并使数据均衡分布到多个服务器上，具有良好的扩展性， 因而被广泛应用于高性能、大规模、易扩展的分布式数据业务处理领域。 具体的，如图1所示，为頂DG数据服务的架构示意图，运营商在 IaaS(Infrastructure as a Service,基础设施即服务）层部署IMDG软件以形成数据中 心（Data Center，DC)，并统一对PaaS (Platform as a Service，平台即服务）层不同租户 的虚拟机提供MDG数据的访问和存储服务。租户在发送虚拟机创建请求后，DC会根据虚 拟机创建请求中该租户所在的物理地域位置优先在指定的本地DC内进行虚拟机的数据存 取，当发生本地DC资源迁移等异常场景时，需要跨Internet (因特网）对租户的虚拟机进 行跨DC的数据处理。 为了解决MDG数据的跨DC处理问题，如图2所示，现有技术中通常在DC之间配 置VPN(Virtual Private Network,虚拟专用网络）通道，从而将跨Internet连接的DC形 成一个虚拟局域网，这样一来，頂DG数据可以在VPN通道内流通至其他DC。这样一来，所有 DC内的MDG数据会在所有服务器内均衡分布，因此，当DCl的租户需要调度DCl内的MDG 数据时，会出现近一半的頂DG数据访问操作都需要通过VPN通道进行跨DC通讯，降低了分 布式IMDG数据的存储性能。
技术实现思路
本专利技术的实施例提供一种分布式数据的存储方法、装置及系统，将绝大部分数据 读写操作限制在指定的DC内进行，避免频繁使用VPN通道进行跨DC数据通信，从而提升 MDG数据的存储性能。 为达到上述目的，本专利技术的实施例采用如下技术方案： 第一方面，本专利技术的实施例提供一种分布式数据的存储方法，所述方法应用于分 布式数据存储系统中N个数据中心DC的任一个DC，N > 1，所述方法包括： 第一 DC获取本地用户发起的对第一文件的写操作指令，所述写操作指令至少包 括第一文件的标识，所述第一 DC为所述N个DC中的任一个； 若跨DC数据地址信息中不包括所述第一文件的标识，且所述第一 DC中有存储所 述第一文件的存储资源，所述第一 DC则为所述第一文件在所述第一 DC中分配存储地址，以 便将所述第一文件写入所述第一 DC中的存储地址； 若所述跨DC数据地址信息中不包括所述第一文件的标识，且所述第一 DC没有存 储所述第一文件的存储资源，所述第一 DC则将所述第一文件的写操作指令发送给第二DC， 以使得所述第二DC写入所述第一文件，并发送所述第一文件在所述第二DC内的存储地址 至所述第一 DC，所述第二DC为所述N个DC中除所述第一 DC中的任一个； 所述第一 DC将所述第一文件的标识和所述第一文件在所述第二DC的存储地址的 对应关系保存至所述跨DC数据地址信息中； 其中，所述跨DC数据地址信息中保存有存储在所述第二DC中的本地用户文件的 标识，及所述本地用户文件存储在所述第二DC中的存储地址的对应关系。 结合第一方面，在第一方面的第一种可能的实现方式中，在第一 DC接收本地用户 发起的对第一文件的写操作指令之后，还包括： 若所述跨DC数据地址信息中包括所述第一文件的标识，所述第一 DC则在所述跨 DC数据地址信息中查找所述第一文件在所述第二DC中的存储地址； 所述第一 DC将所述第一文件的写操作指令和所述第一文件在所述第二DC中的存 储地址发送至所述第二DC，以使得所述第二DC将所述第一文件写入所述第二DC中的存储 地址。 结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的 实现方式中，所述第一 DC获取本地用户发起的对第一文件的写操作指令，包括： 所述第一 DC查询发起所述第一文件的写操作指令的用户的信息； 若所述用户的信息符合预置的本地用户信息，所述第一 DC则确定所述第一文件 的写操作指令为本地用户发起的对第一文件的写操作指令。 结合第一方面或第一方面的第一至第二种可能的实现方式中的任一种可能的实 现方式，在第一方面的第三种可能的实现方式中，所述方法还包括： 所述第一 DC获取本地用户发起的对第一文件的读操作指令，所述读操作指令至 少包括第一文件的标识； 若所述跨DC数据地址信息中不包括所述第一文件的标识，所述第一 DC则根据所 述第一文件的标识在所述第一 DC中读取所述第一文件。 结合前述的第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现 方式中，在所述第一 DC获取本地用户发起的对第一文件的读操作指令之后，还包括： 若所述跨DC数据地址信息中包括所述第一文件的标识，所述第一 DC则在所述跨 DC数据地址信息中查找所述第一文件在所述第二DC中的存储地址； 所述第一 DC将所述第一文件的读操作指令和所述第一文件在所述第二DC中的存 储地址发送至所述第二DC，以使得所述第二DC所述第二DC中的存储地址处读取所述第一 文件。 结合前述的第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现 方式中，在所述第一 DC将所述第一文件的读操作指令和所述第一文件在所述第二DC中的 存储地址发送至所述第二DC之后，还包括： 所述第一 DC从所述第二DC获取所述第一文件； 所述第一 DC将所述第一文件和所述第一文件的标识保存至所述第一 DC的高速缓 存中，以便所述第一 DC再次接收到所述第一文件的读操作指令时，从所述第一 DC的高速缓 存中读取所述第一文件。 结合前述的第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现 方式中，在所述第一 DC获取本地用户发起的对第一文件的读操作指令之后，还包括： 若所述第一 DC的高速缓存中包含有所述第一文件的标识，所述第一 DC则从所述 第一 DC的高速缓存中读取所述第一文件。 结合前述的第一方面的第一至第六种可能的实现方式中的任一种可能的实现方 式，在第一方面的第七种可能的实现方式中，所述方法还包括： 所述第一 DC获取备份策略信息，所述备份策略信息用于指示分别对其他M个DC 中的数据进行数据备份，N-I > M > 1 ; 所述第一 DC根据所述备份策略信息建立与所述其他M个DC建立备份通道，以便 根据所述备份策略信息将所述其他M个DC中的数据备份至所述第一 DC。 结合前述的第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现 方式中，所述方法还包括： 若所述第二DC发生故障，所述第一 DC则获取针对所述第二DC的数据恢复指令； 所述第一 DC根据所述数据恢复指令，将所述第一 DC内已备份的所述第二DC的数 据恢复至所述第一 DC ; 所述第一 DC将已恢复的所述第二DC的数据在所述第一 DC的存储地址更新至所 述本文档来自技高网...

【技术保护点】
一种分布式数据的存储方法，其特征在于，所述方法应用于分布式数据存储系统中N个数据中心DC的任一个DC，N＞1，所述方法包括：第一DC获取本地用户发起的对第一文件的写操作指令，所述写操作指令至少包括第一文件的标识，所述第一DC为所述N个DC中的任一个；若跨DC数据地址信息中不包括所述第一文件的标识，且所述第一DC中有存储所述第一文件的存储资源，所述第一DC则为所述第一文件在所述第一DC中分配存储地址，以便将所述第一文件写入所述第一DC中的存储地址；若所述跨DC数据地址信息中不包括所述第一文件的标识，且所述第一DC没有存储所述第一文件的存储资源，所述第一DC则将所述第一文件的写操作指令发送给第二DC，以使得所述第二DC写入所述第一文件，并发送所述第一文件在所述第二DC内的存储地址至所述第一DC，所述第二DC为所述N个DC中除所述第一DC中的任一个；所述第一DC将所述第一文件的标识和所述第一文件在所述第二DC的存储地址的对应关系保存至所述跨DC数据地址信息中；其中，所述跨DC数据地址信息中保存有存储在所述第二DC中的本地用户文件的标识，及所述本地用户文件存储在所述第二DC中的存储地址的对应关系。...

【技术特征摘要】
1. 一种分布式数据的存储方法，其特征在于，所述方法应用于分布式数据存储系统中 N个数据中也DC的任一个DC，N > 1，所述方法包括： 第一 DC获取本地用户发起的对第一文件的写操作指令，所述写操作指令至少包括第 一文件的标识，所述第一 DC为所述N个DC中的任一个； 若跨DC数据地址信息中不包括所述第一文件的标识，且所述第一 DC中有存储所述第 一文件的存储资源，所述第一 DC则为所述第一文件在所述第一 DC中分配存储地址，W便将 所述第一文件写入所述第一 DC中的存储地址； 若所述跨DC数据地址信息中不包括所述第一文件的标识，且所述第一 DC没有存储所 述第一文件的存储资源，所述第一 DC则将所述第一文件的写操作指令发送给第二DC，W使 得所述第二DC写入所述第一文件，并发送所述第一文件在所述第二DC内的存储地址至所 述第一 DC，所述第二DC为所述N个DC中除所述第一 DC中的任一个； 所述第一 DC将所述第一文件的标识和所述第一文件在所述第二DC的存储地址的对应 关系保存至所述跨DC数据地址信息中； 其中，所述跨DC数据地址信息中保存有存储在所述第二DC中的本地用户文件的标识， 及所述本地用户文件存储在所述第二DC中的存储地址的对应关系。2. 根据权利要求1所述的方法，其特征在于，在第一 DC接收本地用户发起的对第一文 件的写操作指令之后，还包括： 若所述跨DC数据地址信息中包括所述第一文件的标识，所述第一 DC则在所述跨DC数 据地址信息中查找所述第一文件在所述第二DC中的存储地址； 所述第一 DC将所述第一文件的写操作指令和所述第一文件在所述第二DC中的存储地 址发送至所述第二DC，W使得所述第二DC将所述第一文件写入所述第二DC中的存储地址。3. 根据权利要求1或2所述的方法，其特征在于，所述第一 DC获取本地用户发起的对 第一文件的写操作指令，包括： 所述第一 DC查询发起所述第一文件的写操作指令的用户的信息； 若所述用户的信息符合预置的本地用户信息，所述第一 DC则确定所述第一文件的写 操作指令为本地用户发起的对第一文件的写操作指令。4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括： 所述第一 DC获取本地用户发起的对第一文件的读操作指令，所述读操作指令至少包 括第一文件的标识； 若所述跨DC数据地址信息中不包括所述第一文件的标识，所述第一 DC则根据所述第 一文件的标识在所述第一 DC中读取所述第一文件。5. 根据权利要求4所述的方法，其特征在于，在所述第一 DC获取本地用户发起的对第 一文件的读操作指令之后，还包括： 若所述跨DC数据地址信息中包括所述第一文件的标识，所述第一 DC则在所述跨DC数 据地址信息中查找所述第一文件在所述第二DC中的存储地址； 所述第一 DC将所述第一文件的读操作指令和所述第一文件在所述第二DC中的存储地 址发送至所述第二DC，W使得所述第二DC从所述第二DC中的存储地址处读取所述第一文 件。6. 根据权利要求5所述的方法，其特征在于，在所述第一 DC将所述第一文件的读操作 指令和所述第一文件在所述第二DC中的存储地址发送至所述第二DC之后，还包括： 所述第一 DC从所述第二DC获取所述第一文件； 所述第一 DC将所述第一文件和所述第一文件的标识保存至所述第一 DC的高速缓存 中，W便所述第一 DC再次接收到所述第一文件的读操作指令时，从所述第一 DC的高速缓存 中读取所述第一文件。7. 根据权利要求6所述的方法，其特征在于，在所述第一 DC获取本地用户发起的对第 一文件的读操作指令之后，还包括： 若所述第一 DC的高速缓存中包含有所述第一文件的标识，所述第一 DC则从所述第一 DC的高速缓存中读取所述第一文件。8. 根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括： 所述第一 DC获取备份策略信息，所述备份策略信息用于指示分别对其他M个DC中的 数据进行数据备份，N-1 > M > 1 ; 所述第一 DC根据所述备份策略信息建立与所述其他M个DC建立备份通道，W便根据 所述备份策略信息将所述其他M个DC中的数据备份至所述第一 DC。9. 根据权利要求8所述的方法，其特征在于，所述方法还包括： 若所述第二DC发生故障，所述第一 DC则获取针对所述第二DC的数据恢复指令； 所述第一 DC根据所述数据恢复指令，将所述第一 DC内已备份的所述第二DC的数据恢 复至所述第一 DC ; 所述第一 DC将已恢复的所述第二DC的数据在所述第一 DC的存储地址更新至所述跨 DC数据地址信息。10. -种分布式数据的存储方法，其特征在于，所述方法应用于分布式数据存储系统中 N个数据中也DC的任一个DC，N > 1，所述方法包括： 转发设备获取第一文件的写操作指令或读操作指令； 所述转发设备查询发起所述第一文件的写操作指令或读操作指令的用户的信息； 所述转发设备根据所述用户的信息W及预置的所述N个DC的用户信息，确定所述第一 文件的写操作指令或读操作指令为针对第一 DC的写操作指令或读操作指令，所述第一 DC 为所述N个DC中的任一个，N > 1 ; 所述转发设备将所述第一文件的写操作指令或读操作指令发送至所述第一 DC。11. 一种数据中也DC,其特征在于，所述DC应用于包含有N个DC的分布式数据存储系 统...

【专利技术属性】
技术研发人员：张森，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44