数据处理系统及数据处理方法技术方案

本发明专利技术公开了一种数据处理系统及数据处理方法，该数据处理系统包括分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器。在进行跨容器数据恢复时，第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求先转换为包括相同数据桶的访问密钥的对象下载请求，分布式对象存储子系统在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机，第一宿主机继而将对象转换成文件后映射至第一容器。鉴于本发明专利技术中第一容器和第二容器为不同的容器，且分别挂载有相同数据桶的容器端文件路径，可以有效实现跨容器的数据恢复。

Data Processing System and Data Processing Method

【技术实现步骤摘要】
数据处理系统及数据处理方法
本专利技术涉及分布式
，尤其涉及数据处理系统及数据处理方法。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。随着数据中心业务处理需求、数据量的海量增长，基础系统和应用环境等快速部署需求的不断增长，原来集中式主机系统越来越不能满足需求。分布式系统由于其可扩展性强，计算成本低，越来越被广泛应用。比如分布式虚拟化的容器技术。但是，在通常情况下容器比较适合无状态化部署，而在某些特定业务需求场景下，当容器中部署数据库时，其产生的数据需要进行周期性恢复。目前常用的容器数据恢复方法，难以应对跨宿主机容器的数据恢复。如何解决跨容器数据恢复无疑是十分关键和必要的问题。因此，现有的容器数据恢复方法，存在不能实现跨容器数据恢复的问题。
技术实现思路
本专利技术实施例提供一种数据处理系统，用以实现跨容器的数据恢复，该数据处理系统包括：分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器；其中，第一容器和第二容器分别挂载有相同数据桶的容器端文件路径，且第一容器和第二容器为不同的容器；第一宿主机，用于将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统；其中，对象下载请求包括相同数据桶的访问密钥；分布式对象存储子系统，用于对访问密钥进行验证，在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机；第一宿主机，还用于将对象转换成文件后映射至第一容器。本专利技术实施例还提供一种数据处理方法，用以实现跨容器的数据恢复，该数据处理方法包括：第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统；分布式对象存储子系统对访问密钥进行验证，在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机；第一宿主机将对象转换成文件后映射至第一容器。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据处理方法的计算机程序。本专利技术实施例中，数据处理系统包括分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器。在进行跨容器数据恢复时，第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求先转换为包括相同数据桶的访问密钥的对象下载请求，分布式对象存储子系统在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机，第一宿主机继而将对象转换成文件后映射至第一容器。鉴于第一容器和第二容器为不同的容器，且分别挂载有相同数据桶的容器端文件路径，因此，本专利技术实施例可以有效实现跨容器的数据恢复。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例提供的数据处理系统的功能分层示意图；图2为本专利技术实施例提供的数据处理方法的实现流程图；图3为本专利技术实施例提供的数据处理方法中步骤201的实现流程图；图4为本专利技术实施例提供的数据处理方法的另一实现流程图；图5为本专利技术实施例提供的数据处理方法的再一实现流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。虽然本专利技术提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本专利技术实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。针对现有技术中不能有效实现跨容器的数据恢复的缺陷，本专利技术的申请人提出了一种数据处理系统及数据处理方法，其包括分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器。在进行跨容器数据恢复时，第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求先转换为包括相同数据桶的访问密钥的对象下载请求，分布式对象存储子系统在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机，第一宿主机继而将对象转换成文件后映射至第一容器。鉴于本专利技术实施例中第一容器和第二容器为不同的容器，且分别挂载有相同数据桶的容器端文件路径，达到了可以有效实现跨容器的数据恢复的目的。图1示出了本专利技术实施例提供的数据处理系统的功能分层示意，为便于描述，仅示出了与本专利技术实施例相关的部分，详述如下：如图1所示，按照数据处理系统的功能进行划分，数据处理系统可以分为四层，分别是数据存储层、接口转换层、宿主机访问层及容器访问层。首先定义如下，第一容器对应的宿主机为第一宿主机，第二容器对应的宿主机为第二宿主机。在本专利技术的一实施例中，第一容器和第二容器对应同一个宿主机，即第一宿主机和第二宿主机可以相同。在本专利技术的其他实施例中，第一容器和第二容器对应不同的宿主机，即第一宿主机和第二宿主机也可以不同。各功能层分别接介绍如下：数据存储层：分布式对象存储子系统包括分布式对象存储集群，分布式对象存储集群主要包括对象存储设备(Object-basedStoragedevice，简称OSD)节点和对象网关(RADOSGateway，简称RGW)。其中，对象存储设备为实际进行数据存储的存储节点。对于分布式对象存储集群本身而言，对象存储设备的节点数量并无特殊限制，可以选择一个或多个。在实际使用过程中，对象存储设备的节点数量需要结合用户的数据安全性与性能要求(与数据副本有关)、故障域需求等综合考虑。例如，使用三副本进行数据存储，故障域为host时，则建议对象存储设备的节点数量不少于三个。对象网关接收客户端(本专利技术实施例中是指宿主机，例如第一宿主机或第二宿主机等)的HTTP请求，并将宿主机端的HTTP请求转换为分布式对象存储集群的对象请求，同时也可以把分布式对象存储集群的对象请求转换为HTTP请求结果返回至宿主机端。分布式对象存储集群，以数据桶(例如数据桶1、数据桶2···数据桶N)的形式提供给分布式对象存储集群的客户端(本专利技术实施例中是指宿主机的接口转换模块)，宿主机的接口转换模块对外提供兼容S3协议的接口，可以进行对象存储数据的存取和管理。如图1所示，由若干节点组成的分布式对象存储集群，创建了N(N为大于1的正整数)个数据桶，用户通过数据桶进行数据本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括：分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器；其中，第一容器和第二容器分别挂载有相同数据桶的容器端文件路径，且第一容器和第二容器为不同的容器；第一宿主机，用于将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统；其中，对象下载请求包括相同数据桶的访问密钥；分布式对象存储子系统，用于对访问密钥进行验证，在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机；第一宿主机，还用于将对象转换成文件后映射至第一容器。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：分布式对象存储子系统、包含第一容器的第一宿主机，及第二容器；其中，第一容器和第二容器分别挂载有相同数据桶的容器端文件路径，且第一容器和第二容器为不同的容器；第一宿主机，用于将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统；其中，对象下载请求包括相同数据桶的访问密钥；分布式对象存储子系统，用于对访问密钥进行验证，在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机；第一宿主机，还用于将对象转换成文件后映射至第一容器。2.如权利要求1所述的数据处理系统，其特征在于，第一宿主机，还用于将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求映射为宿主机端恢复请求；第一宿主机，还用于将宿主机端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统。3.如权利要求1所述的数据处理系统，其特征在于，分布式对象存储子系统在访问密钥验证通过后，还用于检查相同数据桶中与目标文件对应的对象是否存在，在相同数据桶中与目标文件对应的对象存在时，根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机。4.一种应用于如权利要求1至3任一项所述的数据处理系统的数据处理方法，其特征在于，包括：第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统；分布式对象存储子系统对访问密钥进行验证，在访问密钥验证通过后根据对象下载请求读取相同数据桶中与目标文件对应的对象，将读取到的对象发送至第一宿主机；第一宿主机将对象转换成文件后映射至第一容器。5.如权利要求4所述的数据处理方法，其特征在于，第一宿主机将第一容器发起的针对第二容器的容器端文件路径下目标文件的容器端恢复请求转换为对象下载请求，发送对象下载请求至分布式对象存储子系统，包括...

【专利技术属性】
技术研发人员：耿倩，吴仲阳，董济洲，刘伟，郑彩平，刘大鹏，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11