一种数据处理系统、方法及设备技术方案

一种数据处理系统、方法及设备，本申请中，存储设备以数据备份链的形式存储数据副本，该数据备份链是以数据副本备份在存储设备的时间顺序记录存储设备中的各个数据副本。任一数据访问实例，该数据访问实例具体数据访问功能，该数据访问实例能够处理该数据访问请求。该数据访问实例可以进行数据备份，将该数据访问实例存储空间中的数据作为数据备份链中的数据副本备份到存储设备。在存储设备的支持下，数据访问实例还具备数据容灾功能以及数据分级功能。该数据处理系统支持一种或多种多副本技术，且存储设备仅以数据备份链的形式存储的数据副本，并不需要存储多份数据备份链，能够有效减少存储资源的占用。够有效减少存储资源的占用。够有效减少存储资源的占用。

【技术实现步骤摘要】
一种数据处理系统、方法及设备
[0001]相关申请的交叉引用
[0002]本申请要求在2022年2月14日提交中华人民共和国知识产权局、申请号为202210135308.1、专利技术名称为“一种融合容灾、备份和分级的系统和方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0003]本申请涉及通信
，尤其涉及一种数据处理系统、方法及设备。

技术介绍

[0004]随着技术的发展，在存储领域出现了多种数据多副本技术，比如数据容灾备份、数据分级备份、数据备份等。
[0005]容灾是指当存储系统中的节点发生“灾难”无法继续提供服务时，可以由之前进行了数据容灾备份的其他节点代替发生“灾难”的节点继续提供服务。容灾的机制中要求存储系统中的节点需要在该其他节点中备份用于容灾的数据副本。
[0006]数据分级是指按照数据的访问频率将数据分为热数据、温数据以及冷数据等。存储系统中的节点可以在远端节点或者云端节点备份一些访问频率较低的数据(如温数据以及冷数据等)的数据副本，本地只保存热数据，这样的备份方式称为数据分级备份。
[0007]前述的数据备份是指普通的数据备份，也即存储系统中的节点可以将本地存储的数据备份在其他节点，在其他节点形成数据副本，在本地存储的数据发生损坏或丢失等情况下，该节点可以利用其他节点中的数据副本进行恢复等。
[0008]在存储领域，不同的数据多副本技术是相互独立的，用户为了实现不同的技术目的，需要使用不同的多副本技术。例如：为实现容灾的目的而生成的数据副本，为实现数据分级目的，而生成的数据副本，以及为了实现其他目的而生成的数据副本。存储这些副本会导致较多的存储资源会被占用。

技术实现思路

[0009]本申请提供一种数据处理系统、方法及设备，用以解决多副本技术引起的资源浪费。
[0010]第一方面，本申请实施例提供了一种数据处理系统，该数据处理系统中包括多个存储设备，这里以多个存储设备中的第一存储设备、第二存储设备以及第三存储设备为例进行说明。
[0011]在该数据处理系统中，第一存储设备具备数据存储功能，第一存储设备存储数据副本。在第一存储设备中，以数据备份链的形式存储数据副本。该数据备份链是以数据副本备份在第一存储设备的时间顺序记录第一存储设备中的各个数据副本。
[0012]第二存储设备具体数据访问功能。该第二存储设备能够接收数据访问请求，处理数据访问请求，该数据访问请求用于请求访问数据。该第二存储设备在接收到该数据访问
请求后，根据数据访问请求访问该第二存储设备的存储空间中的数据。该第二存储设备的存储空间是指该第二存储设备能够直接进行数据读取的缓存，该存储空间可以为该第二存储设备的存储组件，如内存、硬盘等，也可以为第二存储设备上部署的存储软件，如文件系统，还可以是其他设备上部署的存储软件。
[0013]该第二存储设备除了能够处理数据访问请求，还可以进行数据备份。该第二存储设备在进行数据备份时，将该存储空间中的数据备份到第一存储设备中。该第二存储设备每次备份的数据作为第一存储设备中数据备份链中的一个数据副本。
[0014]该数据处理系统还支持如下部分或全部操作：
[0015](1)、数据容灾。
[0016]当该第二存储设备发生故障时，该第三存储设备能够代替该发生故障的第二存储设备实现数据访问功能，处理数据访问请求。第三存储设备在处理数据访问请求时，根据该数据访问请求访问第一存储设备中的数据副本。该数据副本是发生故障的第二存储设备在故障发生前备份在该第一存储设备中的。
[0017](2)、数据分级。
[0018]在实现数据分级时，可以将数据进行划分，如划分为低级别数据、高级别数据等多种数据。本申请实施例中并不限定数据划分的方式，例如，按照数据访问频率进行划分，低级别数据是指数据访问频率低于阈值的数据。高级别数据是指数据访问频率高于阈值的数据。又例如，按照数据类型的方式进行划分，低级别数据为语音类型的数据，高级别数据为图片或视频类型的数据。本申请实施例也并不限定数据划分的粒度，如以块为粒度划分数据，又如以对象或文件划分数据。在本申请实施例中，以低级别数据为冷数据，高级别数据为热数据为例进行说明。关于冷数据以及热数据的处理方式同样适用于采用其他数据划分方式、粒度所形成的低级别数据、高级别数据等多种数据。
[0019]当第二存储设备在该第二存储设备的存储空间中的数据中存在冷数据(低级别数据)，且冷数据已包含在备份到第一存储设备的数据副本的情况下，第二存储设备删除第二存储设备的存储空间中的冷数据；保留第二存储设备上的热数据(高级别数据)。第二存储设备在该存储空间中保存该冷数据的位置信息，该冷数据的位置信息用于指示冷数据在第一存储设备的存储位置。
[0020]通过上述系统，数据处理系统中的存储设备除了实现数据备份的功能之外，还能够实现数据容灾或者数据分级的功能。保证该数据处理系统支持多种多副本技术的情况下，仅以一个数据备份链的形式存储的数据副本，并不需要存储多份数据备份链。也就是说，仅存储一套副本就实现了多个功能，而不是为了实现每个功能而分别存储副本，因此能够有效减少存储资源的占用。
[0021]在一种可能的实现方式中，当该第三存储设备在代替发生故障的第二存储设备处理数据访问请求时，还可以进行数据备份。该第三存储设备将该第三存储设备的存储空间中的数据备份在第一存储设备中，其中，该第三存储设备每次备份的数据作为数据备份链中的一个数据副本。也就是说，该第三存储设备在处理数据访问请求时将该第三存储设备的存储空间中的数据备份到第一存储设备中。
[0022]通过上述系统，该第二存储设备在实现数据容灾的功能时，该第二存储设备还进行了数据备份，以保证该第二存储设备在处理该数据访问请求时所存储的数据能够保存在
第一存储设备中。
[0023]在一种可能的实现方式中，对于该数据处理系统中发生故障的第二存储设备，当该第二存储设备故障恢复后，故障恢复后的第二存储设备能够从该数据备份链中获取该第三存储设备备份的数据副本，利用获取的数据副本恢复第二存储设备的存储空间中的数据。
[0024]通过上述系统，发生故障的第二存储设备在故障恢复后能够利用第一存储设备中存储的数据副本恢复第二存储设备的存储空间中的数据，以保证故障恢复后的第二存储设备能够继续支持数据访问。
[0025]在一种可能的实现方式中，当第二存储设备在冷数据转换为热数据后，第二存储设备用备份到第一存储设备的数据副本中的冷数据恢复第二存储设备的存储空间中的数据。例如，第二存储设备从第一存储设备获取冷数据。在该第二存储设备的存储空间中存储该冷数据。
[0026]通过上述系统，第二存储设备在冷数据转为热数据后，第二存储设备在第二存储设备的存储空间中再重新存储该热数据，保证第二存储设备能够高效的访问该热数据。
[0027]在一种可能的实现方式中，当第二存储设备的存储空间中的数据发生损坏或丢失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括：第一存储设备，用于以数据备份链的形式存储数据副本，所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本；第二存储设备，用于接收数据访问请求，根据所述数据访问请求访问所述第二存储设备的存储空间中的数据；所述第二存储设备，还用于将所述第二存储设备的存储空间中的数据备份在所述第一存储设备中，所述第二存储设备每次备份的数据作为所述数据备份链中的一个数据副本；其中：所述数据处理系统还包括第三存储设备，所述第三存储设备用于在所述第二存储设备发生故障的情况下，代替所述第二存储设备实例处理所述数据访问请求，根据所述数据访问请求访问所述存储设备中的数据副本；或者所述第二存储设备，还用于：在所述第二存储设备的存储空间中的低级别数据已包含在备份到所述第一存储设备的数据副本的情况下，删除所述第二存储设备的存储空间中的低级别数据。2.如权利要求1所述的系统，其特征在于，所述第三存储设备，还用于：将所述第三存储设备的存储空间中的数据备份在所述第一存储设备中，其中，所述第三存储设备每次备份的数据作为所述数据备份链中的一个数据副本。3.如权利要求1或2所述的系统，其特征在于，所述第二存储设备，还用于在所述低级别数据转换为高级别数据的情况下，用备份到所述第一存储设备的数据副本中的低级别数据恢复所述第二存储设备的存储空间中的数据。4.如权利要求1～3任一项所述的系统，其特征在于，所述第二存储设备，还用于在所述第二存储设备的存储空间中的数据发生损坏或丢失的情况下，从所述数据备份链中获取数据副本，利用所述数据副本恢复发生损坏或丢失的数据。5.如权利要求1～4任一项所述的系统，其特征在于，所述第二存储设备在将所述第二存储设备的存储空间中的数据备份在所述第一存储设备中，用于：将所述第二存储设备的存储空间中的数据以数据增量的方式备份在所述第一存储设备中，每次备份的数据作为所述数据备份链中的一个数据副本；或将所述第二存储设备的存储空间中的数据以数据全量的方式备份在所述第一存储设备中，每次备份的数据作为所述数据备份链中的一个数据副本。6.如权利要求1～5任一项所述的系统，其特征在于，所述第一存储设备、所述第二存储设备或所述第三存储设备采用如下部分或全部部署方式：所述第二存储设备与所述第一存储设备为同一设备；所述第三存储设备与所述第一存储设备为同一设备。7.如权利要求1～6任一项所述的系统，其特征在于，所述数据访问请求所基于的协议为下列的部分或全部：可移植操作系统接口POSIX协议、网络文件系统NFS、服务器消息块SMB协议、Hadoop分布式文件系统协议HDFS。8.如权利要求1～7任一项所述的系统，其特征在于，所述第二存储设备，还用于：从所述第一存储设备获取备份的数据副本，对所述数据副本进行分析操作，所述分析
操作包括：查询、统计。9.一种数据处理方法，其特征在于，所述方法包括：第一数据访问实例接收数据访问请求，根据所述数据访问请求访问所述第一数据访问实例的存储空间中的数据；所述第一数据访问实例将所述第一数据访问实例的存储空间中的数据备份在存储设备中，其中，所述存储设备以数据备份链的形式存储数据副本，所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本，所述第一数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本；所述数据处理方法还包括如下部分或全部：(1)、第二数据访问实例在所述第一数据访问实例发生故障的情况下，代替所述第一数据访问实例处理所述数据访问请求，根据所述数据访问请求访问所述存储设备中的数据副本；(2)、所述第一数据访问实例在所述第一数据访问实例的存储空间中的低级别数据已包含在备份到所述存储设备的数据副本的情况下，删除所述第一数据访问实例的存储空间中的低级别数据。10.如权利要求9所述的方法，其特征在于，所述第二数据访问实例，还用于：将所述第二数据访问实例的存储空间中的数据备份在所述存储设备中，其中，所述第二数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本。11.如权利要求9或10所述的方法，其特征在于，所述第一数据访问实例，还用于在所述低级别数据转换为高级别数据的情况下，用备份到所述存储设备的数据副本中的低级别数...

【专利技术属性】
技术研发人员：杨幸坤，陈克云，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：