数据处理方法、系统、电子设备及存储介质技术方案

本申请提供了数据处理方法、系统、电子设备及存储介质，该数据处理方法包括：依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定所述第一存储资源分区中存储的待复制的至少一个目标数据；将所述至少一个目标数据复制到所述目标存储资源中的第二存储资源分区，以在所述第二存储资源分区中存储所述至少一个目标数据对应的数据副本；响应于针对所述目标数据的数据读取请求，读取所述目标数据以及所述目标数据对应的数据副本。本申请提供的数据处理方法，能够尽可能的降低目标数据的数据读取延迟，从而能够提高数据读取的效率，降低数据读取的耗时。降低数据读取的耗时。降低数据读取的耗时。

【技术实现步骤摘要】
数据处理方法、系统、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及数据处理方法、系统、电子设备及存储介质。

技术介绍

[0002]在存储资源运行过程中，经常会面临多个同时执行的数据I/O(Input/Output，输入/输出)操作，而同时执行的多个数据I/O操作之间通常会相互干扰，往往会导致至少部分I/O操作所需的耗时增加，进而会导致该至少部分I/O操作所针对数据的数据访问延迟相较于无干扰情况时具有较大幅度的增加。以云计算服务场景为例，当在云计算服务对应的存储资源中同时执行多个云租户对应的I/O操作时，由于同时执行的多个云租户对应的数据I/O操作之间的相互干扰，会导致至少部分云租户对应的数据I/O操作所需的耗时增加，进而会导致该至少部分云租户对应的数据I/O操作所针对数据的数据访问延迟相较于无干扰情况时具有较大幅度的增加，从而产生了坏邻居效应(Noisy Neighbor Effect)。
[0003]由于坏邻居效应会增加存储资源中的存储的部分数据的数据读取延迟，然而，为了提高数据读取的效率，降低数据读取的耗时，需要降低数据读取延迟，从而如何降低数据读取延迟成为了亟待解决的技术问题。

技术实现思路

[0004]本申请实施例提供了数据处理方法、系统、电子设备及存储介质，以解决上述一个或多个技术问题。
[0005]第一方面，本申请实施例提供了一种数据处理方法，包括：
[0006]依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定第一存储资源分区中存储的待复制的至少一个目标数据；
[0007]将至少一个目标数据复制到目标存储资源中的第二存储资源分区，以在第二存储资源分区中存储至少一个目标数据对应的数据副本；
[0008]响应于针对目标数据的数据读取请求，读取目标数据以及目标数据对应的数据副本。
[0009]第二方面，本申请实施例还提供了一种数据处理方法，包括：
[0010]依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定第一存储资源分区中存储的待复制的至少一个目标数据；目标数据包括k+m个数据块中分配至目标存储资源的数据块；k+m个数据块分别分配至分布式存储系统中的对应存储资源进行存储；k个数据块基于对设定数据进行数据分割得到；m个数据块基于对k个数据块进行校验编码得到；k、m为正整数；
[0011]将至少一个目标数据复制到目标存储资源中的第二存储资源分区，以在第二存储资源分区中存储至少一个目标数据对应的数据副本；
[0012]响应于针对目标数据的数据读取请求，读取目标数据以及目标数据对应的数据副
本。
[0013]第三方面，本申请实施例提供了一种数据处理系统，包括：数据存储节点以及数据读取节点；
[0014]数据存储节点，用于执行上述任一项的方法，以在第二存储资源分区中存储至少一个目标数据对应的数据副本；
[0015]数据读取节点，用于响应于针对目标数据的数据读取请求，读取目标数据以及目标数据对应的数据副本。
[0016]第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器在执行计算机程序时实现上述任一项的方法。
[0017]第五方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一项的方法。
[0018]与相关技术相比，本申请具有如下优点：
[0019]本申请实施例提供的数据处理方法，先依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定第一存储资源分区中存储的待复制的至少一个目标数据，然后，再将至少一个目标数据复制到目标存储资源中的第二存储资源分区，以在第二存储资源分区中存储至少一个目标数据对应的数据副本，之后，会响应于针对目标数据的数据读取请求，读取目标数据以及目标数据对应的数据副本。
[0020]由于将目标数据以及目标数据对应的数据副本隔离在了第一存储资源分区以及第二存储资源分区，并且针对目标数据的数据读取请求，会在第一存储资源分区中执行针对目标数据的数据读取操作，以及在第二存储资源分区中执行针对目标数据对应的数据副本的数据读取操作，而在执行上述两个数据读取操作的同时，还在第一存储资源分区以及在第二存储资源分区中均执行其他数据I/O操作的可能性较小，从而上述两个数据读取操作同时受到其他数据I/O操作的干扰的概率较低，进而上述两个数据读取操作中的至少一个数据读取操作所需的耗时，有较大可能低于在不对目标存储资源进行资源分区时在目标存储资源中执行针对目标数据的数据读取操作的耗时。而无论是在第一存储资源分区中完成了针对目标数据的数据读取操作，还是在第二存储资源分区中完成了针对目标数据对应的数据副本的数据读取操作，均可视为在目标存储资源读取到了目标数据，因此，本申请实施例提供的数据处理方法能够尽可能的降低目标数据的数据读取延迟，从而能够提高数据读取的效率，降低数据读取的耗时。
[0021]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0022]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
[0023]图1示出了本申请实施例中提供的数据读取方案的场景示意图；
[0024]图2示出了本申请实施例中提供的一种数据处理方法的流程图；
[0025]图3示出了本申请实施例中提供的另一种数据处理方法的流程图；
[0026]图4示出了本申请实施例中提供的一种数据处理装置的结构框图；
[0027]图5示出了本申请实施例中提供的一种数据处理系统的结构框图；以及
[0028]图6示出了用来实现本申请实施例的电子设备的框图。
具体实施方式
[0029]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。
[0030]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
[0031]本申请实施例中涉及到数据处理的方案，数据处理包括数据存储过程以及数据读取过程，具体的，数据存储过程用于将第一存储资源分区中存储的待复制的至少一个目标数据复制到第二存储资源分区，数据读取过程用于在第一存储资源分区、第二存储资源分区中分别对目标数据、目标数据对应的数据副本进行数据读取。其中，第一存储资源分区以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其中，包括：依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定所述第一存储资源分区中存储的待复制的至少一个目标数据；将所述至少一个目标数据复制到所述目标存储资源中的第二存储资源分区，以在所述第二存储资源分区中存储所述至少一个目标数据对应的数据副本；响应于针对所述目标数据的数据读取请求，读取所述目标数据以及所述目标数据对应的数据副本。2.根据权利要求1所述的方法，其特征在于，所述将所述至少一个目标数据复制到所述目标存储资源中的第二存储资源分区，包括：将所述至少一个目标数据复制到所述第二存储资源分区中的未使用的独立存储区域。3.根据权利要求1或2所述的方法，其特征在于，所述复制条件包括设定数据标识，所述设定数据标识用于标识数据对数据读取延迟敏感；所述依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定所述第一存储资源分区中存储的待复制的至少一个目标数据，包括：针对所述第一存储资源分区中存储的数据，筛选出携带有所述设定数据标识的数据；将携带有所述设定数据标识的数据确定为所述目标数据。4.根据权利要求1或2所述的方法，其特征在于，所述复制条件包括数据访问频率；所述依据预设的复制条件，针对目标存储资源中的第一存储资源分区，确定所述第一存储资源分区中存储的待复制的至少一个目标数据，包括：对所述第一存储资源分区中存储的数据分别进行数据访问频率统计，获得对应的所述数据访问频率；在所述第一存储资源分区中存储的数据中，筛选出所述数据访问频率达到设定频率阈值的数据；将所述数据访问频率达到设定频率阈值的数据确定为所述目标数据。5.根据权利要求1所述的方法，其特征在于，所述响应于针对所述目标数据的数据读取请求，读取所述目标数据以及所述目标数据对应的数据副本，包括：获取所述目标存储资源对应的带宽使用情况；在所述带宽使用情况符合设定使用情况时，读取所述目标数据以及所述目标数据对应的数据副本。6.根据权利要求1所述的方法，其特征在于，在所述针对目标存储资源中的第一存储资源分区，确定所述第一存储资源分区中存储的待复制的至少一个目标数据之前，所述方法还包括：获取待存储数据对应的多个数据类型；依据所述多个数据类型，对所述目标存储资源进行资源分区，得到各数据类型对应的存储资源分区，以将所述目标存储资源划分为多个存储资源...

【专利技术属性】
技术研发人员：李碧涵，杜宇，李启阳，吴忠杰，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：