数据处理方法、装置、存储介质以及电子设备制造方法及图纸

本申请公开了一种数据处理方法、装置、存储介质以及电子设备。其中，该方法包括：获取各个数据节点传入的各个数据；根据映射关系将各个数据映射存入至对应的数据分片；确定存储区域的优先级，其中，存储区域包括：固态驱动器以及硬盘驱动器；将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域，在固态驱动器的缓冲区域的占用率达到预设阈值后，将剩余数据写入硬盘驱动器。本申请解决了由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜，以及引发热数据竞争和冷数据存储资源浪费的技术问题。据存储资源浪费的技术问题。据存储资源浪费的技术问题。

【技术实现步骤摘要】
数据处理方法、装置、存储介质以及电子设备


[0001]本申请涉及大数据领域，具体而言，涉及一种数据处理方法、装置、存储介质以及电子设备。

技术介绍

[0002]相关技术在计算中生产计算节点，然后加密传输至云平台进行存储，但是仍然存在着大数据在云计算的过程中对多用户、多任务和多优先级的访问流会产生访问数据倾斜现象，导致基于统一管理的存储数据发生严重倾斜，从而引发热数据竞争和冷数据存储资源浪费的问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、装置、存储介质以及电子设备，以至少解决由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜，以及引发热数据竞争和冷数据存储资源浪费的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取各个数据节点传入的各个数据；根据映射关系将各个数据映射存入至对应的数据分片；确定存储区域的优先级，其中，存储区域包括：固态驱动器以及硬盘驱动器；将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域，在固态驱动器的缓冲区域的占用率达到预设阈值后，将剩余数据写入硬盘驱动器。
[0006]可选地，根据映射关系将各个数据映射存入至对应的数据分片，包括：确定各个数据对应的初始键值对，将初始键值对映射为目标二元组；根据目标二元组中的键值确定各个数据所属的数据分片。
[0007]可选地，方法还包括：确定各个数据的访问状况，根据访问状况对各个数据进行划分，将各个数据分类为热数据或者冷数据。
[0008]可选地，在将各个数据分类为热数据或者冷数据之后，方法还包括：获取全局的数据副本负载值，在当前时段执行的任务为非本地性任务的情况下，确定热数据对应的数据块，自动从其他节点对数据块进行拷贝。
[0009]可选地，在将各个数据分类为热数据或者冷数据之后，方法还包括：间隔预定周期检测数据节点上存储的数据块负载，在数据块负载与正常负载的差值小于预设阈值的情况下，获取数据节点对应的数据副本总数；在数据副本总数为预定数量的情况下，下发纠删码给数据节点；接收数据块返回的数据信息，将数据信息单独存储至冷数据独立磁盘阵列。
[0010]可选地，在数据副本总数不为预定数量的情况下，删除数据节点上数据块中的文件并将删除信息上报，其中，删除信息包括：文件对应的文件名称及位置。
[0011]可选地，确定各个数据的访问状况，根据访问状况对各个数据进行划分，将各个数
据分类为热数据或者冷数据，包括：至少获取各个数据对应的各个文件名与各个访问时间；确定各个文件名对应的访问次数，在访问次数大于预设访问次数，确定数据为热数据；或者，在访问时间属于目标时段的情况下，确定数据为热数据；在访问次数小于预设访问次数，确定数据为冷数据；或者，在访问时间属于目标时段的情况下，确定数据为冷数据。
[0012]根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取各个数据节点传入的各个数据；映射模块，用于根据映射关系将各个数据映射存入至对应的数据分片；确定模块，用于确定存储区域的优先级，其中，存储区域包括：固态驱动器以及硬盘驱动器，将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域，在固态驱动器的缓冲区域的占用率达到预设阈值后，将剩余数据写入硬盘驱动器。
[0013]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，包括：存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行任意一项数据处理方法。
[0014]根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现任意一项数据处理方法。
[0015]在本申请实施例中，采用划分数据访问热度的方式，通过获取各个数据节点传入的各个数据；根据映射关系将各个数据映射存入至对应的数据分片；确定存储区域的优先级，其中，存储区域包括：固态驱动器以及硬盘驱动器；将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域，在固态驱动器的缓冲区域的占用率达到预设阈值后，将剩余数据写入硬盘驱动器，达到了减少大数据云计算存储过程中数据冗余的目的，从而实现了降低热数据竞争以及避免冷数据存储资源浪费的技术效果，进而解决了由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜，以及引发热数据竞争和冷数据存储资源浪费技术问题。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1是根据本申请实施例的一种数据处理方法的流程示意图；
[0018]图2是根据本申请实施例的一种可选的数据处理方法的流程示意图；
[0019]图3是根据本申请实施例的一种数据处理方法的数据执行流程示意图；
[0020]图4是根据本申请实施例的一种数据处理方法的数据流示意图；
[0021]图5是根据本申请实施例的一种数据处理方法的装置结构示意图；
[0022]图6是根据本申请实施例的一种示例电子设备600的示意性框图。
具体实施方式
[0023]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0024]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]根据本申请实施例，提供了一种数据处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0026]图1是根据本申请实施例的一种数据处理方法，如图1所示，该方法包括如下步骤：
[0027]步骤S102，获取各个数据节点传入的各个数据；
[0028]步骤S104，根据映射关系将各个数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取各个数据节点传入的各个数据；根据映射关系将所述各个数据映射存入至对应的数据分片；确定存储区域的优先级，其中，所述存储区域包括：固态驱动器以及硬盘驱动器；将所述数据分片中存储的数据优先输入到所述固态驱动器中的多个缓冲区域，在所述固态驱动器的所述缓冲区域的占用率达到预设阈值后，将剩余数据写入所述硬盘驱动器。2.根据权利要求1所述的方法，其特征在于，根据映射关系将所述各个数据映射存入至对应的数据分片，包括：确定所述各个数据对应的初始键值对，将所述初始键值对映射为目标二元组；根据所述目标二元组中的键值确定所述各个数据所属的数据分片。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述各个数据的访问状况，根据所述访问状况对所述各个数据进行划分，将所述各个数据分类为热数据或者冷数据。4.根据权利要求3所述的方法，其特征在于，在将所述各个数据分类为热数据或者冷数据之后，所述方法还包括：获取全局的数据副本负载值，在当前时段执行的任务为非本地性任务的情况下，确定所述热数据对应的数据块，自动从其他节点对所述数据块进行拷贝。5.根据权利要求3所述的方法，其特征在于，在将所述各个数据分类为热数据或者冷数据之后，所述方法还包括：间隔预定周期检测数据节点上存储的数据块负载，在所述数据块负载与正常负载的差值小于预设阈值的情况下，获取所述数据节点对应的数据副本总数；在所述数据副本总数为预定数量的情况下，下发纠删码给所述数据节点；接收所述数据块返回的数据信息，将所述数据信息单独存储至冷数据独立磁盘阵列。6.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：周兆星，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：