数据存储系统、数据处理方法、终端及存储介质技术方案

本公开是关于一种数据存储系统、数据处理方法、终端及存储介质。该数据存储系统包括：至少一个工作节点；工作节点包括：内存，用于存储第一类数据；第一类硬盘，用于存储部分第一类数据和/或第二类数据；第二类数据的读写频次低于所述第一类数据的读写频次；第二类硬盘，用于存储第三类数据；其中，第一类硬盘的读取速率，高于第二类硬盘的读取速率；第三类数据的读写频次低于所述第二类数据的读写频次。如此在数据应用中，可方便地对直接从内存中中调取频繁调取高频次应用的数据，从而提高系统对热点数据的处理效率。热点数据的处理效率。热点数据的处理效率。

【技术实现步骤摘要】
数据存储系统、数据处理方法、终端及存储介质


[0001]本专利技术涉及数据存储
，尤其涉及一种数据存储系统、数据处理方法、终端及存储介质。

技术介绍

[0002]随着互联网时代的发展，人们需要获取的数据成指数倍增长。大量数据在工程中得到应用。与此同时，对于大量数据的存储也逐渐变成工程应用中需要解决的问题。按照传统的数据存储方式，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量，这在容量大小、容量增长速度等方面的变现显得差强人意。尤其在存储有大量数据时，根据工程需要调取经常使用的关键数据时，效率较低。

技术实现思路

[0003]有鉴于此，本公开实施例期望提供一种数据存储系统、数据处理方法、终端及存储介质。
[0004]本公开的技术方案是这样实现的：
[0005]本公开提供一种数据存储系统。
[0006]本公开实施例提供的数据存储系统，包括：
[0007]至少一个工作节点；
[0008]所述工作节点包括：
[0009]内存，用于存储第一类数据；
[0010]第一类硬盘，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储系统，其特征在于，所述系统包括：至少一个工作节点；所述工作节点包括：内存，用于存储第一类数据；第一类硬盘，用于存储部分所述第一类数据和/或第二类数据；所述第二类数据的读写频次低于所述第一类数据的读写频次；第二类硬盘，用于存储第三类数据；其中，所述第一类硬盘的读取速率，高于所述第二类硬盘的读取速率；所述第三类数据的读写频次低于所述第二类数据的读写频次。2.根据权利要求1所述的系统，其特征在于，所述第一类硬盘包括：固态硬盘；所述第二类硬盘包括：机械硬盘。3.根据权利要1或2所述的系统，其特征在于，所述第一类硬盘，具体用于存储数据量大于第一阈值的所述第一类数据及所述第二类数据，其中，所述第一阈值为根据所述工作节点的内存空间的容量确定的预设值。4.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：调度节点，用于根据所述存储系统内存储数据的读写频次，动态将数据划分为所述第一类数据、所述第二类数据及所述第三类数据；并根据控制划分的数据类型，调度一个或多个所述工作节点的所述内存、所述第一类硬盘及所述第二类硬盘分别进行所述第一类数据、所述第二类数据及所述第三类数据的存储。5.根据权利要求4所述的系统，其特征在于，所述调度节点，与客户端建立有网络连接，用于接收所述客户端发送的读取请求；在根据所述读取请求确定出所述客户端请求读取一个或多个完整的数据块时，根据所述工作节点的负载率，选择空闲的所述工作节点响应所述读取请求；和/或，在根据所述读取请求确定出所述客户端请求读取一个数据块中的部分数据时，向响应所述读取请求的工作节点发送暂停指令及读取指令；所述暂停指令，用于控制所述工作节点暂停在所述内存内缓存数据，并相应所述读取指令将读取的数据返回给所述客户端。6.根据权利要求4所述的系统，其特征在于，所述调度节点，还用于从所述客户端接收申请存储空间的请求；根据所述工作节点中所述内存的剩余量，在确定出所述工作节点中有所述内存空间量不小于请求的空间容量时，利用剩余的内存资源分配给所述客户端；和/或，在确定出所述工作节点中有所述内存空间量小于请求的空间容量时，将所述内存内访问频次最低的所述第一类数据转移到所述第一类硬盘，释放部分所述内存的存储空间，利用所述内存释放的所述存储空间，分配给所述客户端。7.根据权利要求4所述的系统，其特征在于，所述调度节点，还用于将数据量大于第二阈值的超数据块，拆分多个数据块，并调度多个工作节点中的内存分别存储拆分后不同的所述数据块。8.根据权利要求7所述的系统，其特征在于，所述调度节点，还用于接收到所述客户端读取所述超数据块的读取请求时，将所述读取请求拆分成多个子任务，分别调度多个所述工作节点响应所述子任务；并将多工作节点读取的数据块在聚合队列中聚合后，返回给所述客户端。9.一种数据处理方法，其特征在于，应用于所述数据存储系统的调度节点，所述方法包

【专利技术属性】
技术研发人员：黄智国，沈审，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：