一种数据存取系统技术方案

本发明专利技术提供一种数据存取系统，包括，第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，且与第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口，分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口，分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口，与处理器相连；第四接口，连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到第二双SSD目录备份存储器。连接到第二双SSD目录备份存储器。连接到第二双SSD目录备份存储器。

【技术实现步骤摘要】
一种数据存取系统


[0001]本专利技术属于计算机数据管理
，具体涉及一种数据存取系统。

技术介绍

[0002]随着网络带宽的增加，网络上面临大量数据的上传和下载，对存储的容量和性能提出了要求。传统的系统的吞吐量（承压能力）与读写请求对CPU的消耗、外部接口、IO等等紧密关联。单个读写请求对CPU消耗越高，外部系统接口、IO响应速度越慢，系统吞吐能力越低，反之越高。随着CPU性能提升，Oracle数据库最大的性能瓶颈在于IO性能。仅使用HDD磁盘会严重的降低数据库的性能，为了解决该问题，业界普遍采用全闪磁盘（SSD磁盘阵列）阵列提升Oracle数据库存储IO性能，随着业务的数据量越来越大，被迫选择更大容量的SAS SSD或NVMe SSD，随之又产生高昂的成本问题及性能过剩问题。另外，对于多个磁盘的情况下，磁盘可能产生扎堆读写，或者部分磁盘的性能退化，而无法及时发现，导致磁盘的数据的读写管理效率低，无法发挥多个磁盘的优势。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的在于提供一种数据存取系统，既能够提高读写性能，也能更高效的管理多个磁盘，具体包括：第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到所述多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，分别连接到所述的处理器，且所述的第二双SSD目录备份存储器和第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口、第二接口、第三接口、第四接口、第五接口，第一接口分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口与处理器相连；第四接口连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到所述的第二双SSD目录备份存储器。
[0004]进一步的，所述性能管理单元包括：性能测试单元、数据接口交换路由单元、以及性能统计调配单元，所述的性能测试单元用于测试SSD存储器和HDD磁盘的读写性能，所述的性能统计调配单元用于对数据存储过程进行调度。
[0005]进一步的，所述数据接口交换路由单元包括路由控制信号接口、第一数据端口、以及第二数据端口，所述的第一数据端口连接到第一SSD缓存阵列，所述的第二数据端口连接到第一HDD磁盘阵列。
[0006]进一步的，所述的多个传感器包括第一组温度传感器、以及第二组温度传感器，所述的第一组温度传感器设置在第一SSD缓存阵列中每个SSD存储器的第一距离处；所述的第
二组温度传感器设置在第一HDD磁盘阵列中每个HDD磁盘的所述一距离处，或与第一距离不同的距离处。
[0007]进一步的，所述的性能测试单元用于测试SSD存储器和HDD磁盘的读写性能，具体包括：向处理器发送第一控制指令，所述处理器收到指令依次向第一SSD缓存阵列中的每个SSD存储器发送数据块写命令，然后向每个SSD存储器写入第一预定大小的数据块，所述的多个并联的SSD存储器序号为1~n，记录每个SSD存储器写入数据完成的时间Tsw1~Tswn；向处理器发送第二控制指令，所述处理器收到指令依次向第一SSD缓存阵列中的每个SSD存储器发送数据块读取命令，然后从每个SSD存储器读取第一预定大小的数据块，记录从每个SSD存储器读取数据完成的时间Tsr1~Tsrn。
[0008]进一步的，向处理器发送第三控制指令，所述处理器收到指令依次向第一HDD磁盘阵列中的每个HDD磁盘发送数据块写命令，然后向每个HDD磁盘写入第二预定大小的数据块，所述的多个HDD磁盘序号为1~m，记录每个HDD磁盘写入数据完成的时间Thw1~Thwm；向处理器发送第四控制指令，所述处理器收到指令依次向第一HDD磁盘阵列中的每个HDD磁盘发送数据块读取命令，然后向每个HDD磁盘读取第二预定大小的数据块，记录从每个HDD磁盘读取数据完成的时间Thr1~Thrm；进一步的，所述的性能统计调配单元，用于对数据存储过程进行调度，具体包括：实时记录在预定时间段内存储到每个HDD磁盘中的累计数据量，分别得到V1~Vm；读取多个传感器的温度数据，得到SSD存储器的温度参数Tps1~Tpsn，以及HDD磁盘的温度参数Tph1~Tphm；基于上述预定时间段的累计数据量、以及温度参数，对上述的HDD磁盘的读写时间进行计算，获得每个HDD磁盘或SSD存储器的当前性能预测值。
[0009]进一步的，所述的性能统计调配单元，用于对数据存储过程进行调度，进一步包括：判断当前写入的数据块的大小，如果大于指定阈值，则：基于每个HDD磁盘的当前性能预测值，将当前需要写入的数据块存储到性能预测值最高的HDD磁盘中；同时，在第二双SSD目录备份存储器中记录当前数据的写入记录和索引目录，所述的索引目录中记录有该数据被写入的磁盘编号和地址。
[0010]进一步的，在第二双SSD目录备份存储器的两个SSD存储器中冗余写入上述索引目录。
[0011]进一步的，当处理器需要读取数据时，预先判断数据大小，当数据大小大于预定阈值时，优先查询上述第二双SSD目录备份存储器，从而从对应的HDD磁盘中获取对应的数据。
[0012]与现有技术相比，本专利技术的有益效果是：本专利技术提出的一种数据存取系统，采用了SSD和HDD的组合存储，通过对读写过程的调度管理，不仅能够有效的提高多个磁盘的数据读写性能，而且能够针对大块数据，进一步提高实时写入能力，防止数据扎堆存储，另外，采用冗余备份的数据目录，能够快速找到对应的数据，防止数据损坏或丢失。
附图说明
[0013]图1为本专利技术的数据存取系统框图；图2为本专利技术的数据存取系统框图的详细示例图；图3为本专利技术中性能管理单元框图。
实施方式
[0014]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]请参阅图1，根据本专利技术的一个实施例，提出一种数据存取系统，既能够提高读写性能，也能更高效的管理多个磁盘，具体包括：处理器1，分别连接到第一SSD缓存阵列2中的多个SSD存储器；所述第一SSD缓存阵列2，包括多个并联的SSD存储器；在此实施例中，SSD存储器是指固态硬盘，其读写性能优于普通的HDD机械硬盘，因此，本专利技术中利用SSD磁盘缓存阵列直接读写处理器执行的读写命令，能够提高实时的读写速度，所述的SSD磁盘缓存阵列中可以设置n个SSD存储器，所述的SSD磁盘例如容量通常有128G，256G，512G等各种容量，然而，如果使用大量SSD存储器，则成本过高，因此，本专利技术进一步配套使用m个机械硬盘，作为大容量数据存储的主要载体。
[0016]第二双SSD目录备份存储器4，包括两个互为备份的第一S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存取系统，其特征在于：包括：第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到所述多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，分别连接到所述的处理器，且所述的第二双SSD目录备份存储器和第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口、第二接口、第三接口、第四接口、第五接口，第一接口分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口与处理器相连；第四接口连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到所述的第二双SSD目录备份存储器。2.根据权利要求1所述的一种数据存取系统，其特征在于：所述性能管理单元包括：性能测试单元、数据接口交换路由单元、以及性能统计调配单元，所述的性能测试单元用于测试SSD存储器和HDD磁盘的读写性能，所述的性能统计调配单元用于对数据存储过程进行调度。3.根据权利要求2所述的一种数据存取系统，其特征在于：所述数据接口交换路由单元包括路由控制信号接口、第一数据端口、以及第二数据端口，所述的第一数据端口连接到第一SSD缓存阵列，所述的第二数据端口连接到第一HDD磁盘阵列。4.根据权利要求2所述的一种数据存取系统，其特征在于：所述的多个传感器包括第一组温度传感器、以及第二组温度传感器，所述的第一组温度传感器设置在第一SSD缓存阵列中每个SSD存储器的第一距离处；所述的第二组温度传感器设置在第一HDD磁盘阵列中每个HDD磁盘的所述第一距离处，或与第一距离不同的第二距离处。5.根据权利要求2所述的一种数据存取系统，其特征在于：所述的性能测试单元用于测试SSD存储器和HDD磁盘的读写性能，具体包括：向处理器发送第一控制指令，所述处理器收到指令依次向第一SSD缓存阵列中的每个SSD存储器发送数据块写命令，然后向每个SSD存储器写入第一预定大小的数据块，所述的多个并联的SSD存储器序号为1~n，记录每个SSD存储器写入数据完成的时间Tsw1~Tswn；向处理器发送第二控制指令，所述...

【专利技术属性】
技术研发人员：姬涛涛，赵冬伟，吴嵩，顾云苏，刘碧楠，李晓鹏，贾宗秀，
申请(专利权)人：天津神舟通用数据技术有限公司，
类型：发明
国别省市：