一种高性能数据存储方法、系统与装置制造方法及图纸

本发明专利技术公开了一种高性能数据存储方法、系统与装置，方法包括：数据写入流程和数据读取流程；数据写入流程包括：IO接口将数据写请求发给CPU，CPU分别将数据写入内存、SSD和磁盘阵列；数据读取流程包括：IO接口将数据读请求发给CPU，CPU从内存、SSD或者磁盘阵列中读取数据返回IO接口。另外，本发明专利技术还公开与存储方法匹配的系统和装置的具体内容。本发明专利技术采用2个SSD组成RAID 1，数据有备份，写入速率为磁盘阵列速率+SSD速率，和传统技术比提升了数据可靠性，在提升速率的情况下，没有数据丢失风险。

A high performance data storage method, system and device

【技术实现步骤摘要】
一种高性能数据存储方法、系统与装置
本专利技术属于IT领域，具体涉及一种高性能数据存储方法、系统与装置。
技术介绍
随着生活中的信息被转换为数字，就需要具备存储容量的容器对这些数字进行存储。数据以某种格式记录在计算机内部或外部存储介质上，比如常见的内容条、机械硬盘等。目前的数据存储很难做到高性能存储，比如常见的存储技术包括：存储技术1：在每个硬盘内加入几MB的读写缓存，将部分随机读写转换成顺序读写。缺陷：(1)缓存太小，只能将部分随机读写转换成顺序读写。(2)缓存在单个硬盘内，不是全局缓存，对磁盘阵列整体性能影响小。存储技术2：采用具有备电功能的内存做磁盘阵列的全局缓存。缺陷：(1)需要内存备电装置。(2)内存内的数据无备份，内存发生故障数据就会丢失。(3)备电耗尽时内存内数据就会丢失。存储技术3：采用SSD来组成磁盘阵列。缺陷：磁盘阵列内所有磁盘都采用SSD，成本高。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种高性能数据存储方法、系统与装置。本专利技术的目的是通过以下技术方案来实现的：一种高性能数据存储方法，包括：数据写入流程和数据读取流程；数据写入流程包括：IO接口将数据写请求发给CPU，CPU分别将数据写入内存、SSD和磁盘阵列；数据读取流程包括：IO接口将数据读请求发给CPU，CPU从内存、SSD或者磁盘阵列中读取数据返回IO接口。作为优选方式，数据写入流程包括：IO接口将数据写请求发给CPU，CPU先将数据接收到内存；CPU将内存接受到的数据同时向SSD缓存和磁盘阵列顺序写；CPU将数据写到SSD缓存或磁盘阵列后，向IO接口返回数据写入成功的指令。作为优选方式，数据读取流程包括：IO接口将数据读请求发给CPU后，执行如下操作：CPU查找内存内是否有缓存数据，如果有直接返回；CPU查找SSD内是否有缓存数据，如果有直接返回；CPU从磁盘阵列中读取数据返回IO接口。作为优选方式，它还包括数据整理流程，数据整理流程包括CPU判断系统处于空闲状态，从磁盘阵列中将碎片文件读出写入SSD。系统空闲时，CPU将磁盘阵列内的文件碎片读出到SSD内，然后将这些文件顺序写入磁盘阵列，减少随机读发生概率。作为优选方式，数据整理流程还包括CPU将写入SSD的碎片文件整理成大文件顺序写入磁盘阵列。作为优选方式，采用两个SSD组成RAID1,作为数据全局写缓存；数据写入时CPU控制将顺序写数据直接写入磁盘阵列，随机写入数据则写入SSD缓存，SSD缓存带宽和磁盘阵列带宽共同承担写入的数据流。因为采用RAID1,数据1+1备份，单个SSD故障不会丢失数据。一种高性能数据存储系统，包括IO接口、CPU和存储设备，存储设备包括内存、磁盘阵列和SSD；CPU分别与IO接口、内存、磁盘阵列和SSD连接；采用两个SSD组成RAID1，作为数据全局写缓存；因为采用RAID1,数据1+1备份，单个SSD故障不会丢失数据；数据写入时CPU控制将顺序写数据直接写入磁盘阵列，随机写入数据则写入SSD缓存，SSD缓存带宽和磁盘阵列带宽共同承担写入的数据流。作为优选方式，存储系统采用内存和SSD做为两级读缓存，所以数据读取速率＝内存命中率*内存带宽+SSD命中率*SSD带宽+磁盘阵列带宽。一种高性能数据存储装置，包括IO接口、CPU和存储设备，存储设备包括内存、磁盘阵列和SSD；CPU分别与IO接口、内存、磁盘阵列和SSD连接；非易失缓存采用2个SSD组成RAID1，作为数据全局写缓存；数据有备份，提升可靠性；数据写入时CPU控制将顺序写数据直接写入磁盘阵列，随机写入数据则写入SSD缓存，SSD缓存带宽和磁盘阵列带宽共同承担写入的数据流。作为优选方式，存储装置采用内存和SSD做为两级读缓存，所以数据读取速率＝内存命中率*内存带宽+SSD命中率*SSD带宽+磁盘阵列带宽。本专利技术的有益效果是：1、非易失缓存采用2个SSD组成RAID1，数据有备份，和传统技术比提升了数据可靠性，没有数据丢失风险。2、数据写入时CPU控制将顺序写数据直接写入磁盘阵列，随机写入数据则写入SSD缓存，SSD缓存带宽和磁盘阵列带宽共同承担写入的数据流。传统技术写入速率最大为磁盘阵列的写入速度，本专利技术一方面选择顺序写到磁盘阵列，提升了磁盘阵列写入速度，另一方面增加了SSD缓存同步写入，写入速率为磁盘阵列速率+SSD速率。3、采用内存和SSD做为两级读缓存，所以数据读取速率＝内存命中率*内存带宽+SSD命中率*SSD带宽+磁盘阵列带宽。传统采用内存做缓存，内存空间小，命中率低，速率为存命中率*内存带宽+磁盘阵列带宽。4、传统技术如果自动优化磁盘数据存储结构有丢失数据的风险。本专利技术在系统空闲时，CPU将磁盘阵列内的文件碎片读出到SSD内，然后将这些文件顺序写入磁盘阵列，减少随机读发生概率。附图说明为了更清楚地说明本专利技术实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术存储系统的架构图；图2为数据写入流程示意图；图3为数据读取流程示意图；图4为数据整理流程示意图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。实施例一一种高性能数据存储方法，包括：数据写入流程和数据读取流程；数据写入流程包括：IO接口将数据写请求发给CPU，CPU分别将数据写入内存、SSD和磁盘阵列；数据读取流程包括：IO接口将数据读请求发给CPU，CPU从内存、SSD或者磁盘阵列中读取数据返回IO接口。如图2所示，数据写入流程包括：IO接口将数据写请求发给CPU，CPU先将数据接收到内存；CPU将内存接受到的数据同时向SSD缓存和磁盘阵列顺序写；CPU将数据写到SSD缓存或磁盘阵列后，向IO接口返回数据写入成功的指令。如图3所示，数据读取本文档来自技高网...

【技术保护点】
1.一种高性能数据存储方法，其特征在于，包括：数据写入流程和数据读取流程；/n数据写入流程包括：IO接口将数据写请求发给CPU，CPU分别将数据写入内存、SSD和磁盘阵列；/n数据读取流程包括：IO接口将数据读请求发给CPU，CPU从内存、SSD或者磁盘阵列中读取数据返回IO接口。/n

【技术特征摘要】
1.一种高性能数据存储方法，其特征在于，包括：数据写入流程和数据读取流程；
数据写入流程包括：IO接口将数据写请求发给CPU，CPU分别将数据写入内存、SSD和磁盘阵列；
数据读取流程包括：IO接口将数据读请求发给CPU，CPU从内存、SSD或者磁盘阵列中读取数据返回IO接口。


2.根据权利要求1所述的一种高性能数据存储方法，其特征在于：数据写入流程包括：
IO接口将数据写请求发给CPU，CPU先将数据接收到内存；
CPU将内存接受到的数据同时向SSD缓存和磁盘阵列顺序写；
CPU将数据写到SSD缓存或磁盘阵列后，向IO接口返回数据写入成功的指令。


3.根据权利要求1所述的一种高性能数据存储方法，其特征在于：数据读取流程包括：
IO接口将数据读请求发给CPU后，执行如下操作：
CPU查找内存内是否有缓存数据，如果有直接返回；
CPU查找SSD内是否有缓存数据，如果有直接返回；
CPU从磁盘阵列中读取数据返回IO接口。


4.根据权利要求1所述的一种高性能数据存储方法，其特征在于：它还包括数据整理流程，数据整理流程包括CPU判断系统处于空闲状态，从磁盘阵列中将碎片文件读出写入SSD。


5.根据权利要求4所述的一种高性能数据存储方法，其特征在于：数据整理流程还包括CPU将写入SSD的碎片文件整理成大文件顺序写入磁盘阵列。<...

【专利技术属性】
技术研发人员：张兴星，
申请(专利权)人：北京劲群科技有限公司，
类型：发明
国别省市：北京;11