数据存储装置和方法制造方法及图纸

本发明专利技术公开了一种数据存储方法，包括：接收写数据请求后，根据写数据操作度将数据写入第一数据层或第二数据层中；接收读数据请求后，根据读数据操作度查询第二数据层或第一数据层，并返回查询结果。本发明专利技术还公开了一种数据存储装置，包括：处理器、第一数据层和第二数据层。

【技术实现步骤摘要】

本专利技术涉及数据存储技术，尤其涉及一种数据存储装置和方法。
技术介绍
随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节发展到现在的兆兆(T)字节和千兆兆(P)字节。同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合，关系数据库系统已不能全部满足这一要求。现有的大数据处理方案有采用大规模并行处理系统(MPP，Massively Parallel Processing)架构的数据库系统Greenplum、采用分布式系统基础架构的Hadoop等。并且，由大量X86PC加本地硬盘(HDD，Hard Disk Drive)存储组成大规模计算集群的架构已经成为大多数大数据解决方案的主要运行平台，大量的服务器本地硬盘也成了大数据时代主要的存储方式。但是，传统数据都是基于硬盘存储、管理和输入输出(I/O)的，而硬盘的发展速度相对十分缓慢。从IBM公司在1956年9月份推出世界上第一块硬盘至今，主流企业级硬盘的转速已在15,000RPM(转每分)停留了许多年，除了容量还能不断增加外，其他各方面性能一直无法获得更有效的提高，可以说硬盘的性能已经在一定程度上限制了系统整体性能的提升。虽然企业级硬盘可以通过硬盘阵列来提升整体的数据存储和访问效率，但是由于硬盘的数据读/写性能无法大幅提高，数据传输等待时间太长，导致系统数据读/写性能需求和供给之间存在较大矛盾。当前采用硬盘阵列技术也难以满足大数据、云计算等背景下的系统应用需求。从根本上看，存储系统的性能取决于其所依赖的存储器件。HDD仍然是目前最主要的大容量、低成本存储器件。多种新型技术如垂直记录的研究和应用使硬盘的容量在过去的30年里增加了100,000倍，但由于受制于磁头的移动速度，其访问延迟仅仅提高了2倍。而且进一步提高硬盘转速会带来能源消耗和温度问题，因此硬盘的容量与性能之间的矛盾十分突出。随着大数据时代的发展，移动的大数据业务将会有很大的发展。本地硬盘存储也将得到大规模的应用。然而在大多数情况下，基于服务器的本地存储效率并不高，尤其是大容量硬盘的I/O处理能力更加不足。采用硬盘阵列虽然能在一定程度上解决一些存储效率问题，但同时存在成本、物理空间管理、能耗等方面的缺点。近年来，固态硬盘(SSD，Solid State Disk/Drive)的快速发展为提升存储系统性能提供了新的重大机遇。SSD采样用固态电子存储芯片阵列，具有随机读取速度快、功耗低、抗震性好等优点。尽管目前SSD还存在价格偏高，容量较小，并且存在写前擦除、耐久性等限制，SSD与HDD良好的互补性仍然为设计大容量、高性能、低成本的混合存储系统提供了崭新的机遇。但是，在SSD和HDD的混合存储系统中，SSD的写前擦除和写寿命限制对系统的写操作性能影响较大。并且，由于SSD固有的属性限制，SSD还存在不能就地更新(inplace updating)、需写前擦除、擦除寿命等问题。这些问题导致现有混合存储系统中存在写操作面临两难的困境：对于数据的写入策略，若频繁写入SSD，则会影响SSD的使用寿命，但如果频繁写入HDD则又会影响系统的写性能。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例期望提供一种数据存储装置和方法，能够提高写数据操作和读数据的操作性能，且在保证数据安全的同时降低存储成本。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供的一种数据存储方法，包括：接收写数据请求后，根据写数据操作度将数据写入第一数据层或第二数据层中；接收读数据请求后，根据读数据操作度查询第二数据层或第一数据层，并返回查询结果。上述方案中，所述第一数据层包括第一非易失性存储器，所述第二数据层包括第二非易失性存储器。上述方案中，所述方法进一步包括，根据数据使用频率算法和预测命中率算法即时分析，确定所述写数据操作度或所述读数据操作度。上述方案中，所述将数据写入第一数据层或第二数据层中包括：采用回写模式Write-Back所述将数据写入第一非易失性存储器或第二非易失性存储器中。上述方案中，所述将数据写入第一数据层或第二数据层中包括：将所述数据以数据块为单位，通过直接映射、全相联映射或组相联映射将数据块写入所述第一非易失性存储器或所述第二非易失性存储器中。上述方案中，所述方法进一步包括：在查询第二数据层或第一数据层之前，根据读数据操作度查询易失性存储器；设置所述易失性存储器的应用存储空间和读/写加速存储空间，并设置所述易失性存储器的读/写加速存储空间最大和最小可用阈值。本专利技术实施例提供的一种数据存储装置，包括：处理器、第一数据层和第二数据层，所述处理器用于：接收写数据请求后，根据写数据操作度将数据写入第一数据层或第二数据层中；接收读数据请求后，根据读数据操作度查询第二数据层或第一数据层，并返回查询结果；所述第一数据层和第二数据层用于存储所述数据。上述方案中，所述第一数据层包括第一非易失性存储器，所述第二数据层包括第二非易失性存储器。上述方案中，所述处理器进一步用于根据数据使用频率算法和预测命中率算法即时分析确定所述写数据操作度或所述读数据操作度。上述方案中，所述装置进一步包括：易失性存储器和所述易失性存储器的物理镜像；所述处理器进一步用于在查询第二数据层或第一数据层之前，根据读数据操作度查询所述易失性存储器，并设置所述易失性存储器的读/写加速存储空间最大和最小可用阈值。上述方案中，所述处理器进一步用于将所述数据以数据块为单位，通过直接映射、全相联映射或组相联映射将数据块写入所述第一非易失性存储器或所述第二非易失性存储器中。上述方案中，所述第一非易失性存储器包括硬盘；所述第二非易失性存储器包括固态硬盘和/或非易失性随机访问存储器；所述易失性存储器包括随机存取存储器。本专利技术实施例提供的数据存储方法，根据写数据操作度将数据写入第一数据层或第二数据层中，并根据读数据操作度查询第一数据层或第二数据层，从而实现了写数据操作与读数据操作的分流，不仅同时提高了写数据操作和读数据操作性能，并且增强了数据存储的可靠性。本专利技术实施例提供的数据存储装置，设置第一非易失性存储器、第二非易失性存储器及易失性存储器分别用于根据写/读数据操作度存储数据，如此，不仅综合考虑了各种存储介质类型、数据负载、存储系统架构、存储容量、性能、可靠性、成本、以及能耗等多种因素的影响，并通过缓存分层结构将SSD和/或NVRAM作为HDD的缓存，实现了写数据操作和读数据操作的分流，不仅能够降低存储成本，还能够同时提高写数据操作和读数据操作性能。本专利技术实施例通过为随机存取存储器盘(Ramdisk)设置最大和最小可用阈值来保证最大和最小可用量，从而保证了应用存储空间不受影响。本专利技术实施例通过设置所述易失性存储器的物理镜像，能避免因易失性存储器损坏而导致无法访问数据。本专利技术实施例通过回写(Write-Back)模式在执行写数据操作过程中对Ramdisk和HDD加锁，从而保证了数据的安全。附图说明图1为本专利技术实施例提供的数据存储方法的流程示意图；图2为本专利技术实施例提供的缓存分层结构示意图；图3为本专利技术实施例提供的写数据操本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，该方法包括：接收写数据请求后，根据写数据操作度将数据写入第一数据层或第二数据层中；接收读数据请求后，根据读数据操作度查询第二数据层或第一数据层，并返回查询结果。

【技术特征摘要】
1.一种数据存储方法，其特征在于，该方法包括：接收写数据请求后，根据写数据操作度将数据写入第一数据层或第二数据层中；接收读数据请求后，根据读数据操作度查询第二数据层或第一数据层，并返回查询结果。2.根据权利要求1所述的方法，其特征在于，所述第一数据层包括第一非易失性存储器，所述第二数据层包括第二非易失性存储器。3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，根据数据使用频率算法和预测命中率算法即时分析，确定所述写数据操作度或所述读数据操作度。4.根据权利要求2所述的方法，其特征在于，所述将数据写入第一数据层或第二数据层中包括：采用回写模式Write-Back所述将数据写入第一非易失性存储器或第二非易失性存储器中。5.根据权利要求2所述的方法，其特征在于，所述将数据写入第一数据层或第二数据层中包括：将所述数据以数据块为单位，通过直接映射、全相联映射或组相联映射将数据块写入所述第一非易失性存储器或所述第二非易失性存储器中。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法进一步包括：在查询第二数据层或第一数据层之前，根据读数据操作度查询易失性存储器；设置所述易失性存储器的应用存储空间和读/写加速存储空间，并设置所述易失性存储器的读/写加速存储空间最大和最小可用阈值。7.一种数据存储装置，包括：处理器、第一数据层和第二数据层，其特...

【专利技术属性】
技术研发人员：陈航，郭岳，王晓征，徐征，
申请(专利权)人：中国移动通信集团浙江有限公司，
类型：发明
国别省市：浙江;33