支持异构存储的高性能层次化存储系统技术方案

本发明专利技术提供了一种支持异构存储的高性能层次化存储系统，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点；元数据管理模块，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。本发明专利技术有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。

【技术实现步骤摘要】
支持异构存储的高性能层次化存储系统
本专利技术涉及一种存储系统，具体地，涉及一种支持异构存储的高性能层次化存储系统。
技术介绍
在海量大数据的需求下，数据存储的数据分布和数据访问速度对数据处理影响巨大，合理的大数据存储能力和分布能力决定着数据可访问性，高效的数据访问能力决定着计算处理速度。在影像数据处理平台中，数据主要采用集中存储，在面对高分辨率，大数据量的影像数据文件，平台存储处理如果效率不高，在时间紧急等情况下，系统无法完成规模化的数据处理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种支持异构存储的高性能层次化存储系统，其通过能利用异构存储进行大数据的分层存储，配合合理的数据层次化存储算法，可以有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。根据本专利技术的一个方面，提供一种支持异构存储的高性能层次化存储系统，其特征在于，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；文件系统负责组织、管理、维护分布式文件系统存储的所有数据文件，文件在文件系统中以主文件、目录文件、元文件进行存储；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；元数据管理模块，元数据是用来记录文件系统中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。优选地，所述文件系统模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。优选地，所述文件系统模块包括以下功能：文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件系统对象返回文件流对象来执行；文件写，文件系统通过访问元数据模块，获取文件信息，再结合文件系统调度模块，选择数据块存储位置，文件系统便可以将文件写入数据块选择存储的存储层；文件读，通过文件系统对象可以修改文件元数据，或者通过获取一个个输入流来读取文件。优选地，所述数据块存储模块包括以下功能：数据块分配，所有的文件都是以块存储，块存储模块根据文件大小分配定长的数据块进行文件数据存储，同时数据块分布在不同的机器节点上；数据块冗余，为了保证数据的高可靠性，底层通过数据块冗余来保证数据多副本，副本数可以进行预选设置；数据块重平衡，保证文件系统使用过程中，数据块的分布均匀，不会因数据块集中而造成数据访问性能丢失。优选地，所述元数据管理模块包括以下功能：中央存储库：保存所有的元数据集中存储，负责系统正常运转时元数据服务访问；分布式冗余备份：依据系统中不同节点与中央存储库的网络距离对元数据进行备份，使得在元数据在遭遇破坏时能够及时恢复；极端情况下，在某个存储介质发生损坏时，依然可以通过元数据备份访问数据块；元数据的版本控制：采用树形结构保存一定数目的历史版本，以便用户对不同的版本间的恢复，降低错误的更改对系统造成的影响。优选地，所述存储调度模块在各个节点之间的分配调度有以下三种策略选择：贪心分配策略：分配数据块到首个有足够空间的存储节点；最大剩余空间分配策略：分配数据块到有最大剩余空间的存储节点；轮询调度分配策略：分配数据块到通过轮询调度选出节点。优选地，所述可视化模块包括以下功能：增删数据：增删数据提供对存储系统中各个层次的数据的上传与删除等基本的管理工作，方便了用户的操作；系统展示：系统展示模块显示了整个系统的使用概况，各个存储层次的负载情况等；监测管理：监测管理是对整个系统的运行状况的实时监测，以便及时发现过载或者受损的存储介质，对其中的数据进行备份和迁移；存储配置：存储配置则是系统的存储配置管理模块，实现了对系统的可视化配置，便于集群的管理；同时提供配置文件的版本控制的功能，以实现版本间的快速恢复。与现有技术相比，本专利技术具有如下的有益效果：(1)由于数据分层存储，热点数据副本优先加载到性能高的存储，系统根据数据特性充分发挥异构存储的高性能。(2)数据动态调整，现有分布式存储方案都是数据副本静态存储，数据不做迁移，本方案会根据数据的时效性实现数据的动态存储。(3)采用分布式内存缓存数据，相对于集中存储，热点数据只有常用的副本会在内存或高速存储，其他副本可以持久化到磁盘或低速存储，一方面加速分布式计算，一方面提高磁盘利用率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术支持异构存储的高性能层次化存储系统的原理框图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。如图1所示，本专利技术支持异构存储的高性能层次化存储系统包括：文件系统模块，提供不同存储介质上的数据文件的统一访问。文件系统负责组织、管理、维护分布式文件系统存储的所有数据文件，文件在文件系统中以主文件、目录文件、元文件进行存储。数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度。数据块存储模块采用定长分块算法对数据块进行划分。该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值。弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找。由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；元数据管理模块，元数据是用来记录文件系统中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法。提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。文件系统模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。文件系统模块包括以下功能：文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件系统对象返回文件流对象来执行；文件写，文件系统通过访问元数据模块，获取文件本文档来自技高网...

【技术保护点】
一种支持异构存储的高性能层次化存储系统，其特征在于，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；文件系统负责组织、管理、维护分布式文件系统存储的所有数据文件，文件在文件系统中以主文件、目录文件、元文件进行存储；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；元数据管理模块，元数据是用来记录文件系统中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。...

【技术特征摘要】
1.一种支持异构存储的高性能层次化存储系统，其特征在于，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；文件系统负责组织、管理、维护分布式文件系统存储的所有数据文件，文件在文件系统中以主文件、目录文件、元文件进行存储；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；元数据管理模块，元数据是用来记录文件系统中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。2.根据权利要求1所述的支持异构存储的高性能层次化存储系统，其特征在于，所述文件系统模块又包括两个子模块，文件描述子模块和文件体子模块；文件描述子模块记录着对文件大小、类型、文件标志、读写权限等的描述；文件体子模块记录着文件的实际数据信息。3.根据权利要求1所述的支持异构存储的高性能层次化存储系统，其特征在于，所述文件系统模块包括以下功能：文件创建，所有的元数据操作，以及用于文件打开的读操作和写操作，通过文件系统对象返回文件流对象来执行；文件写，文件系统通过访问元数据模块，获取文件信息，再结合文件系统调度模块，选择数据块存储位置，文件系统便可以将文件写入数据块选择存储的存储层；文件读，通过文件系统对象可以修改文件元数据，或者通过获取一个个输入流来读取文件。...

【专利技术属性】
技术研发人员：佘平，高超，邹仕华，张楠，李程，程裕强，谢彬，李宁波，
申请(专利权)人：中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：上海,31