一种基于NVM存储设备的快速大数据系统及其设计方法技术方案

本发明专利技术公开了一种基于NVM存储设备的快速大数据系统及其设计方法，针对现有大数据系统访问本地存储设备效率较低的问题，引入NVM存储设备替换传统存储设备，设计基于NVM存储设备的快速大数据系统来工作；包括快速大数据系统的结构设计和基于NVM存储设备的高速节点存储子系统构建方法。本发明专利技术使用基于NVM存储设备的高速节点存储子系统构建方法，在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。本发明专利技术可应用于支撑各类大数据应用，提高其执行和访问数据的效率。

A fast large data system based on NVM storage device and its design method

This invention discloses a fast large data system based on NVM storage device and its design method. In view of the problem that the existing large data system can access the low efficiency of local storage equipment, the NVM storage device is introduced to replace the traditional storage equipment and the fast large data system based on the NVM storage device is designed to work, including fast large data. The structure design of the system and the construction method of high-speed node storage subsystem based on NVM storage device are introduced. The invention uses a high speed node storage subsystem construction method based on NVM storage device to efficiently store metadata and data in the metadata node server and data node server, and improve the efficiency of storing and accessing massive data in large data systems. The invention can be applied to support various kinds of big data applications, and improve the efficiency of executing and accessing data.

【技术实现步骤摘要】
一种基于NVM存储设备的快速大数据系统及其设计方法
本专利技术属于大数据系统领域，具体涉及大数据系统的数据存储与访问效率，设计了一种基于NVM存储设备的快速大数据系统。主要引入NVM存储设备替换传统存储设备，使用基于NVM存储设备构建高速节点存储子系统，设计基于NVM存储设备的快速大数据系统，在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。
技术介绍
大数据系统是当前研究与开发的热点，Hadoop其中的典型代表，具有处理海量数据的能力，但大数据系统中节点服务器本地存储设备一般使用Disk和基于Flash的SSD，性能较低；Hadoop中数据结点在频繁的与客户端交互过程中会形成大量的I/O操作，文件存取的时间远大于传输的时间，大部分时候造成集群效率下降的原因不是网络问题，而是物理设备的I/O效率问题，I/O效率已经成为大数据系统中不得不面对的瓶颈问题。所以对于提高大数据系统的效率，不但要优化内存资源的占用；也必须提高系统的I/O性能和减少读写操作的时间延迟，新型的高性能存储设备的出现如NVM给了我们一个很好的机会来提高大数据系统的I/O性能。
技术实现思路
本专利技术的目的在于提供一种基于NVM存储设备的快速大数据系统及其设计方法，以实现在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。本专利技术针对现有大数据系统访问本地存储设备效率较低的问题，引入NVM存储设备替换传统存储设备，设计基于NVM存储设备的快速大数据系统来工作；包括快速大数据系统的结构设计和基于NVM存储设备的高速节点存储子系统构建方法，具体技术方案如下：一种基于NVM存储设备的快速大数据系统设计方法，包括快速大数据系统的结构设计，其特征在于：还包括引入NVM存储设备，基于NVM存储设备对高速节点存储子系统进行构建，以在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率，具体包括以下步骤：步骤一，使用NVM存储设备替换Disk和基于Flash的SSD；步骤二，使用Ext4单机文件系统对NVM存储设备进行格式化；步骤三，将格式化后的NVM存储设备挂入虚拟文件系统；步骤四，由此构建了由NVM存储设备、单机文件系统和虚拟文件系统所构成的基于NVM存储设备高速节点存储子系统。一种基于NVM存储设备的快速大数据系统，包括一个元数据节点服务器、多个数据节点服务器、大数据系统元数据节点端、大数据系统数据节点端、大数据系统节点虚拟文件系统和大数据系统节点单机文件系统，其特征在于：还包括大数据系统节点NVM存储设备；使用所述基于NVM存储设备的高速节点存储子系统构建方法构建而得；首先快速大数据系统中包含元数据节点服务器和数据节点服务器两类节点，并使用大数据系统元数据节点端和大数据系统数据节点端进行连接，在这两类节点服务器中均使用大数据系统节点虚拟文件系统、大数据系统节点单机文件系统和大数据系统节点NVM存储设备。本专利技术具有有益效果。本专利技术在大数据系统的各节点服务器中，利用NVM存储设备构建高速节点存储子系统，有效提高大数据系统访问本地元数据和数据的效率，从而提高大数据系统访问海量数据时的速度。附图说明图1是本专利技术的结构图；图2是用户与快速大数据系统中元数据节点服务器和数据节点服务器之间的交互过程；图3是快速大数据系统中元数据节点服务器各模块之间的交互过程；图4是快速大数据系统中数据节点服务器各模块之间的交互过程；图5是快速大数据系统写性能的测试结果图；图6是快速大数据系统读性能的测试结果图。具体实施方式实施例1如图1所示，一种基于NVM存储设备的快速大数据系统，包括一个元数据节点服务器和多个数据节点服务器，其中分布着大数据系统元数据节点端、大数据系统数据节点端、大数据系统节点虚拟文件系统、大数据系统节点单机文件系统和大数据系统节点NVM存储设备等模块，模块在两类服务器中的分布和功能说明如表1所示。表1基于NVM存储设备的快速大数据系统中各类型服务器和各功能模块一种基于NVM存储设备的快速大数据系统中，用户与元数据节点服务器、数据节点服务器之间的交互过程如图2所示；元数据节点服务器中各模块的之间的交互如图3所示；数据节点服务器中各模块的之间的交互如图4所示。实施例2使用Hadoop搭建大数据系统，使用3台服务器搭建了测试环境，其中元数据节点服务器1台，数据节点服务器2台，每台服务器配有Intel(R)Xeon(R)E56062.13GHz处理器2个，128GB内存，操作系统是Centos6.7，Hadoop的版本是2.8，网络是56GB的Infiniband，通信协议是RDMA；在Hadoop的元数据节点服务器和数据节点服务器中，使用PMBD模拟NVM存储设备，使用Linux系统中虚拟文件系统和Ext4单机文件系统，实现基于NVM存储设备的高速节点存储子系统构建方法，构成基于NVM存储设备高速节点存储子系统测试工具为TestDFSIO，测试结果如图5和图6所示。本文档来自技高网...

【技术保护点】
1.一种基于NVM存储设备的快速大数据系统设计方法，包括快速大数据系统的结构设计，其特征在于：还包括引入NVM存储设备，基于NVM存储设备对高速节点存储子系统进行构建，以在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率，具体包括以下步骤：步骤一，使用NVM存储设备替换Disk和基于Flash的SSD；步骤二，使用Ext4单机文件系统对NVM存储设备进行格式化；步骤三，将格式化后的NVM存储设备挂入虚拟文件系统；步骤四，由此构建了由NVM存储设备、单机文件系统和虚拟文件系统所构成的基于NVM存储设备高速节点存储子系统。

【技术特征摘要】
1.一种基于NVM存储设备的快速大数据系统设计方法，包括快速大数据系统的结构设计，其特征在于：还包括引入NVM存储设备，基于NVM存储设备对高速节点存储子系统进行构建，以在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率，具体包括以下步骤：步骤一，使用NVM存储设备替换Disk和基于Flash的SSD；步骤二，使用Ext4单机文件系统对NVM存储设备进行格式化；步骤三，将格式化后的NVM存储设备挂入虚拟文件系统；步骤四，由此构建了由NVM存储设备、单机文件系统和虚拟文件系统所构成的基于NVM存储设备高速节点存储子系统。2.根...

【专利技术属性】
技术研发人员：牛德姣，陈波，蔡涛，詹毕晟，彭长生，詹永照，
申请(专利权)人：江苏科海智能系统有限公司，江苏大学，
类型：发明
国别省市：江苏,32