一种基于异构计算的分布式存储加速方法及装置制造方法及图纸

本发明专利技术公开了一种基于异构计算的分布式存储加速方法，包括：S1、配置分布式存储软件和FPGA加速单元的运行环境；S2、主机接收客户端发送的存储任务，通过分布式存储软件对所述存储任务根据计算量进行优先级排序，并将大于预定计算量的任务发送到FPGA加速单元进行计算；以及S3、FPGA加速单元对任务进行计算后，将结果返回主机，以供主机按照返回的结果对数据进行读写操作。本发明专利技术还公开了一种基于异构计算的分布式存储加速装置。本发明专利技术提出的基于异构计算的分布式存储加速方法和装置能够有效地提高存储速度。

A Distributed Storage Acceleration Method and Device Based on Heterogeneous Computing

The invention discloses a distributed storage acceleration method based on heterogeneous computing, which includes: S1, configuration of distributed storage software and the running environment of the acceleration unit of the FPGA; S2, host receiving storage tasks sent by client, prioritizing the storage tasks according to the calculation amount through distributed storage software, and sending tasks larger than the predetermined calculation amount to the acceleration list of the FPGA. Elements are computed, and after the tasks are computed by S3 and FPGA acceleration units, the results are returned to the host for the host to read and write the data according to the returned results. The invention also discloses a distributed storage acceleration device based on heterogeneous computing. The distributed storage acceleration method and device based on heterogeneous computing proposed by the invention can effectively improve the storage speed.

【技术实现步骤摘要】
一种基于异构计算的分布式存储加速方法及装置
本专利技术涉及存储领域，更具体地，特别是指一种基于异构计算的分布式存储加速方法及装置。
技术介绍
数据存储需求在过去的几年中爆发性增长。研究表明，数据每年以40％到60％的速度增长，许多公司的数据规模每年会增加一倍。IDC分析师估计，2000年全球共有数字数据54.4艾字节(Exabyte)；到2007年，达到295艾字节；到2020年，有望达到44泽字节(Zettabyte)。传统的存储系统无法应对这种数据增速，我们需要像Ceph这样可扩展的分布式存储系统，而且最重要的是它更加经济实惠。分布存储系统具有设备价格低，维护成本低，小容量设备分布部署，对机房环境要求低等优点。但是，分布存储系统的缺点也比较明显，比如备份困难，如果用户将数据存储在各自的系统上，而不是将他们存储在中央系统中，很难制定一项有效的备份计划。该情况还可能导致用户使用同一文件的不同版本。为了运行程序要求性能更好的PC机，要求使用适当的程序，不同计算机的文件数据需要复制，对某些PC机要求有足够的存储容量，形成不必要的存储成本；管理和维护比较复杂；设备必须要互相兼容。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种基于异构计算的分布式存储加速方法及装置，能够降低延时，并且加快存储的速率。基于上述目的，本专利技术实施例的一方面提供了一种基于异构计算的分布式存储加速方法，包括：S1、配置分布式存储软件和FPGA加速单元的运行环境；S2、主机接收客户端发送的存储任务，通过分布式存储软件对存储任务根据计算量进行优先级排序，并将大于预定计算量的任务发送到FPGA加速单元进行计算；以及S3、FPGA加速单元对任务进行计算后，将结果返回主机，以供主机按照返回的结果对数据进行读写操作。在一些实施方式中，步骤S1包括：S11、安装分布式存储软件和FPGA加速单元驱动；S12、配置存储网络，创建分布式存储软件集群；S13、基于分布式存储软件集群初始化硬盘；以及S14、添加并激活FPGA加速单元，对FPGA加速单元进行测试。在一些实施方式中，步骤S13包括：将硬盘的存储空间的15％初始化为缓存盘，剩余的存储空间初始化为数据盘。在一些实施方式中，步骤S1包括：在客户端设置第一缓存层。在一些实施方式中，步骤S1还包括：在客户端与主机的硬盘之间设置第二缓存层。本专利技术实施例的另一方面，还提供了一种基于异构计算的分布式存储加速装置，包括：主机，用于接收客户端发送的存储任务，主机中还包括分布式存储软件，分布式存储软件配置为对存储任务进行优先级排序；以及FPGA加速单元，与主机通过PCIe总线进行通信，其中，分布式存储软件进一步配置为将高计算量的任务发送到FPGA加速单元进行计算；FPGA加速单元进一步配置为对任务进行计算并将结果返回主机，以供主机按照返回的结果对数据进行读写操作。在一些实施方式中，主机包括CPU，CPU分别连接客户端和FPGA加速单元，配置用于接收存储任务并进行拆分下发。在一些实施方式中，主机包括硬盘，硬盘存储空间的15％用于缓存。在一些实施方式中，客户端还包括第一缓存层，配置用于降低延时。在一些实施方式中，装置还包括第二缓存层，第二缓存层设置在客户端与主机的硬盘之间，配置用于提高数据的稳定性。本专利技术具有以下有益技术效果：能够降低延时，并且加快存储的速率，而且通过本地缓存读、分布式缓存读写和后端缓存读写多层次的缓存，满足不同业务对性能高且平稳的总体需求，在IO(输入输出)路径上多层次的缓存，整个分布式集群的IO将更加平稳，从IO处理的层面上降低IO波动。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的基于异构计算的分布式存储加速方法的实施例的流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。在分布式存储中，由多台或者上百台的服务器组成，且使用副本模式。所以一个IO通过网络，在多个副本服务器上处理，且每个副本都有数据一致性检查算法，这些操作都将增加IO的时延。对于如何降低分布式存储的时延，其实是一个系统又复杂的事情，牵一发而动全身。基于上述目的，本专利技术实施例的第一个方面，提出了一种基于异构计算的分布式存储加速方法的实施例。图1示出的是本专利技术提供的基于异构计算的分布式存储加速方法的实施例的流程示意图。如图1所示，本专利技术实施例包括如下步骤：S1、配置分布式存储软件和FPGA加速单元的运行环境；S2、主机接收客户端发送的存储任务，通过分布式存储软件对存储任务根据计算量进行优先级排序，并将大于预定计算量的任务发送到FPGA加速单元进行计算；以及S3、FPGA加速单元对任务进行计算后，将结果返回主机，以供主机按照返回的结果对数据进行读写操作。步骤S1中具体可以包括：S11.在linux系统下，安装部署分布式存储软件以及FPGA加速单元驱动；S12.配置专用存储网络，然后创建分布式存储软件集群；S13.基于分布式存储软件集群的管理软件初始化硬盘，创建存储池和缓存池；S14.基于分布式存储软件集群的管理软件，添加并激活FPGA加速单元，进行FPGA加速运算测试。本实施例中，在S13初始化硬盘的过程，会自动将硬盘存储空间的15％的初始化为缓存盘，剩余85％的空间为数据盘。15％的选取是结合企业用户存储容量的冗余来确定的，一般企业会在规划数据存储空间时，会预留出20％空闲空间，确保使用数据不超过80％。当然，这并不是对缓存盘大小的限制，在其他的实施例中，也可以将20％的存储空间初始化为缓存盘。计算单元可以分为通用计算单元(CPU)和专用计算单元(GPU/DSP等)。简单地说，由一个或若干个通用计算单元加一个或若干个专用计算单元构建的系统就是异构计算系统，由两者协同起来共同执行通用计算任务就是异构计算。目前，在计算机上最常见的组合就是CPU+GPU。本实施例中采用CPU+FPGA的异构计算组合。在配置了运行环境之后，当客户端发送存储任务，主机对存储任务进行接收，会根据存储任务计算量的大小进行优先级的排序，将计算量大于预定值的任务交付给FPGA加速单元进行计算，可以显著降低CPU的计算任务，释放大量CPU资源。并且，由于费时的数据读写位移计算任务交给FPGA加速单元进行运算处理，可以显著降低延时。计算量的预定值可以根据实际情况进行设定。本实施例中的FPGA加速单元可以为FPGA加速卡，SCSI(小型计算机系统接口)协议栈包括三层，一个是上层的协议驱动，指磁盘驱动，磁带驱动。第二层是中间层，中间层就是转化SCSI的指令，将指令转化成标准化，能够适应不同的硬件。最下面的是HBA(主机总线适配器)层，这一层与硬件本文档来自技高网...

【技术保护点】
1.一种基于异构计算的分布式存储加速方法，其特征在于，包括：S1、配置分布式存储软件和FPGA加速单元的运行环境；S2、主机接收客户端发送的存储任务，通过分布式存储软件对所述存储任务根据计算量进行优先级排序，并将大于预定计算量的任务发送到FPGA加速单元进行计算；以及S3、FPGA加速单元对任务进行计算后，将结果返回主机，以供主机按照返回的结果对数据进行读写操作。

【技术特征摘要】
1.一种基于异构计算的分布式存储加速方法，其特征在于，包括：S1、配置分布式存储软件和FPGA加速单元的运行环境；S2、主机接收客户端发送的存储任务，通过分布式存储软件对所述存储任务根据计算量进行优先级排序，并将大于预定计算量的任务发送到FPGA加速单元进行计算；以及S3、FPGA加速单元对任务进行计算后，将结果返回主机，以供主机按照返回的结果对数据进行读写操作。2.根据权利要求1所述的分布式存储加速方法，其特征在于，步骤S1包括：S11、安装分布式存储软件和FPGA加速单元驱动；S12、配置存储网络，创建分布式存储软件集群；S13、基于分布式存储软件集群初始化硬盘；以及S14、添加并激活FPGA加速单元，对FPGA加速单元进行测试。3.根据权利要求2所述的分布式存储加速方法，其特征在于，所述步骤S13包括：将硬盘的存储空间的15％初始化为缓存盘，剩余的存储空间初始化为数据盘。4.根据权利要求1所述的分布式存储加速方法，其特征在于，步骤S1包括：在客户端设置第一缓存层。5.根据权利要求1所述的分布式存储加速方法，其特征在于，步骤S1还包括：在客户端与主机...

【专利技术属性】
技术研发人员：赵瑞东，徐永强，刘毅枫，王则陆，
申请(专利权)人：山东超越数控电子股份有限公司，
类型：发明
国别省市：山东,37