一种分布式存储IO卸载方法、系统、设备和存储介质技术方案

本发明专利技术提出了一种分布式存储IO卸载方法、系统、设备和存储介质，该方法包括接收复制请求之后进行IO切片处理；根据分布式存储实现方式进行资源协调；如果实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。基于该方法，还提出了一种分布式存储IO卸载系统、设备和存储介质。本发明专利技术使得分布式存储复制内部进行IO分流和卸载，减少了分布式存储资源损耗和网络转发，达到更好的卸载存储流量。达到更好的卸载存储流量。达到更好的卸载存储流量。

【技术实现步骤摘要】
一种分布式存储IO卸载方法、系统、设备和存储介质


[0001]本专利技术属于分布式存储
，特别涉及一种分布式存储IO卸载方法、系统、设备和存储介质。

技术介绍

[0002]在信息爆炸增长的时代，CPU发展遇到瓶颈，摩尔定律在CPU的发展中逐步失效，因此如何提高单机性能提上议题：其中一个方式就是通过旁路卸载，减少耗时应用对CPU的使用，让CPU只关注计算，提高CPU的利用率；因此提出网络卸载和存储卸载。海量数据的增长，传统存储成本高，效率低下无法满足用户数据的增长速度，高效智能的分布式存储技术解决这一痛楚；分布式存储具有以下几个特征：高性能、高可靠性、高可扩展性、透明性、自治性。分布式存储数据存放首先要进行分片切割处理，之后通过一定算法或者是元数据服务，计算或查找出数据存放位置，由于用户数据被分为多个数据块，因此任何一个数据块丢失都可以造成数据不可用，因此分布式存储必须考虑合理的冗余存储模型，为用户的数据分块提供多个冗余的存储副本，从而保证数据的安全性和可靠性，同时提供了海量数据存储，降低存储成本，因此分布式存储需要支持硬件卸载指令，通过分布式存储进行IO卸载，提高CPU利用率，同时提高分布式存储性能；因为分布式存储的数据离散性，因此导致支持xcopy协议时候会导致分布式存储内部CPU和内存使用率较高，因此需要一种合理的方案，降低分布式存储内部IO流转时候的资源损耗，尽量将资源做到内部流转，避免浪费网络资源、CPU资源和内存资源。
[0003]传统实现方式为收到请求之后再该节点上读取源卷的数据内容，之后根据目的卷的副本位置进行数据转发，之后等待所有的数据完成下发之后完成xcopy。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出了一种分布式存储IO卸载方法、系统、设备和存储介质。本专利技术使得分布式存储xcopy内部进行IO分流和卸载，减少了分布式存储资源损耗和网络转发，更容易的发挥出硬件的性能，提高分布式存储xcopy的性能，达到更好的卸载存储流量。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种分布式存储IO卸载方法，包括以下步骤：
[0007]接收复制请求之后通过分布式存储进行IO切片处理；
[0008]根据分布式存储实现方式进行资源协调；如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。
[0009]进一步的，所述接收复制请求之后通过分布式存储进行IO切片处理具体包括：修
改分布式存储对SCSI协议xcopy支持，收到xcopy请求之后通过分布式存储实现切片大小进行切片处理。
[0010]进一步的，在所述分布式存储实现方式为带有元数据管理的的分布式存储时，如果一个节点中无法容纳目的卷的obj文件，则发送读写请求到源卷所在的主机，在所述源卷所在的主机内部进行读取操作，之后进行网络转发写入目的卷所在的主机中。
[0011]进一步的，所述如果没有带有元数据的分布式存储收到xcopy请求时，首先通过一致性算法计算出源卷的切片所有副本的位置和目的卷的切片所有副本的位置。
[0012]进一步的，所述计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理具体包括：
[0013]如果源卷的切片所有副本和目的卷的切片所有副本均位于同一主机，在主机内发送内部读写请求，在主机内部中完成源卷数据和目的卷数据的内部拷贝；
[0014]如果源卷的切片部分副本和目的卷的切片部分副本位于同一主机，则部分副本在节点内部下发，同时通过网络转发达到其他副本IO正常下发，达到一次读取和多次写入；
[0015]如果源卷的切片所有副本和目的卷切片的所有副本均不位于同一主机，则通过IO下发至源卷所在的存储节点上，通过源卷节点进行数据读取和网络转发，实现一次读取和多次转发。
[0016]进一步的，所述在一次读取和多次转发时，智能的选取IO负载低的节点进行IO读取和网络转发。
[0017]本专利技术还提出了一种分布式存储IO卸载系统，包括预处理模块和资源协调模块；
[0018]所述预处理模块用于接收复制请求之后通过分布式存储进行IO切片处理；
[0019]所述资源协调模块用于根据分布式存储实现方式进行资源协调；如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。
[0020]进一步的，所述资源调节模块包括第一调节模块和第二调节模块；
[0021]所述第一调节模块用于如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；
[0022]所述第二调节模块用于如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。
[0023]本专利技术还提出了一种设备，包括：
[0024]存储器，用于存储计算机程序；
[0025]处理器，用于执行所述计算机程序时实现所述的方法步骤。
[0026]本专利技术还提出了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的方法步骤。
[0027]
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0028]本专利技术提出了一种分布式存储IO卸载方法、系统、设备和存储介质，该方法包括接收复制请求之后通过分布式存储进行IO切片处理；根据分布式存储实现方式进行资源协调；如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。基于一种分布式存储IO卸载方法，还提出了一种分布式存储IO卸载系统、设备和存储介质。本专利技术修改分布式存储对SCSI协议xcopy支持，将数据分片处理；通过算法达到尽量目的卷和源卷对象临近，从而减少对象间的数据拷贝，无法达到一致则将请求转发到源卷副本所在主机上，让副本所在的主机通过本地读取直接write请求写入远端副本，达到流量均分和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储IO卸载方法，其特征在于，包括以下步骤：接收复制请求之后通过分布式存储进行IO切片处理；根据分布式存储实现方式进行资源协调；如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。2.根据权利要求1所述的一种分布式存储IO卸载方法，其特征在于，所述接收复制请求之后通过分布式存储进行IO切片处理具体包括：修改分布式存储对SCSI协议xcopy支持，收到xcopy请求之后通过分布式存储实现切片大小进行切片处理。3.根据权利要求1所述的一种分布式存储IO卸载方法，其特征在于，在所述分布式存储实现方式为带有元数据管理的的分布式存储时，如果一个节点中无法容纳目的卷的obj文件，则发送读写请求到源卷所在的主机，在所述源卷所在的主机内部进行读取操作，之后进行网络转发写入目的卷所在的主机中。4.根据权利要求1所述的一种分布式存储IO卸载方法，其特征在于，所述如果没有带有元数据的分布式存储收到xcopy请求时，首先通过一致性算法计算出源卷的切片所有副本的位置和目的卷的切片所有副本的位置。5.根据权利要求4所述的一种分布式存储IO卸载方法，其特征在于，所述计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理具体包括：如果源卷的切片所有副本和目的卷的切片所有副本均位于同一主机，在主机内发送内部读写请求，在主机内部中完成源卷数据和目的卷数据的内部拷贝；如果源卷的切片部分副本和目的卷的切片部分副本位于同一主机，则部分副本在节点内部下发，同时通过网络转发达到其他副本IO正常...

【专利技术属性】
技术研发人员：马怀旭，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：