本发明专利技术实施例公开了一种任务处理方法、装置和系统，在存储端的存储池中创建多个存储卷；按照预设的链路个数建立与存储端的多条网络路径；根据每条网络路径包含的多个存储卷的SAN映射，将SAN映射的存储卷解析为块设备。根据多路径聚合机制，将同一个存储卷在不同网络路径上映射的块设备聚合为一个多路径设备；将各多路径设备初始化为PV卷，将所有PV卷组合为虚拟存储池。依据业务读写块大小以及虚拟存储池中包含的PV卷的个数设置条带宽度；当接收到文件读写任务时，根据条带宽度将文件读写任务拆分后下发至虚拟存储池的目标PV卷上，按照目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理，提升了文件读写任务的处理效率。率。率。
【技术实现步骤摘要】
一种任务处理方法、装置和系统
[0001]本专利技术涉及存储系统
，特别是涉及一种任务处理方法、装置和系统。
技术介绍
[0002]在存储系统运用中，读写比特速率与I/O请求速率是两个很重要的指标。特别在大数据、云计算等高吞吐量应用领域，系统性能很大程度上依赖于存储系统读写速率。因此，优化存储系统读写性能是存储设备研发人员和解决方案设计人员的一大课题。
[0003]传统技术中通过增加传输线程的方式，实现对存储系统读写性能的优化。但是传输线程个数越多，对存储系统的性能要求就越高，基于当前存储系统的处理能力，其所能支持的传输线程的个数有限。并且较多数量的传输线程的控制管理也会占用较多的系统资源，因此增加传输线程的方式，对于提升读写任务的处理效率效果并不显著。
[0004]可见，如何有效的提升文件读写任务的处理效率，是本领域技术人员需要解决的问题。
技术实现思路
[0005]本专利技术实施例的目的是提供一种任务处理方法、装置和系统，可以有效的提升文件读写任务的处理效率。
[0006]为解决上述技术问题，本专利技术实施例提供一种任务处理方法，包括：
[0007]在存储端的存储池中创建多个存储卷；
[0008]按照预设的链路个数建立与所述存储端的多条网络路径；
[0009]根据每条所述网络路径包含的多个所述存储卷的SAN映射，将所述SAN映射的存储卷解析为块设备；
[0010]根据多路径聚合机制，将同一个存储卷在不同网络路径上映射的块设备聚合为一个多路径设备；并将各所述多路径设备初始化为PV卷；将所有所述PV卷组合为虚拟存储池；
[0011]依据预设的业务读写块大小以及所述虚拟存储池中包含的PV卷的个数设置条带宽度；
[0012]当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的目标PV卷上，按照所述目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理。
[0013]可选地，针对于所述存储端中多个存储卷的容量设置，所述方法包括：
[0014]依据文件系统的总容量以及所述存储端包含的存储卷的个数，设置各所述存储卷的容量。
[0015]可选地，所述当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的目标PV卷上包括：
[0016]当接收到文件读写任务时，依据所述条带宽度，将所述文件读写任务拆分为多个文件读写子任务；
[0017]当所述文件读写子任务的个数与所述虚拟存储池中包含的PV卷的个数相同时，则向每个PV卷下发对应的一个文件读写子任务；
[0018]当所述文件读写子任务的个数小于所述虚拟存储池中包含的PV卷的个数时，则从所述虚拟存储池中选取与所述文件读写子任务的个数相同的多个目标PV卷，并向每个目标PV卷下发对应的一个文件读写子任务；
[0019]当所述文件读写子任务的个数大于所述虚拟存储池中包含的PV卷的个数时，则向每个PV卷下发至少一个文件读写子任务。
[0020]本专利技术实施例还提供了一种任务处理装置，包括创建单元、建立单元、解析单元、聚合单元、设置单元和拆分单元；
[0021]所述创建单元，用于在存储端的存储池中创建多个存储卷；
[0022]所述建立单元，用于按照预设的链路个数建立与所述存储端的多条网络路径；
[0023]所述解析单元，用于根据每条所述网络路径包含的多个所述存储卷的SAN映射，将所述SAN映射的存储卷解析为块设备
[0024]所述聚合单元，用于根据多路径聚合机制，将同一个存储卷在不同网络路径上映射聚合为一个多路径设备；并将所有所述多路径设备初始化为PV卷；将所有所述PV卷组合为虚拟存储池；
[0025]所述设置单元，用于依据预设的业务读写块大小以及所述虚拟存储池中包含的PV卷的个数设置条带宽度；
[0026]所述拆分单元，用于当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的目标PV卷上，按照所述目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理。
[0027]可选地，针对于所述存储端中多个存储卷的容量设置，所述装置包括设置单元；
[0028]所述设置单元，用于依据文件系统的总容量以及所述存储端包含的存储卷的个数，设置各所述存储卷的容量。
[0029]可选地，所述拆分单元具体用于当接收到文件读写任务时，依据所述条带宽度，将所述文件读写任务拆分为多个文件读写子任务；当所述文件读写子任务的个数与所述虚拟存储池中包含的PV卷的个数相同时，则向每个PV卷下发对应的一个文件读写子任务；当所述文件读写子任务的个数小于所述虚拟存储池中包含的PV卷的个数时，则从所述虚拟存储池中选取与所述文件读写子任务的个数相同的多个目标PV卷，并向每个目标PV卷下发对应的一个文件读写子任务；当所述文件读写子任务的个数大于所述虚拟存储池中包含的PV卷的个数时，则向每个PV卷下发至少一个文件读写子任务。
[0030]本专利技术实施例还提供了一种任务处理系统，包括存储端和主机端；
[0031]所述存储端的存储池中创建有多个存储卷；
[0032]所述主机端，用于按照预设的链路个数建立与所述存储端的多条网络路径；根据每条所述网络路径包含的多个所述存储卷的SAN映射，将所述SAN映射的存储卷解析为块设备；根据多路径聚合机制，将同一个存储卷在不同网络路径上映射的块设备聚合为一个多路径设备；并将各所述多路径设备初始化为PV卷；将所有所述PV卷组合为虚拟存储池；依据预设的业务读写块大小以及所述虚拟存储池中包含的PV卷的个数设置条带宽度；当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的
目标PV卷上，按照所述目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理。
[0033]由上述技术方案可以看出，在存储端的存储池中创建多个存储卷；按照预设的链路个数建立与存储端的多条网络路径；根据每条网络路径包含的多个存储卷的SAN映射，将SAN映射的存储卷解析为块设备，此时主机端所具有的并行化程度为网络路径个数与存储卷个数的乘积。为了降低主机端的管理难度，可以根据多路径聚合机制，将同一个存储卷在不同网络路径上映射的块设备聚合为一个多路径设备；并将各多路径设备初始化为PV卷，将所有PV卷组合为虚拟存储池，此时主机端只需管理维护虚拟存储池中的多个PV卷。依据预设的业务读写块大小以及虚拟存储池中包含的PV卷的个数设置条带宽度；当接收到文件读写任务时，根据条带宽度将文件读写任务拆分后下发至虚拟存储池的目标PV卷上，按照目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理。在该技术方案中，文件读写任务从应用端的文件系统到物理存储设备先后经过LVM条带化和SAN多路径传输，将文件读写任务分散到多个PV卷和多条网络路径上，极大地提高了文件系统的并行化程度，有效的提升文件读写任务的处理效率。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：在存储端的存储池中创建多个存储卷；按照预设的链路个数建立与所述存储端的多条网络路径；根据每条所述网络路径包含的多个所述存储卷的SAN映射，将所述SAN映射的存储卷解析为块设备；根据多路径聚合机制，将同一个存储卷在不同网络路径上映射的块设备聚合为一个多路径设备；并将各所述多路径设备初始化为PV卷；将所有所述PV卷组合为虚拟存储池；依据预设的业务读写块大小以及所述虚拟存储池中包含的PV卷的个数设置条带宽度；当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的目标PV卷上，按照所述目标PV卷对应的网络路径实现对文件读写子任务的多路并行处理。2.根据权利要求1所述的任务处理方法，其特征在于，针对于所述存储端中多个存储卷的容量设置，所述方法包括：依据文件系统的总容量以及所述存储端包含的存储卷的个数，设置各所述存储卷的容量。3.根据权利要求1或2所述的任务处理方法，其特征在于，所述当接收到文件读写任务时，根据所述条带宽度将所述文件读写任务拆分后下发至所述虚拟存储池的目标PV卷上包括：当接收到文件读写任务时，依据所述条带宽度，将所述文件读写任务拆分为多个文件读写子任务；当所述文件读写子任务的个数与所述虚拟存储池中包含的PV卷的个数相同时，则向每个PV卷下发对应的一个文件读写子任务；当所述文件读写子任务的个数小于所述虚拟存储池中包含的PV卷的个数时，则从所述虚拟存储池中选取与所述文件读写子任务的个数相同的多个目标PV卷，并向每个目标PV卷下发对应的一个文件读写子任务；当所述文件读写子任务的个数大于所述虚拟存储池中包含的PV卷的个数时，则向每个PV卷下发至少一个文件读写子任务。4.一种任务处理装置，其特征在于，包括创建单元、建立单元、解析单元、聚合单元、设置单元和拆分单元；所述创建单元，用于在存储端的存储池中创建多个存储卷；所述建立单元，用于按照预设的链路个数建立与所述存储端的多条网络路径；所述解析单元，用于根据每条所述网络路径包含的多个所述存储卷的SAN映射，将所述SAN映射的存储卷解析为块设备所述聚合单元，用于根据多路径聚合机制，将同一个存储卷在不同网...
【专利技术属性】
技术研发人员：蔺昊天，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。