一种数据处理方法及装置制造方法及图纸

本申请涉及分布式存储技术领域，特别涉及一种数据处理方法及装置。该方法应用于分布式存储系统，该分布式存储系统包括HDD组成的一级存储池，HDD和SSD组成的二级存储池和SSD组成的三级存储池，任一存储池配置有对应业务使用的存储卷，该方法包括：接收目标业务的IO流；对该目标业务的IO流进行解析处理，统计该目标业务的IO流随机读写和/或顺序读写的比例；基于该目标业务的IO流随机读写和/或顺序读写的比例，将该目标业务使用的目标存储卷迁移至对应级别的目标存储池，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及分布式存储
，特别涉及一种数据处理方法及装置。
技术介绍
IPSAN是在存储局域网络(StorageAreaNetwork，SAN)后产生的，SAN默认指FCSAN，以光纤通道构建存储网络，IPSAN(基于IP的网络存储系统)则以IP网络构建存储网络，较FCSAN，具有更经济、自由扩展等特点。分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。目前，分布式存储也已提供IPSAN的服务能力。在既定的存储介质的形态下，由用户(管理员)配置存储池，如存储池1配置1块nvme+8块hdd，存储池2配置8块hdd。对于配置不同的存储池，划分lun，lun的性能取决于硬件能力，那么，如何配置各存储池；又如存储池1的lun1比存储池2的lun2性能要好，但某个应用，是使用存储池1的lun还是使用存储池2的lun，这两个问题，专业性很强，给用户使用带来难度。进一步地，对同一存储池下的lun，常见做法是以lun为粒度配置Qos，但配置什么样的Qos的参数是合理的，也会给用户带来困难；对同一存储池下的lun，没有物理隔离效果，因为即使配置了Qos，处于同一存储池下，对磁盘的访问，天然是抢占的，在系统繁忙时，高Qos的lun也保证不了性能。
技术实现思路
本申请提供了一种数据处理方法及装置，用以解决现有技术中存在的无法自适应地根据业务需求向各业务提供对应IO性能的存储服务的问题。第一方面，本申请提供了一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述方法包括：接收目标业务的IO流；对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。可选地，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；在确定迁移完成之后，删除所述目标存储卷。可选地，所述方法还包括：监控各级存储池的资源利用率；若确定任一级别的存储池的利用率小于设定阈值，则将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。第二方面，本申请提供了一种数据处理装置，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述装置包括：接收单元，用于接收目标业务的IO流；解析单元，用于对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；迁移单元，用于基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。可选地，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；在确定迁移完成之后，删除所述目标存储卷。可选地，所述装置还包括：监控单元，用于监控各级存储池的资源利用率；调整单元，若所述监控单元确定任一级别的存储池的利用率小于设定阈值，则所述调整单元用于将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。第三方面，本申请实施例提供一种数据处理装置，该数据处理本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述方法包括：/n接收目标业务的IO流；/n对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；/n基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述方法包括：
接收目标业务的IO流；
对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；
基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。


2.如权利要求1所述的方法，其特征在于，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：
若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；
若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；
若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。


3.如权利要求1所述的方法，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：
确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；
若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。


4.如权利要求3所述的方法，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：
创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；
将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；
在确定迁移完成之后，删除所述目标存储卷。


5.如权利要求1所述的方法，其特征在于，所述方法还包括：
监控各级存储池的资源利用率；
若确定任一级别的存储池的利用率小于设定阈值，则将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。


6.一种数据处理装置，其特征在于，应用于分布式存储系统，...

【专利技术属性】
技术研发人员：钟晋明，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41