一种分布式存储QOS的实现方法技术

本发明专利技术涉及分布式存储领域，具体提供了一种分布式存储QOS的实现方法，该方法的步骤为，S01、分布式存储运行性能体系建立及获取；S02、分布式存储QOS实现；S03、分布式存储CAP均衡实现。与现有技术相比，本发明专利技术硬件介质确定的前提下，改善了分布式存储的整体性能,并且可通过客户、应用等条件控制读写速率，提高用户的使用体验和感受，提升用户满意度，具有良好的推广价值。

【技术实现步骤摘要】
一种分布式存储QOS的实现方法
本专利技术涉及分布式存储领域，具体提供一种分布式存储QoS的实现方法。
技术介绍
分布式存储是相对集中存储提出的概念,就是以大容量硬盘的服务器为存储介质,通过软件管理形成存储供用户使用。分布式存储可以提供各种访问协议，可以支持块和对象等存储模式。分布式存储的基础是通过分区容错来提升数据持久化的稳定性，如在三副本情况下理论计算可以到9个9的存储稳定性，并且为了保持这个稳定性的可用一般使用强一致性来保障。所谓多副本以及强一致性，都以分布式存储的数据读写原理为基础。一般分布式存储要存储一份数据，对用户来说是通过文件形式来表示。而要存储文件，分布式存储一般会把文件按照设置的读写数据块大小进行切分，形成数据单元。利用一定的算法计算这些数据单元可以存储的位置点，然后进行读写即可完成数据的持久化存储。在三副本处理工程中，存在以下缺点：上层应用在主副本全部完成时才会收到结束的标识，传输线路长；都有自动分配及故障时恢复机制，但都基于数据单元本身，没有优先级顺序；如果3T的硬盘损坏，要做到数据重新一致性完成，测试需耗时4小时以上，在这个过程里读写会受影响。副本数一般为奇数，选举时容易出现脑裂，无法确定主本。从以上过程可以看出，分布式存储作为一种存储的技术模式，与传统的集中存储相比，在性能上仍有差距，所以优化并提升分布式存储整体性能是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术是针对上述现有技术的不足，提供一种实用性强的分布式存储QoS的实现方法。本专利技术解决其技术问题所采用的技术方案是：一种分布式存储QOS的实现方法，该方法的步骤为，S01、分布式存储运行性能体系建立及获取；S02、分布式存储QOS实现；S03、分布式存储CAP均衡实现。进一步的，在步骤S01中，通过在分布式存储软件中增加原子单元的读写操作记录，结合原子单元所属的文件或归属的其他粒度，统计出冷热文件、原子单元操作频次和发生容量，并将这些指标应用到步骤S02中。作为优选，所述原子单元的操作记录包括标志、时间和耗时长。进一步的，在步骤S02中，包括：S021、排定各待处理文件的优先级；S022、按照优先级执行顺序操作。进一步的，在步骤S021前，首先，将文件按照系统缺省设置的读写块大小拆分为等大小的数据块，最后一个可以为不是等大小的数据块；然后，通过哈希算法获得每个数据块写入磁盘的位置；最后，在磁盘上执行写入或读取。进一步的，在步骤S021中，对输入的相关信息计算获得一个优先级数字，所述数字与后续调用一起传递给最终执行程序。进一步的，在步骤S022中，排队队列的待处理任务进行优先级从大到小排序，若优先级一样则任务提交时间久的优先。进一步的，在步骤S03中，增加中间状态变量Flag，其过程表现为：ReqNode-1AckNode-1{FlagNode-2，，FlagNode-n}，Flag由系统记录并管理，在对应的位置完成后给系统发送AckNode-n通知，则设置FlagNode-n为FinishNode-n。系统另外设置进程检查，当前队列里Flag的情况，对于长时间未完成标志更新的判断其执行情况，如果数据操作进程活动，则提高其执行优先级；如果进程已经退出，则重新发起同步操作。进一步的，在副本异步写入操作过程中，有数据块写入操作发生时，判断队列中是否写入操作完成，若完成，根据缓存中待写入副本的数据块形成标志队列，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块；若未完成，则修改优先级的权重，形成队列中数据块对应标志及操作排序的优先级权重，将副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。进一步的，当副本写入队列维护巡检时，若存在操作异常及等待时间长的数据块，则修改优先级权重，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。本专利技术的一种分布式存储QoS的实现方法和现有技术相比，具有以下突出的有益效果：本专利技术在分布式存储现有性能水平的前提下，传输线路变短，加入优先级，提高用户的使用体验和感受，提升用户满意度。具体表现在：1)在故障恢复时，通过QoS可以实现有差别的对待，即高优先级的先恢复，改变了分布式存储对数据一视同仁的技术做法。一般3T的磁盘在万兆网络环境里恢复整盘的数据大概需要3-4个小时，再次期间用户的操作请求会受到很大影响。在无法改变整盘恢复时长的前提下，通过QoS模式，可以尽量减少有关用户的等待时间，给予重要用户或应用无影响的使用感受。2)在通用分布式存储的系统中，CAP理论成立，并且考虑了强一致性要素，导致用户使用感受差。本专利技术在确保数据一致性的基础上，从根本上改变了用户的可用性体验，并且不受副本数据的影响，即副本数据增加不会改变用户可用性体验。通过本专利技术的方法，在发挥分布式存储优点的同时，尽量改善了其缺点，使性价比有了大幅度提升，促进了在云计算中更广泛的使用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图1是一种分布式存储QoS的实现方法与现有技术的对比图；附图2是本专利技术副本异步写入操作过程的流程图；附图3是本专利技术QoS保障时操作处理过程流程图。具体实施方式为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。下面给出一个最佳实施例：对于分布式存储，分区容错是基本要求，否则就失去了价值。因此在设计分布式存储的时候，是在一致性和可用性之间取一个平衡。对于大多数WEB应用，其实并不需要强一致性，因此牺牲一致性而换取高可用性，是多数分布式数据库产品的方向。当然，牺牲一致性，并不是完全不管数据的一致性，否则数据是混乱的，那么系统可用性再高分布式再好也没有了价值。牺牲一致性，只是不再要求关系型数据库中的强一致性，而是只要系统能达到最终一致性即可，考虑到客户体验，这个最终一致的时间窗口，要尽可能的对用户透明，也就是需要保障“用户感知到的一致性”。通过数据的多份异步复制来实现系统的高可用和数据的最终一致性，“用户感知到的一致性”的时间窗口则取决于数据复制到一致状态的时间。基于这些分布式存储系统的特点，本专利技术提出一种分布式存储QoS的实现方法，本文档来自技高网...

【技术保护点】
1.一种分布式存储QOS的实现方法，其特征在于，该方法的步骤为，/nS01、分布式存储运行性能体系建立及获取；/nS02、分布式存储QOS实现；/nS03、分布式存储CAP均衡实现。/n

【技术特征摘要】
1.一种分布式存储QOS的实现方法，其特征在于，该方法的步骤为，
S01、分布式存储运行性能体系建立及获取；
S02、分布式存储QOS实现；
S03、分布式存储CAP均衡实现。


2.根据权利要求1所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S01中，通过在分布式存储软件中增加原子单元的读写操作记录，结合原子单元所属的文件或归属的其他粒度，统计出冷热文件、原子单元操作频次和发生容量，并将这些指标应用到步骤S02中。


3.根据权利要求2所述的一种分布式存储QOS的实现方法，其特征在于，所述原子单元的操作记录包括标志、时间和耗时长。


4.根据权利要求1所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S02中，包括：
S021、排定各待处理文件的优先级；
S022、按照优先级执行顺序操作。


5.根据权利要求4所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S021前，首先，将文件按照系统缺省设置的读写块大小拆分为等大小的数据块，最后一个可以为不是等大小的数据块；
然后，通过哈希算法获得每个数据块写入磁盘的位置；
最后，在磁盘上执行写入或读取。


6.根据权利要求5所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S021中，对输入的相关信息计算获得一个优先级数字，所述数字与后续调用一起传递给最终执行程序。


7.根据权利要求6所述的一种分布式存储QOS的实现方法，其特征在于，在步...

【专利技术属性】
技术研发人员：祝乃国，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37