一种元数据集群并行分发处理方法和系统技术方案

本发明专利技术公开了一种元数据集群并行分发处理方法和系统，包括：并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。通过本发明专利技术，提高了元数据集群控制报文处理实时性，实现了元数据集群高负载状态稳定运行。

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤指一种基于消息优先级队列的元数据集群并行分发处理方法和系统。
技术介绍
随着非结构化数据的爆炸，分布式文件系统进入了发展的黄金时期，从高性能计算到数据中心，从数据共享到互联网应用，已经渗透到数据应用的各方各面。对于大多数分布式文件系统，或集群文件系统，或并行文件系统，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。因而，元数据管理模型显得至关重要，直接影响到系统的扩展性、性能、可靠性和稳定性等。分布式的元数据集群系统具有良好的扩展性，能够利用分布式系统的特点解决文件系统扩展性差的问题，但是随着元数据集群规模的增大，系统状态控制变得更加困难，尤其在高负载场景下，元数据集群控制消息的延迟处理，会造成整个分布式元数据集群系统的震荡甚至系统瘫痪，另外，集群控制报文的特性是整体比例小但要求实时高，因此元数据集群控制消息优先级处理是非常有必要的。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种元数据集群并行分发处理方法和系统，能够提高元数据集群控制报文处理的实时性，实现元数据集群高负载状态下的稳定运行。为了达到本专利技术目的，本专利技术提供了一种元数据集群并行分发处理方法，包括:并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。进一步地，所述方法还包括:根据网络报文的类型，预先设置网络报文的优先级。进一步地，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。进一步地，所述分布式文件系统中设置有队列优先级锁，所述队列优先级锁根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。进一步地，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文。进一步地，所述方法还包括:对上送的网络报文进行处理，且对上送的优先级相同的网络报文进行并发处理。本专利技术还提供了一种元数据集群并行分发处理系统，包括:元数据集群报文分发模块，用于并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；元数据集群消息上送模块，用于根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。进一步地，所述元数据集群报文分发模块，还用于根据网络报文的类型，预先设置网络报文的优先级，其中，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。进一步地，所述系统还包括:队列优先级锁；所述队列优先级锁，用于根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。进一步地，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文与现有技术相比，本专利技术利用多优先级消息分发队列，处理元数据集群控制消息，提高元数据集群控制报文处理实时性，实现元数据集群高负载状态稳定运行。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。【附图说明】附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1是本专利技术的一种实施例中元数据集群并行分发处理系统的架构示意图。图2是本专利技术的一种实施例中元数据集群并行分发处理方法的流程示意图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。元数据集群接收到的网络报文可以分为集群控制报文和文件操作请求报文两类，其中，集群控制报文的数量小，处理实时要求较高，直接影响系统运行；文件操作请求报文的数据量巨大，处理要求没有集群控制报文要求高，处理能力越强，用户体验越好。因此，本专利技术采用将集群控制报文和文件操作请求报文的优先级分离，相同级别报文按照网络连接并行处理请求，这样可以提尚系统在尚负载情况的稳定性，也能够提尚系统的处理能力。图1是本专利技术的一种实施例中元数据集群并行分发处理系统的架构示意图。本专利技术的元数据集群并行分发处理方法应用于如图1所示的系统中。图2是本专利技术的一种实施例中元数据集群并行分发处理方法的流程示意图，结合图1和图2，该方法包括:步骤201，根据网络报文的类型，预先设置网络报文的优先级。在本步骤中，网络报文的类型分为集群控制报文和文件操作请求报文，预先设置集群控制报文和文件操作请求报文的优先级，例如集群控制报文的优先级为高，文件操作请求报文的优先级为低。步骤202，并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，该优先级处理队列包括具有不同优先级的处理子队列。在本步骤中，分布式文件系统包括多个元数据集群，每个元数据集群对应有其自己的优先级处理队列，优先级处理队列中又包括具有不同优先级的处理子队列。并行接收各元数据集群网络连接的网络报文，按照预先设置的优先级将各元数据集群接收到的网络报文分发到其自己的优先级处理队列中，例如心跳报文、集群状态控制报文进入该优先级处理队列中的高优先级处理子队列，客户请求报文进入该优先级处理队列中的低优先级处理子队列。此外，除了根据当前第1页1 2 本文档来自技高网...

【技术保护点】
一种元数据集群并行分发处理方法，应用于分布式文件系统中，其特征在于，包括：并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。

【技术特征摘要】

【专利技术属性】
技术研发人员：李雪生，张延良，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11