分布式系统中提升网络IO读写性能的方法技术方案

本申请公开了一种分布式存储系统的网络IO读写方法，其包括如下步骤：S1：设立事件中心预定义四类消息事件，所述四类消息事件包括FD类事件，定时器类事件，外部事件和轮询事件；S2：工作线程启动，事件中心对消息事件进行格式分类，并基于格式分类结果在消息事件上标记格式基类；所述格式基类包括数据消息，心跳消息，集群消息和回复消息；S3：消息管理器将消息事件分发给消息分发器；S4：消息分发器基于格式基类对消息事件设立优先级队列；S5：基于S4所得优先级队列对消息事件进行管理。本申请能够实现基于角色的事件中心及不同消息类型实现优先级队列管理，并分离单个链接请求和响应，最终降低单个链接的处理延迟。

【技术实现步骤摘要】
分布式系统中提升网络IO读写性能的方法
本申请属于数据通信
，具体来说涉及一种基于分布式系统的IO读写方法。
技术介绍
随着大数据、云计算、物连网以及5G等新技术的发展，电信、互联网、政企、医疗等行业应用的日新月异，带来的海量数据快速增长对传统的存储系统造成诸多挑战。在主流的分布式存储系统中，前端网络和后端网络为了各自集群的硬件通用一致性，通常采用基于TCP/IP的以太网进行数据交换。另外RDMA协议，DPDK协议都是新的数据中心等场景中的解决方案。分布式系统为了解决分布式一致性问题，通常都会采用副本和纠删码的策略，而这就要求客户端与服务端遵循一定的数据复制通信规则。常见的有客户端路由和服务端路由。目前业界主流的基于事件的异步通信架构，遵循“一个线程一个循环”的线程模型，然而分布式存储中由于磁盘IO、网络IO延迟差异以及IO路径长的问题，如果依赖单线程同时处理多个链接的监听、请求、应答，以及消息队列锁机制，会导致单线程各个链接中网络IO消息队列出现缓存。同时网络请求数据包携带大量的数据以及网络响应数据包在组包时频繁临时分配内存，产生几十倍本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的网络IO读写方法，其特征在于包括如下步骤：/nS1：设立事件中心预定义四类消息事件，所述四类消息事件包括FD类事件，定时器类事件，外部事件和轮询事件；/nS2：工作线程启动，事件中心对消息事件进行格式分类，并基于格式分类结果在消息事件上标记格式基类；所述格式基类包括数据消息，心跳消息，集群消息和回复消息；/nS3：消息管理器将消息事件分发给消息分发器；/nS4：消息分发器基于格式基类对消息事件设立优先级队列；/nS5：基于S4所得优先级队列对消息事件进行管理。/n

【技术特征摘要】
1.一种分布式存储系统的网络IO读写方法，其特征在于包括如下步骤：
S1：设立事件中心预定义四类消息事件，所述四类消息事件包括FD类事件，定时器类事件，外部事件和轮询事件；
S2：工作线程启动，事件中心对消息事件进行格式分类，并基于格式分类结果在消息事件上标记格式基类；所述格式基类包括数据消息，心跳消息，集群消息和回复消息；
S3：消息管理器将消息事件分发给消息分发器；
S4：消息分发器基于格式基类对消息事件设立优先级队列；
S5：基于S4所得优先级队列对消息事件进行管理。


2.如权利要求1所述分布式存储系统的网络IO读写方法，其特征在于，步骤S5中基于QOS机制，在DT_m_dispatchers中设计优先级队列。


3.如权利要求1所述分布式存储系统的网络IO读写方法，其特征在于步骤S4包括：
S41：读取消息事件上标记的格式基类，若消息事件为数据消息则跳转至S42，若消息事件为心跳消息则跳转至S43，若消息事件为集群消息则跳转至S44，若消息事件为回复消息则跳转至S45；
S42：在写管道中启动写工作线程，将消息事件编码后发送至指定消息服务进程，跳转至S5；
S43：在写管道中启动写工作线程，将消息事件编码后投递到消息优先级队列并发送外部事件、在下次循环中发送至指定消息服务进程，跳转至S5；
S44：在写管道中启动写工作线程，将消息事件编码后投递到消息优先级队列并发送外部事件、在下次循环中发送至指定消息服务进程，跳转至S5；
S45：在读管道中启动读工作线程，对消息事件编码后发送至指定客户端服务进程，跳转至S5。


4.如权利要...

【专利技术属性】
技术研发人员：南坤，谢赟，韩欣，孙卓峰，
申请(专利权)人：上海德拓信息技术股份有限公司，
类型：发明
国别省市：上海;31