多路复用异步处理系统及方法技术方案

技术编号:25051406 阅读:23 留言:0更新日期:2020-07-29 05:39
一种多路复用异步处理系统及方法,所述系统包含:应用服务器向分析模块发送数据请求;分析模块分析接收到的数据请求的数据类型,将写数据请求交由生产多路复用器IO线程;生产多路复用器IO线程将写数据请求异步写入分布式消息队列,根据分布式消息队列反馈的第一应答响应和第二应答响应获得应答数据,并反馈至应用服务器;消费多路复用器IO线程于分布式消息队列中拉取相同的写数据请求,根据写数据请求将对应的写数据异步写入多个存储服务器;将存储服务器反馈的应答数据存入分布式消息队列后生成第二应答响应,并反馈至生产多路复用器IO线程;存储服务器根据写数据的执行结果生成应答数据,将应答数据异步反馈至消费多路复用器IO线程。

【技术实现步骤摘要】
多路复用异步处理系统及方法
本专利技术涉及数据交互领域,尤指一种多路复用异步处理系统及方法。
技术介绍
随着业务量的不断增长,大数据爆发的时代,对于高性能、高并发的处理能力要求不断提升,同时在金融等领域对于存储的高可用和数据的一致性要求也提出了鱼和熊掌要兼得的需求。在部分读写高并发请求的业务场景下,数据访问量或写入量较高时,对设备的性能要求较高,业务系统容易出现性能不足的问题;在业务系统频繁进行上下文切换过程中因其响应逻辑的局限性,响应失效的情况也时有发生;再者,业界普遍采用的存储服务器主从模式,存在主从数据异步复制,导致应用服务器会读到数据不一致的场景,同时在发生主从切换时也会导致从节点的数据丢失问题。基于此,业内亟需一种多路复用异步处理系统及方法能够在较低成本的基础基础还上克服上述问题。
技术实现思路
本专利技术目的在于提供一种多路复用异步处理系统及方法,通过多路复用和异步ACK确认技术,解决了在读多写少的业务场景下,对同一类数据访问量较高时出现性能不足问题。为达上述目的,本专利技术所提供的多路复本文档来自技高网...

【技术保护点】
1.一种多路复用异步处理系统,其特征在于,所述系统包含应用服务器、代理服务器和多个存储服务器;/n所述应用服务器用于向所述代理服务器发送数据请求;/n所述代理服务器包含分析模块、生产多路复用器IO线程、多个消费多路复用器IO线程和分布式消息队列;/n所述分析模块用于分析接收到的数据请求的数据类型,当所述数据请求为写数据请求时,将所述写数据请求交由所述生产多路复用器IO线程;/n所述生产多路复用器IO线程用于将所述写数据请求异步写入分布式消息队列,并根据所述分布式消息队列反馈的第一应答响应和所述消费多路复用器IO线程反馈的第二应答响应于所述分布式消息队列中获得应答数据,将所述应答数据反馈至应用服...

【技术特征摘要】
1.一种多路复用异步处理系统,其特征在于,所述系统包含应用服务器、代理服务器和多个存储服务器;
所述应用服务器用于向所述代理服务器发送数据请求;
所述代理服务器包含分析模块、生产多路复用器IO线程、多个消费多路复用器IO线程和分布式消息队列;
所述分析模块用于分析接收到的数据请求的数据类型,当所述数据请求为写数据请求时,将所述写数据请求交由所述生产多路复用器IO线程;
所述生产多路复用器IO线程用于将所述写数据请求异步写入分布式消息队列,并根据所述分布式消息队列反馈的第一应答响应和所述消费多路复用器IO线程反馈的第二应答响应于所述分布式消息队列中获得应答数据,将所述应答数据反馈至应用服务器;
所述消费多路复用器IO线程于所述分布式消息队列中拉取相同的所述写数据请求,并根据所述写数据请求将对应的写数据异步写入多个存储服务器;以及,将所述存储服务器反馈的应答数据存入所述分布式消息队列后,生成第二应答响应,将所述第二应答响应异步反馈至所述生产多路复用器IO线程;
所述存储服务器用于根据所述消费多路复用器IO线程写入的写数据的执行结果生成应答数据,将所述应答数据异步反馈至所述消费多路复用器IO线程。


2.根据权利要求1所述的多路复用异步处理系统,其特征在于,所述分析模块还包含当所述数据请求为读数据请求时,通过内核中断机制调用所述消费多路复用器IO线程处理所述读数据请求。


3.根据权利要求2所述的多路复用异步处理系统,其特征在于,所述消费多路复用器IO线程还用于通过一致性哈希算法定位所述读数据请求所对应的存储服务器;通过异步方式将所述读数据请求转发至所述存储服务器;将所述存储服务器反馈的应答数据反馈至所述应用服务器。


4.根据权利要求1所述的多路复用异步处理系统,其特征在于,所述分布式消息队列包含关联单元和查询单元;
所述请求单元用于根据所述写数据请求建立标识信息,将所述标识信息交由至所述生产多路复用器IO线程和所述消费多路复用器IO线程;以及,将所述写数据请求、所述标识信息和所述应答数据关联后保存;
所述查询单元用于根据接收到的标识信息调取对应的所述写数据请求或所述应答数据。


5.一种多路复用异步处理方法,其特征在...

【专利技术属性】
技术研发人员:武文斌郑宝城傅兵潘洪添
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1