基于环形队列实现系统高性能的方法、系统、设备及介质技术方案

技术编号:40775918 阅读:25 留言:0更新日期:2024-03-25 20:22
本申请公开了一种基于环形队列实现系统高性能的方法、系统、设备及介质,主要涉及系统性能技术领域,用以解决现有的提高系统性能的方法:单线程文件解析服务占了过多资源,导致其他服务资源会受到影响、多线程文件解析服务存在竞争资源而造成阻塞,从而影响系统的并发性能的问题。包括:通过Socket技术,获取待解析文件元信息,并存储至Disruptor环形缓冲区的环形队列中;创建消费者线程和工作组线程,将消费者线程与工作组线程进行绑定,并将工作组线程绑定至Disruptor内置的工作组线程池中;通过消费者线程处理环形队列中的待解析文件元信息,获得处理结果;进而将处理结果返回至消息中间件。

【技术实现步骤摘要】

本申请涉及系统性能,尤其涉及一种基于环形队列实现系统高性能的方法、系统、设备及介质


技术介绍

1、目前提高系统性能的文件解析服务的技术方案为:上游系统将待解析文件元数据发送到消息中间件,文件解析系统通过指定端口监听消息中间件,获取消息中间件中的待解析元数据。延伸的第一种技术方案是获取到待解析的文件元数据,处理一个数据,处理完再处理下一条数据,整个处理过程是串行的。第二种技术方案是在监听到消息后,将消息保存到线程池的阻塞队列中,启用多个线程进行文件解析处理,解析后的数据进行组装返回消息中间件。

2、上述两种技术方案,一方案:在处理能力不够时,一方案是部署多个服务,采用多个服务的方式进行处理数据,但是相同服务部署多个,每个服务占用的资源就会成比例的增加,文件解析服务占了过多资源,因在同台物理机上部署了其他服务的资源会被抢占,从而影响其它服务的稳定性和处理能力。二方案:使用java多线程的方式,让多个线程来同时执行多个任务。但是java多线程在低延迟方面受到锁竞争、线程调度、线程池的影响,需要等待线程的创建和销毁,任务的执行需要排队等待、线程的切换本文档来自技高网...

【技术保护点】

1.一种基于环形队列实现系统高性能的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,创建消费者线程和工作组线程,将消费者线程与工作组线程进行绑定,具体包括:

3.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,通过工作组线程池中的若干工作组线程,处理环形队列中的待解析文件元信息,以获得处理结果,具体包括:

4.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,所述方法还包括:

5.一种基于环形队列实现系统高性能的系统,其特征在于,所述系统包括:

...

【技术特征摘要】

1.一种基于环形队列实现系统高性能的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,创建消费者线程和工作组线程,将消费者线程与工作组线程进行绑定,具体包括:

3.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,通过工作组线程池中的若干工作组线程,处理环形队列中的待解析文件元信息,以获得处理结果,具体包括:

4.根据权利要求1所述的基于环形队列实现系统高性能的方法,其特征在于,所述方法还包括:

5.一种基于环形队列实现系统高性能的系统,其特征在于,所述系统包...

【专利技术属性】
技术研发人员:肖刚盛凯吴明
申请(专利权)人:南京中孚信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1