一种超并发数据实时处理方法技术

技术编号:41503212 阅读:16 留言:0更新日期:2024-05-30 14:44
本发明专利技术提供了一种超并发数据实时处理方法,设立边缘网关服务器和主服务器,对服务器的缓存区进行划分,实时调整各缓存分区的状态,建立数据清理线程进行数据清理,创建数据处理任务并分配任务管理进程,实时调整任务优先级;在线程执行任务时设立分布式锁降低不同线程对同一任务的冲突,计算各服务器的负载信息并进行均衡分配,提高超并发数据的处理效率。本发明专利技术解决了现有技术中超并发数据在处理过程中的数据丢失、任务处理实时性差、系统运行不平稳、数据传输效率和资源利用率低的问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种超并发数据实时处理方法


技术介绍

1、随着大数据时代的到来,人们在经济、科研、生活等各个领域不断交叉融合,催生了海量数据,一旦超并发数据请求量较大,短时间内造成响应不及时或者系统来不及处理导致请求丢失,对服务器产生巨大压力,影响业务和服务的正常运行。

2、我国专利申请号:cn202111119063,公开日:2021.12.14,公开了一种解决交易数据高并发的处理系统及方法,主要包括:外部交易数据进行提交,系统对于提交的交易数据进行获取;对于获取的交易数据进行处理,包括对于数据进行整合、将无用交易数据剔除、对于交易数据分类、对于交易数据保存与对于一些缓存数据进行处理;进行数据缓冲处理过程中,先对缓存数据进行监测,建立数据接收线程,缓存数据与数据接收线程相互交互,对于一些无用的缓冲数据提取,进行快速清理;将处理后的数据输出至负载均衡服务器内;负载均衡服务器根据预先配置好的ip映射关系和调度算法将交易数据请求分发到相应的消息队列服务器;通过对应的服务器对于交易数据进行分发,分别进行处理,对于处理后的交易数据进行二本文档来自技高网...

【技术保护点】

1.一种超并发数据实时处理方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤S1包括:

3.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤S1包括:

4.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤S2包括:

5.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤S2包括:

6.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤S2包括:

【技术特征摘要】

1.一种超并发数据实时处理方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤s1包括:

3.如权利要求1所述的一种超并发数据实时处理方法,其特征在于,所述步骤s1包括:

4....

【专利技术属性】
技术研发人员:王跃超江晓
申请(专利权)人:海识烟台信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1