一种面向高并发场景的存算一体数据调度系统及方法技术方案

技术编号:46600714 阅读:2 留言:0更新日期:2025-10-10 21:32
本申请涉及高并发数据处理技术领域,公开了一种面向高并发场景的存算一体数据调度系统及方法,该系统包括存算融合架构模块、分布式缓存模块、动态分片模块、并行计算模块、预加载模块和资源调度中心。该方法与该系统相对应。本申请,通过深度融合数据存储与计算,利用分布式缓存技术和数据预加载机制,有效减少I/O瓶颈,支持动态数据分片与并行计算,特别适用于大规模数据分析场景。

【技术实现步骤摘要】

本申请涉及高并发数据处理,具体是一种面向高并发场景的存算一体数据调度系统及方法


技术介绍

1、在高并发场景下,传统的如冯·诺依曼架构面临严重挑战。数据频繁在存储器和处理器之间搬运,导致显著延迟和能耗问题。随着数据量呈指数级增长,内存速度的增长远不及处理器性能的提升,导致处理器需要大量时间等待存储器完成读写操作,形成性能瓶颈。

2、如公开号为cn119493833a的中国专利公开的应用于高并发场景的数据处理方法、装置及电子设备,是一种存算分离架构,通过优化数据获取模式(本地缓存、内存数据库)降低数据库读压力。但该方案仍存在数据在存储与计算单元间频繁传输的问题,无法解决大规模并行计算场景下的i/o瓶颈。

3、又如公开号为cn119066022a的中国专利公开的一种存算一体系统、存算功能单元以及设备,是一种存算一体架构,将存算功能单元嵌入处理器,通过非总线线路连接,减轻处理器计算压力。但该方案主要关注硬件层面的优化,缺乏针对高并发场景的动态数据分片和并行计算支持。

4、基于上述的存算分离架构和存算一体架构,可以看出,现有技术本文档来自技高网...

【技术保护点】

1.一种面向高并发场景的存算一体数据调度系统,其特征在于,包括:

2.根据权利要求1所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述分布式缓存模块包括:

3.根据权利要求1所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述预加载模块具体配置为:

4.根据权利要求1或3所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述数据分片的实现步骤包括:

5.根据权利要求4所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述数据分片的实现步骤还包括:

6.根据权利要求1所述的面向高并发场景的存算一体数据...

【技术特征摘要】

1.一种面向高并发场景的存算一体数据调度系统,其特征在于,包括:

2.根据权利要求1所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述分布式缓存模块包括:

3.根据权利要求1所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述预加载模块具体配置为:

4.根据权利要求1或3所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述数据分片的实现步骤包括:

5.根据权利要求4所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述数据分片的实现步骤还包括:

6.根据权利要求1所述的面向高并发场景的存算一体数据调度系统,其特征在于,所述远端存储为nof+网络。

...

【专利技术属性】
技术研发人员:刘洋林广烘刘晓东连良秀胡新黄周峰
申请(专利权)人:宏景科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1