一种计算架构及方法技术

本申请涉及一种计算架构及方法，应用在集群计算领域，包括计算管理系统用于获取和分析任务并管理和调度执行任务需要的计算资源；共享内存系统与计算管理系统通信连接，用于管理执行任务所需要公共内存，以及执行任务过程中产生的数据；计算集群与共享内存系统通信连接，用于接收任务，对任务进行计算并输出计算结果；计算管理系统包括管理节点，管理节点用于控制计算管理系统直接访问共享内存系统；计算集群包括计算节点，计算节点用于控制计算集群直接访问共享内存系统。本申请具有的技术效果是：降低访问延时，简化系统，减少数据流转环节，降低成本，提高计算效率。

【技术实现步骤摘要】

本申请涉及集群计算，尤其是涉及一种计算架构及方法。

技术介绍

1、随着ai计算向大模型的迁移，大模型区别于传统ai模型的模型，大模型的规模大、需要的kv cache缓存空间大、计算周期长等特点给大模型的计算架构设计带来了诸多挑战。

2、在现有的计算架构中，计算集群中从数据库调取一个模型并加载到计算设备中运行，通常为先调用存储设备中的模型，然后发送到计算设备进行模型加载，模型的数据流示意图如图1所示。

3、在现有的模型计算架构中，存储端为集群设备，数据在存储介质间流转次数会增多，导致增加数据的传输延时，从而可能会导致整个系统使用卡顿，进而导致用户的使用体验不佳。

技术实现思路

1、为了有助于解决现有的计算架构数据在存储介质之间的流转次数多导致数据传输延时大的问题，本申请提供一种计算架构及方法。

2、第一方面，本申请提供一种计算架构，采用如下的技术方案：所述计算架构包括计算管理系统、共享内存系统和计算集群；

3、所述计算管理系统用于获取和分析任务并管理和调度执行所述本文档来自技高网...

【技术保护点】

1.一种计算架构，其特征在于：所述计算架构包括计算管理系统、共享内存系统和计算集群；

2.根据权利要求1所述的计算架构，其特征在于：所述管理节点包括CPU；所述CPU用于对所述计算管理系统中的数据计算进行管理。

3.根据权利要求1所述的计算架构，其特征在于：所述计算节点包括加速器，所述加速器用于对所述任务进行加速计算；其中，所述加速器与所述共享内存系统之间直接进行数据传输。

4.一种计算方法，应用于权利要求1-3中任一项所述的计算架构，其特征在于：所述计算架构包括共享内存系统，所述共享内存系统包括共享内存池，所述方法包括：

<p>5.根据权利要求...

【技术特征摘要】

1.一种计算架构，其特征在于：所述计算架构包括计算管理系统、共享内存系统和计算集群；

2.根据权利要求1所述的计算架构，其特征在于：所述管理节点包括cpu；所述cpu用于对所述计算管理系统中的数据计算进行管理。

3.根据权利要求1所述的计算架构，其特征在于：所述计算节点包括加速器，所述加速器用于对所述任务进行加速计算；其中，所述加速器与所述共享内存系统之间直接进行数据传输。

4.一种计算方法，应用于权利要求1-3中任一项所述的计算架构，其特征在于：所述计算架构包括共享内存系统，所述共享内存系统包括共享内存池，所述方法包括：

5.根据权利要求4所述的计算方法，其特征在于：所述共享内存池包括模型管理表和模型参数缓存区，所...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：