一种数据处理系统及方法技术方案

一种数据处理系统及方法，涉及计算机技术领域，用于在分布式计算中解决由于内存的存储空间有限，而导致的计算节点中内存和硬盘之间的不必要的数据交换的问题，以减少资源浪费。其中，数据处理系统包括：第一计算节点，包括第一处理器，第一处理器通过第一计算节点的通信总线连接至内存池；第二计算节点，包括第二处理器，第二处理器通过第二计算节点的通信总线连接至内存池；第一处理器，用于生成M个数据，根据通信总线对应的协议，将M个数据经由第一处理器的缓存存储至内存池；第二处理器，用于根据通信总线对应的协议，从内存池中获取N个数据至第二处理器的缓存，并对N个数据进行处理，其中，M个数据包括N个数据，M和N均为正整数。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种数据处理系统及方法。

技术介绍

1、分布式计算(distributed computing)是一种把需要进行大量计算的工程数据分割成小块，由多个计算节点分别计算得到计算结果，再将计算结果统一合并得出数据结论的科学。进一步的，由于各个计算节点只能处理任务的一部分数据，则当某个阶段需要依赖前面阶段的所有计算结果时，需要对前面阶段的所有计算结果进行重新整合。

2、但由于计算节点的内存的存储空间有限，在重新整合操作中会存在内存和硬盘之间的多次数据交换，比如第一计算节点用于生成数据，第二计算节点用于读取第一计算节点中该数据，而由于第一计算节点的本地内存的存储空间有限，第一计算节点需要将生成的数据由第一计算节点的本地内存写入至第一计算节点的硬盘中；相应的，由于第二计算节点的本地内存的存储空间有限，第二计算节点需要将从第一计算节点的硬盘中读取到的数据由第二计算节点的本地内存写入至第二计算节点的硬盘中；且第二计算节点在处理该数据之前，需要先将该数据由第二计算节点的硬盘中读取到第二计算节点的本地内存中。

<p>3、如此，在分布本文档来自技高网...

【技术保护点】

1.一种数据处理系统，其特征在于，包括：

2.如权利要求1所述的系统，其特征在于，所述通信总线为计算快速链接CXL总线或者统一总线UB。

3.如权利要求1所述的系统，其特征在于，

4.如权利要求1所述的系统，其特征在于，所述内存池为存储节点；

5.如权利要求1所述的系统，其特征在于，所述内存池为所述第一计算节点中的第一扩展内存，所述第一计算节点中还包括第一交换机，所述第一处理器、第一扩展内存和所述第一交换机均连接至所述第一计算节点的通信总线上；

6.如权利要求1所述的系统，其特征在于，所述内存池包括所述第一计算节点中的第一扩展内...

【技术特征摘要】

1.一种数据处理系统，其特征在于，包括：

2.如权利要求1所述的系统，其特征在于，所述通信总线为计算快速链接cxl总线或者统一总线ub。

3.如权利要求1所述的系统，其特征在于，

4.如权利要求1所述的系统，其特征在于，所述内存池为存储节点；

5.如权利要求1所述的系统，其特征在于，所述内存池为所述第一计算节点中的第一扩展内存，所述第一计算节点中还包括第一交换机，所述第一处理器、第一扩展内存和所述第一交换机均连接至所述第一计算节点的通信总线上；

6.如权利要求1所述的系统，其特征在于，所述内存池包括所述第一计算节点中的第一扩展内存，以及所述第二计算节点中的第二扩展内存；

7.如权利要求1-6任意一项所述的系统，其特征在于，所述第一计算节点还包括本地内存...

【专利技术属性】
技术研发人员：雷雨，赵嘉威，张景芳，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：