数据处理方法、计算系统、设备、存储介质和程序产品技术方案

技术编号:43452570 阅读:18 留言:0更新日期:2024-11-27 12:54
本申请涉及信息技术领域,特别涉及一种数据处理方法、计算系统、设备、存储介质和程序产品。该方法应用于包括多个计算节点的计算系统,该计算系统中不同计算节点的处理器通过芯片互联总线进行连接。计算系统中的一个计算节点可以利用共享虚拟地址通过芯片互联总线来访问另一个计算节点中的数据,无需进行多次的数据复制,有利于降低计算节点间的数据传输延迟,提高计算节点间数据传输的效率,进而提高计算任务的运行效率。

【技术实现步骤摘要】

本申请涉信息,特别涉及一种数据处理方法、计算系统、设备、存储介质和程序产品


技术介绍

1、随着用户的计算任务的复杂程度的增加,通常需要由多个计算节点对同一计算任务进行协同处理,例如由不同计算节点分别处理该计算任务的一个或多少子任务。在多个计算节点进行协同处理的过程中,计算节点间通常需要进行计算节点间的数据访问,例如由一个计算节点获取另一个计算节点的存储器中的数据,或者由一个计算节点向另一个计算节点的存储器中存储数据。

2、目前,计算节点间的数据访问通常是通过网络来实现,例如通过远程直接存储器访问(remote direct memory access,rdma)协议、传输控制协议/网际协议(transmissioncontrol protocol/internet protocol,tcp/ip)协议等来实现。但是,计算节点间通过网络进行数据访问过程中,会存在数据的多次复制,例如在计算节点的内存/网卡/缓存间进行数据复制,或者计算节点中的不同计算单元对应的存储器间进行复制等。如此,导致计算节点间通过网络进行数据访问的传输速度较低、延迟较高,影本文档来自技高网...

【技术保护点】

1.一种数据处理方法,应用于计算系统,其特征在于,所述计算系统包括第一计算节点和第二计算节点,其中,所述第一计算节点包括第一处理器,所述第二计算节点包括第第二处理器和第一存储器,所述第一处理器和所述第二处理器通过芯片互联总线连接;并且,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述跨节点访问请求中包括第一虚拟地址,并且,所述第一处理器通过芯片互联总线访问所述第一存储器,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一处理器运行有第一进程,所述第一虚拟地址为所述第一进程的虚拟地址;并且,所述确定出所述第一虚拟地址对应的第一物理地址,包括:<...

【技术特征摘要】

1.一种数据处理方法,应用于计算系统,其特征在于,所述计算系统包括第一计算节点和第二计算节点,其中,所述第一计算节点包括第一处理器,所述第二计算节点包括第第二处理器和第一存储器,所述第一处理器和所述第二处理器通过芯片互联总线连接;并且,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述跨节点访问请求中包括第一虚拟地址,并且,所述第一处理器通过芯片互联总线访问所述第一存储器,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一处理器运行有第一进程,所述第一虚拟地址为所述第一进程的虚拟地址;并且,所述确定出所述第一虚拟地址对应的第一物理地址,包括:

4.根据权利要求3所述的方法,其特征在于,所述第二处理器运行有第二进程,所述第一物理地址是所述第二进程的第二虚拟地址对应的物理地址。

5.根据权利要求4所述的方法,其特征在于,所述第一映射关系是通过以下方式确定:

6.根据权利要求5所述的方法,其特征在于,所述第一计算节点运行有第一虚拟内存共享引擎,所述第二计算节点运行有第二虚拟内存共享引擎;并且,所述第二处理器将所述第二虚拟地址和所述第一物理地址的第二映射关系发送给所述第一处理器,包括:

7.根据权利要求6所述的方法,其特征在于,所述第一虚拟地址和所述第二虚拟地址相同。

8.根据权利要求6所述的方法,其特征在于,所述第一虚拟地址和所述第二虚拟地址不同。

9.根据权利要求6至8中任一项所述的方法,其特征在于,所述将所述第一虚拟地址与所述第一物理地址的所述第一映射关系添加到所述第一页表中,包括:

10.根据权利要求6至8中任一项所述的方法,其特征在于,所述第一计算节点和所述第二计算节点为第一关联...

【专利技术属性】
技术研发人员:陈如杰郑飞
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1