【技术实现步骤摘要】
本申请涉及数据处理领域，尤其涉及一种数据处理系统、方法、装置和控制器。
技术介绍
1、目前，通过高带宽、低时延的片间互连总线和交换机将多个节点互连成一个高性能集群，俗称超节点(super node)。相对异构计算服务器架构(如：中央处理器(centralprocessing unit，cpu)+领域特定结构(domain specific architecture，dsa))，超节点能够提供更高的计算能力；相对以太网络互连带宽，超节点能够提供更大的带宽。但是，超节点通常以静态模式进行配置，无法灵活扩展，无法适应不同的应用场景下的计算需求。
技术实现思路
1、本申请提供了数据处理系统、方法、装置和控制器，由此实现灵活扩展超节点的规模，适应不同的应用场景下的计算需求。
2、第一方面，提供了一种数据处理系统。数据处理系统包括多个节点和控制器，多个节点包括第一节点和第二节点，多个节点和控制器通过高速互连链路连接。控制器，用于当第二节点请求接入数据处理系统时，为第二节点分配第二节点标识，其中，第二节点在数据处理系统中的全局物理地址为第二节点的节点标识和第二节点的物理地址；控制器，还用于将第二节点的全局物理地址发送给第一节点。
3、相对于在数据处理系统的启动阶段以静态模式进行配置，本申请通过控制器控制接入新节点，可以按需弹性扩展数据处理系统的规模，例如，支持接入加速器、增大内存的存储空间等，从而满足不同的应用场景下的计算需求。
4、结合第一方面，在一种可能的
5、其中，互联设备也可以称为互联芯片或交换芯片。互联设备用于基于第二节点标识与端口的对应关系转发第一节点访问第二节点的消息。例如，互联设备存储有第一节点标识与第一端口的对应关系，互联设备基于第一节点标识与第一端口的对应关系转发第二节点访问第一节点的消息。互联设备存储有第二节点标识与第二端口的对应关系，互联设备基于第二节点标识与第二端口的对应关系转发第一节点访问第二节点的消息。
6、从而，使互联设备基于节点标识转发节点间进行通信的数据，使系统内的加速器资源可以为多个节点共享，适应不同的应用场景下的计算需求。
7、需要说明的是，全局物理地址是指由数据处理系统包含的多个节点中任意一个节点可以访问的地址。数据处理系统包含的多个节点中任意一个节点存储有其他节点的全局物理地址，以便于任意一个节点根据其他节点的全局物理地址访问其他节点的存储空间。全局物理地址用于唯一指示数据处理系统中的一个节点的存储空间。可理解地，全局物理地址包含节点标识和节点的物理地址。由于节点标识用于唯一指示数据处理系统中的一个节点，则全局物理地址中的物理地址用于唯一指示数据处理系统中的一个节点的存储空间。节点的物理地址是指节点内存储空间的地址。虽然不同的节点内存储空间的物理地址可以是相同的，但是数据处理系统中的任一节点根据全局物理地址区分不同节点内的存储空间。
8、例如，第一节点的全局物理地址包括第一节点标识和第一节点的物理地址。由于第一节点标识用于唯一指示第一节点，第一节点的物理地址用于唯一指示第一节点的存储空间，则第一节点的全局物理地址可以用于指示第一节点的存储空间。
9、第二节点的全局物理地址包括第二节点标识和第二节点的物理地址。由于第二节点标识用于唯一指示第二节点，第二节点的物理地址用于唯一指示第二节点的存储空间，则第二节点的全局物理地址可以用于指示第二节点的存储空间。
10、由此，第一节点可以根据第二节点的全局物理地址访问第二节点的存储空间。第二节点可以根据第一节点的全局物理地址访问第一节点的存储空间。
11、结合第一方面，在另一种可能的实现方式中，第二节点用于根据第一节点指示的源地址获取待处理数据，源地址用于指示存储待处理数据的节点的节点标识和物理地址；第二节点还用于处理待处理数据，以及根据第一节点指示的目的地址存储处理后数据，目的地址用于指示存储处理后数据的节点的节点标识和物理地址。
12、如此，将节点的数据处理请求扩充到系统内不同节点间，根据全局物理地址中节点标识唯一指示的节点的物理地址，获取待处理数据或存储处理后数据，从而使系统内的加速器资源可以为多个节点共享，适应不同的应用场景下的计算需求。
13、示例地，源地址用于指示第一节点的全局物理地址。目的地址用于指示第二节点的全局物理地址。
14、结合第一方面，在另一种可能的实现方式中，第二节点具体用于根据第一节点指示的操作标识对待处理数据执行加速操作得到处理后数据。其中，第二节点包括处理器、加速器和内存控制器中任一个。例如将通用处理器(如：cpu)的作业卸载到加速器，由加速器处理计算需求较高的作业(如：hpc、大数据作业、数据库作业等)，解决由于通用处理器浮点算力不足，无法满足hpc、ai等场景的重浮点计算需求的问题，从而，缩短数据处理时长以及降低系统能耗，提升系统性能。节点的计算能力也可以称为节点的计算算力。节点内部也可以集成加速器。独立部署的加速器和集成加速器的节点支持灵活插拔，可以按需弹性扩展数据处理系统的规模，从而满足不同的应用场景下的计算需求。
15、结合第一方面，在另一种可能的实现方式中，多个节点的存储介质经过统一编址构成全局内存池。例如，全局内存池包括源地址指示的存储空间或/和目的地址指示的存储空间。从而，节点执行数据处理的过程中从全局内存池读取数据或对全局内存池写入数据，以提升数据处理的速度。
16、结合第一方面，在另一种可能的实现方式中，第一节点还用于根据第一节点的物理地址访问第一节点的存储空间。第二节点还用于根据第二节点的物理地址访问第一节点的存储空间。
17、结合第一方面，在另一种可能的实现方式中，控制器还用于当第二节点退出数据处理系统时，控制第一节点老化第二节点的全局物理地址，以及控制互联设备老化第二节点标识与端口的对应关系。
18、如此，在数据处理系统中设置控制器和互联设备，基于节点接入机制和退出机制，可弹性增加及减少节点，实现了可弹性扩展的超节点架构，既解决了传统超节点架构无法动态扩展的问题，又避免了传统io总线架构规模受限和带宽低问题，并支持在节点或者互联设备故障情况下的动态容错机制。
19、第二方面，提供了一种数据处理方法，数据处理系统包括多个节点，多个节点包括第一节点和第二节点，多个节点和控制器通过高速互连链路连接。方法包括：当第二节点请求接入数据处理系统时，控制器为第二节点分配第二节点标识，其中，第二节点在数据处理系统中的全局物理地址为第二节点的节点标识和第二节点的物理地址；控制器将第二节点的全局物理地址发送给第一节点。
20、结合第二方面，在一种可能的实现方式中，数据处理系统还包括互联设备，互联设备基于本文档来自技高网...
【技术保护点】
1.一种数据处理系统，其特征在于，所述数据处理系统包括多个节点和控制器，所述多个节点包括第一节点和第二节点，所述多个节点和所述控制器通过高速互连链路连接；
2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括互联设备，所述互联设备基于高速互连链路连接所述多个节点；
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求1-3中任一项所述的系统，其特征在于，所述多个节点的存储介质经过统一编址构成全局内存池。
5.根据权利要求1-4中任一项所述的系统，其特征在于，
6.根据权利要求5所述的系统，其特征在于，所述多个节点的存储介质构成的全局内存池包括所述源地址指示的存储空间或/和所述目的地址指示的存储空间。
7.根据权利要求5或6所述的系统，其特征在于，所述第二节点具体用于根据所述第一节点指示的操作标识对所述待处理数据执行加速操作得到所述处理后数据。
8.根据权利要求5-7中任一项所述的系统，其特征在于，
9.根据权利要求1-8中任一项所述的系统，其特征在于，所述第二节点包
10.根据权利要求1-9所述的系统，其特征在于，
11.一种数据处理方法，其特征在于，数据处理系统包括多个节点，所述多个节点包括第一节点和第二节点，所述多个节点和所述控制器通过高速互连链路连接；所述方法包括：
12.根据权利要求11所述的方法，其特征在于，所述数据处理系统还包括互联设备，所述互联设备基于高速互连链路连接所述多个节点；所述方法还包括：
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
14.根据权利要求11-13中任一项所述的方法，其特征在于，所述多个节点的存储介质经过统一编址构成全局内存池。
15.根据权利要求11-14中任一项所述的方法，其特征在于，所述方法还包括：
16.根据权利要求15所述的方法，其特征在于，所述多个节点的存储介质构成的全局内存池包括所述源地址指示的存储空间或/和所述目的地址指示的存储空间。
17.根据权利要求15或16所述的方法，其特征在于，所述第二节点处理所述待处理数据包括：
18.根据权利要求15-17中任一项所述的方法，其特征在于，所述方法还包括：
19.根据权利要求11-18中任一项所述的方法，其特征在于，所述第二节点包括处理器、加速器和内存控制器中任一个。
20.根据权利要求11-19所述的方法，其特征在于，所述方法还包括：
21.一种控制装置，其特征在于，所述控制装置应用于数据处理系统，所述数据处理系统包括基于高速互连技术连接的多个节点，所述多个节点包括第一节点和第二节点，所述装置包括：
22.根据权利要求21所述的装置，其特征在于，所述数据处理系统还包括互联设备，所述互联设备基于高速互连链路连接所述多个节点；所述装置还包括通信模块；
23.根据权利要求22所述的装置，其特征在于，
24.一种数据处理节点，其特征在于，所述数据处理节点为数据处理系统中基于高速互连链路连接的多个节点中的其中一个节点，所述装置包括：
25.一种控制器，其特征在于，所述控制器包括存储器和至少一个处理器，所述存储器用于存储一组计算机指令；当所述处理器执行所述一组计算机指令时，控制器执行如权利要求11、12和20中任一所述的方法。
...【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括多个节点和控制器，所述多个节点包括第一节点和第二节点，所述多个节点和所述控制器通过高速互连链路连接；
2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括互联设备，所述互联设备基于高速互连链路连接所述多个节点；
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求1-3中任一项所述的系统，其特征在于，所述多个节点的存储介质经过统一编址构成全局内存池。
5.根据权利要求1-4中任一项所述的系统，其特征在于，
6.根据权利要求5所述的系统，其特征在于，所述多个节点的存储介质构成的全局内存池包括所述源地址指示的存储空间或/和所述目的地址指示的存储空间。
7.根据权利要求5或6所述的系统，其特征在于，所述第二节点具体用于根据所述第一节点指示的操作标识对所述待处理数据执行加速操作得到所述处理后数据。
8.根据权利要求5-7中任一项所述的系统，其特征在于，
9.根据权利要求1-8中任一项所述的系统，其特征在于，所述第二节点包括处理器、加速器和内存控制器中任一个。
10.根据权利要求1-9所述的系统，其特征在于，
11.一种数据处理方法，其特征在于，数据处理系统包括多个节点，所述多个节点包括第一节点和第二节点，所述多个节点和所述控制器通过高速互连链路连接；所述方法包括：
12.根据权利要求11所述的方法，其特征在于，所述数据处理系统还包括互联设备，所述互联设备基于高速互连链路连接所述多个节点；所述方法还包括：
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。