逻辑核编译方法及运行方法、控制器、众核芯片技术

本公开提供了一种逻辑核编译方法及运行方法、控制器、众核芯片、电子设备、计算机可读介质，待处理的计算图对应多个逻辑核，每个逻辑核对应分配有计算图中的一个或多个计算任务，该逻辑核编译方法包括：确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系；基于即时编译方式，将当前待分配的逻辑核编译至对应的第一众核芯片的第一物理核，以使第一物理核执行逻辑核的计算任务。根据本公开的实施例能够有效降低计算图中逻辑核的映射复杂度，提高计算图中逻辑核的映射和编译效率。率。率。

【技术实现步骤摘要】
逻辑核编译方法及运行方法、控制器、众核芯片


[0001]本公开涉及计算机
，特别涉及一种逻辑核编译方法及基于众核芯片的逻辑核运行方法、控制器、众核芯片、电子设备、计算机可读存储介质。

技术介绍

[0002]基于存算一体的众核架构芯片，因将计算和存储都放在片上，减少了数据搬运时间，降低了功耗，是众核芯片的一个重要发展方向。
[0003]深度学习框架(例如TensorFlow或ONNX)通常使用计算图来表达深度学习模型(神经网络)的计算。针对特定的加速硬件，神经网络计算图需要经过编译器进行编译，以生成可以在硬件上运行的指令流。其中，硬件可以是基于存算一体的众核芯片，众核芯片通常包括多个物理核(Core)。

技术实现思路

[0004]本公开提供一种逻辑核编译方法及基于众核芯片的逻辑核运行方法、控制器、众核芯片、电子设备、计算机可读存储介质。
[0005]第一方面，本公开提供了一种逻辑核编译方法，待处理的计算图对应多个逻辑核，每个逻辑核对应分配有所述计算图中的一个或多个计算任务，所述逻辑核编译方法包括：
[0006]确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系；
[0007]基于即时编译方式，将当前待分配的逻辑核编译至对应的第一众核芯片的第一物理核，以使所述第一物理核执行所述逻辑核的计算任务。
[0008]在一些实施例中，所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系，包括：
[0009]根据至少一个众核芯片的当前资源情况，确定当前待分配的逻辑核对应的第一众核芯片以及对应的第一物理核。
[0010]在一些实施例中，所述众核芯片的当前资源情况包括以下信息中的至少一种：所述众核芯片的算力、可用的物理核数量、各物理核的算力、各物理核的可用内存、所述众核芯片上的物理核之间的通信距离、所述众核芯片的负荷、各物理核的负荷、异常状态信息。
[0011]在一些实施例中，在所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系之前，所述逻辑核编译方法还包括：
[0012]响应于接收到所述众核芯片的资源上报信号，获取所述众核芯片的当前资源情况；
[0013]响应于在第一预设时间内未接收到所述众核芯片的资源上报信号，将所述众核芯片标注为不可用的众核芯片。
[0014]在一些实施例中，所述根据至少一个众核芯片的当前资源情况，确定当前待分配的逻辑核对应的第一众核芯片以及对应的第一物理核，包括：
[0015]根据至少一个众核芯片的当前资源情况，确定满足当前待分配的逻辑核的资源需
求的备选众核芯片以及备选物理核；
[0016]根据当前待分配的逻辑核与已编译的逻辑核之间的连接关系，确定与具有所述连接关系的已编译的逻辑核所对应的物理核之间的通信距离最近的备选众核芯片及备选物理核，以作为所述第一众核芯片及所述第一物理核。
[0017]在一些实施例中，所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系，包括：
[0018]获取针对当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核的多个映射方案，所述映射方案是描述当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核与众核系统中可用的物理核之间的映射关系的方案，不同映射方案中至少存在一个逻辑核与物理核之间的映射关系不同；
[0019]根据当前待分配的逻辑核及执行顺序在当前待分配的逻辑核之后的逻辑核中具有连接关系的逻辑核之间的数据传输量，确定最优映射方案；
[0020]根据最优映射方案，确定当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核中，每个逻辑核与众核系统中可用的物理核之间的映射关系，以确定每个逻辑核对应的第一众核芯片及第一物理核。
[0021]在一些实施例中，所述逻辑核编译方法还包括：
[0022]在任一已编译的逻辑核的运行阶段，响应于在第二预设时间内未接收到对应的众核芯片针对该已编译的逻辑核的运行完成信号，重新确定该已编译的逻辑核对应的第二众核芯片以及对应的第二物理核；并且，
[0023]基于即时编译方式，将该已编译的逻辑核重新编译至对应的第二众核芯片的第二物理核。
[0024]第二方面，本公开提供了一种基于众核芯片的逻辑核运行方法，待处理的计算图对应多个逻辑核，每个逻辑核对应分配有所述计算图中的一个或多个计算任务，所述逻辑核运行方法包括：
[0025]在已编译的逻辑核的运行阶段，运行所述已编译的逻辑核对应的可执行文件，以执行所述已编译的逻辑核中的计算任务；
[0026]接收当前待分配的逻辑核对应的可执行文件，并将当前待分配的逻辑核对应的可执行文件加载至对应的物理核。
[0027]在一些实施例中，在所述接收当前待分配的逻辑核对应的可执行文件之后，所述方法还包括：
[0028]将所述当前待分配的逻辑核对应的可执行文件缓存至预设消息队列。
[0029]在一些实施例中，所述方法还包括：
[0030]响应于所述已编译的逻辑核对应的可执行文件运行完成，向所述逻辑核对应的目的地址发送运行结果；并且，
[0031]向控制器发送运行完成信号。
[0032]第三方面，本公开提供了一种控制器，所述控制器用于将计算图对应的多个逻辑核编译至对应的众核芯片上运行，每个逻辑核对应分配有所述计算图中的一个或多个计算任务，所述控制器包括：
[0033]确定模块，用于确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关
系；
[0034]编译模块，用于基于即时编译方式，将当前待分配的逻辑核编译至对应的第一众核芯片的第一物理核，以使所述第一物理核执行所述逻辑核的计算任务。
[0035]第四方面，本公开提供了一种众核芯片，该众核芯片包括：
[0036]运行模块，用于在已编译的逻辑核的运行阶段，运行所述已编译的逻辑核对应的可执行文件，以执行所述已编译的逻辑核中的计算任务；
[0037]接收模块，用于接收当前待分配的逻辑核对应的可执行文件，并将当前待分配的逻辑核对应的可执行文件加载至对应的物理核。
[0038]第五方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的逻辑核编译方法和/或逻辑核运行方法。
[0039]第六方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的逻辑核编译方法和/或逻辑核运行方法。
[0040]根据本公开所提供的逻辑核编译方法及基于众核芯片的逻辑核运行方法、控制器、众核芯片、电子设备、计算机可读存储介质的技术方案，预先构建待处理的计算图对应的多个逻辑核，并将计算图的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种逻辑核编译方法，其特征在于，待处理的计算图对应多个逻辑核，每个逻辑核对应分配有所述计算图中的一个或多个计算任务，所述方法包括：确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系；基于即时编译方式，将当前待分配的逻辑核编译至对应的第一众核芯片的第一物理核，以使所述第一物理核执行所述逻辑核的计算任务。2.根据权利要求1所述的方法，其特征在于，所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系，包括：根据至少一个众核芯片的当前资源情况，确定当前待分配的逻辑核对应的第一众核芯片以及对应的第一物理核。3.根据权利要求2所述的方法，其特征在于，所述众核芯片的当前资源情况包括以下信息中的至少一种：所述众核芯片的算力、可用的物理核数量、各物理核的算力、各物理核的可用内存、所述众核芯片上物理核之间的通信距离、所述众核芯片的负荷、各物理核的负荷、异常状态信息。4.根据权利要求2所述的方法，其特征在于，在所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系之前，所述方法还包括：响应于接收到所述众核芯片的资源上报信号，获取所述众核芯片的当前资源情况；响应于在第一预设时间内未接收到所述众核芯片的资源上报信号，将所述众核芯片标注为不可用的众核芯片。5.根据权利要求2所述的方法，其特征在于，所述根据至少一个众核芯片的当前资源情况，确定当前待分配的逻辑核对应的第一众核芯片以及对应的第一物理核，包括：根据至少一个众核芯片的当前资源情况，确定满足当前待分配的逻辑核的资源需求的备选众核芯片以及备选物理核；根据当前待分配的逻辑核与已编译的逻辑核之间的连接关系，确定与具有所述连接关系的已编译的逻辑核所对应的物理核之间的通信距离最近的备选众核芯片及备选物理核，作为所述第一众核芯片及所述第一物理核。6.根据权利要求1所述的方法，其特征在于，所述确定当前待分配的逻辑核与第一众核芯片的第一物理核的映射关系，包括：获取针对当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核的多个映射方案，所述映射方案是描述当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核与众核系统中可用的物理核之间的映射关系的方案，不同映射方案中至少存在一个逻辑核与物理核之间的映射关系不同；根据当前待分配的逻辑核及执行顺序在当前待分配的逻辑核之后的逻辑核中具有连接关系的逻辑核之间的数据传输量，确定最优映射方案；根据最优映射方案，确定当前待分配的逻辑核以及执行顺序在当前待分配的逻辑核之后的逻辑核中，每个逻辑核与众核系统中可用的物理核之间的映射关系，以确定每个逻辑核对应的第一众核芯片及第一物理核。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在任一已编译的逻辑核的运...

【专利技术属性】
技术研发人员：徐茂轩，柯健，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：