异构系统、数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种异构系统、数据处理方法及装置，属于数据处理领域。该方法包括根据数据处理任务从n种计算设备中确定具有执行数据处理任务的能力的计算设备；将数据处理算法分解为至少两个类型的处理算核并根据处理算核的类型将数据处理任务划分为若干个预定处理任务；根据功效比和能效比从计算设备中确定出目标计算设备；接收处理结果并组合处理结果得到最终处理结果；解决了在分配数据处理任务时，只向一个类型的计算设备发送数据处理任务，可能会降低异构系统的计算效率的问题；达到了将一个数据处理任务按其对应的处理算法包括的算核进行拆分，由不同类型的计算设备同时进行数据处理，提高异构系统计算能力和计算效率的效果。

【技术实现步骤摘要】
异构系统、数据处理方法及装置
本专利技术实施例涉及数据处理领域，特别涉及一种异构系统、数据处理方法及装置。
技术介绍
异构系统是指将使用不同类型的指令集合和体系架构的计算单元组成计算系统的计算方式。常见的异构系统包括中央处理器(CentralProcessingUnit，CPU)类计算设备、图形处理器(GraphicsProcessingUnit，GPU)类计算设备和现场可编程门阵列(FieldProgrammableGateArray，FPGA)计算设备。每种计算设备在执行数据处理任务时具有各自擅长的类型，当异构系统中的管理设备接收到数据处理任务时，管理设备根据数据处理任务的类型将数据处理任务分配给异构系统中相应的计算设备进行处理。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：在分配数据处理任务时，只考虑了数据处理任务的任务类型。当计算设备的空心资源较少且被分配了较多的数据处理任务，而其他种类的计算设备具有空闲资源时，降低了异构系统的计算效率。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种异构系统、数据处理方法及装置。该技术方案如下：第一方面，提供了一种异构系统，该异构系统包括管理设备和n种计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；所述管理设备，用于根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果；所述目标计算设备，用于执行所述预定处理任务可选的，所述管理设备，还用于将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。可选的，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。第二方面，提供了一种数据处理方法，应用于包括管理设备和n种计算设备的异构系统中，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数，该方法包括：根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备，所述目标计算设备用于执行所述预定处理任务；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果。可选的，所述将所述预定处理任务发送至所述目标计算设备，包括：将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。可选的，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。第三方面，提供了一种数据处理装置，该装置包括：第一确定单元，用于根据数据处理任务对应的数据处理算法，从n种计算设备中确定具有执行所述数据处理任务的能力的计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；分解单元，用于将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；第二确定单元，用于根据功效比和能效比从所述计算设备中确定出目标计算设备，所述目标计算设备用于执行所述预定处理任务；发送单元，用于将所述预定处理任务发送至所述目标计算设备；组合单元，用于接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果。可选的，所述将发送单元，还用于：将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。可选的，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。本专利技术实施例提供的技术方案带来的有益效果是：通过管理设备根据数据处理任务对应的数据处理算法，从n种计算设备中确定具有执行数据处理任务的能力的计算设备；将数据处理算法分解为至少两个类型的处理算核，并根据处理算核的类型将数据处理任务划分为若干个预定处理任务；根据功效比和能效比从计算设备中确定出目标计算设备，由目标计算设备执行预定处理任务；管理设备将预定处理任务发送至目标计算设备；接收目标计算设备发送的处理结果，并组合处理结果得到最终处理结果；解决了在分配数据处理任务时，从数据处理任务的类型的角度将数据处理任务看作一个整体，只向一个类型的计算设备发送数据处理任务，可能会降低异构系统的计算效率的问题；达到了将一个数据处理任务按其对应的处理算法包括的算核进行拆分，由不同种类的计算设备同时进行数据处理，提高异构系统计算能力和计算效率的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一示例性实施例提供的异构系统的结构示意图；图2是本专利技术一个示例性实施例提供的管理设备的结构示意图；图3是本专利技术一个示例性实施例提供的集中式运算集群中的计算设备的结构示意图；图4是本专利技术一个示例性实施例提供的分布式运算集群中的计算设备的结构示意图；图5是本专利技术一示例性实施例示出的一种计算卡的结构示意图；图6是根据一示例性实施例示出的一种数据处理方法的流程图；图7是根据一示例性实施例示出的一种数据处理装置的框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。图1是根据本专利技术一示例性实施例提供的异构系统的结构示意图。如图1所示，该异构系统至少包括管理设备100、集中式运算集群200、分布式运算集群300。可选的，管理设备为具有管理计算设备功能的管理服务器。集中式运算集群200中包括若干个计算设备。集中式运算集群200至少包括n种计算卡，每个计算设备包括至少一种计算卡，n为大于等于2的整数。可选的，集中式运算集群中包括的计算设备为服务器。分布式运算集群300中包括若干个计算设备，分布式运算集群200至少包括n种计算卡，每个计算设备包括至少一种计算卡，n为大于等于2的整数。可选的，分布式运算集群中包括的计算设备为普通计算机。需要说明的是，集中式运算集群中计算设备的数量和本文档来自技高网...

【技术保护点】
一种异构系统，其特征在于，所述异构系统包括管理设备和n种计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；所述管理设备，用于根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果；所述目标计算设备，用于执行所述预定处理任务。

【技术特征摘要】
1.一种异构系统，其特征在于，所述异构系统包括管理设备和n种计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；所述管理设备，用于根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果；所述目标计算设备，用于执行所述预定处理任务。2.根据权利要求1所述的异构系统，其特征在于，所述管理设备，还用于将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。3.根据权利要求1或2所述的异构系统，其特征在于，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。4.一种数据处理方法，其特征在于，应用于包括管理设备和n种计算设备的异构系统中，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数，所述方法包括：根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备，所述目标计算设备用于执行所述预定处理任务；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结...

【专利技术属性】
技术研发人员：邓佳伟，尤文杰，张涛，
申请(专利权)人：无锡十月中宸科技有限公司，
类型：发明
国别省市：江苏,32