数据处理系统、方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理系统、方法及装置，其中，该系统，包括：中央处理器（CPU）、以及一个或多个众核处理器，其中，CPU，与一个或多个众核处理器连接，用于与一个或多个众核处理器进行通信，并且对一个或多个众核处理器进行控制；一个或多个众核处理器，用于在CPU的控制下，接收待处理的数据，并对待处理的数据进行处理。本发明专利技术解决了众核资源得不到有效利用的技术问题，达到了提供系统的整体计算处理能力、数据传输能力和处理性能的技术效果。

【技术实现步骤摘要】

本专利技术涉及通信领域，具体而言，涉及一种数据处理系统、方法及装置。
技术介绍
未来计算机的发展存在两条路线一条是多核X86中央处理器(CentralProcessing Unit,简称为CPU),主要是针对数据库、操作系统执行的处理架构；,另一条是众核的高性能并行计算架构。由于受到空间、电力以及、冷却等因素的限制，高性能计算系统从过去的高主频单核X86处理器转向了多核，但多核系统目前也面临着当内核数量超过16个以后，该多核系统的性能无法随着内核数量进行数线性扩展，同时还会受到以及并行软件限制等等问题。，在这一背景下，图形处理单元(Graphic Processing Unit,简称为 GPU)、信息完整性编码(Message Integrity Code,简称为MIC)等众核技术的出现，出现了实现为高性能计算的GPU、MIC等众核技术。带来了新的希望。众核系统最初的工作就是完成3D图形的生成，随着众核的可编程性不断增强，可编程浮点单元已经成为众核内部的主要运算力量，并且调用越来越方便，编程门槛不断降低。众核的应用能力已经远远超出了图形渲染任务，利用众核完成通用计算的研究逐渐增多活跃起来，将GPU用于图形渲染以外领域的计算领域已经成为众核使用的必然趋势热点，因此，需要迫切要求提供一种基于众核的新的并行编程模型以及并行编程系统中间件。然而，但现有的各种基于众核的计算系统都存在着不同的各种问题，例如如功能定制化、可扩展性差，从而难以支持不同的网络结构，也并不能适应大规模产品化的需求。，因此，目前众核的应用还主要是科研性质的超级计算机等，具有功能单一、能耗大的缺点特点，很难推广到其它的应用领域，限制了众核的有效应用。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术提供了一种数据处理系统、方法及装置，以至少解决现有技术中众核资源得不到有效利用的技术问题。根据本专利技术的一个方面，提供了一种数据处理系统，包括中央处理器CPU、以及一个或多个众核处理器，其中，CPU,与一个或多个众核处理器连接,用于与一个或多个众核处理器进行通信，并且对一个或多个众核处理器进行控制；一个或多个众核处理器，用于在CPU的控制下，接收待处理的数据，并对待处理的数据进行处理。优选地，CPU还用于从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。优选地，CPU还用于在一个或多个众核处理器接收待处理的数据之前将待处理的数据分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器。优选地，CPU还用于在一个或多个众核处理器对接收到的待处理的数据进行处理时，检测一个或多个众核处理器的工作状态；根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。根据本专利技术的一个方面，提供了一种数据处理方法，包括在中央处理器CPU的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据；一个或多个众核处理器对接收到的待处理的数据进行处理。优选地，在一个或多个众核处理器接收待处理的数据之前，还包括从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。优选地，在一个或多个众核处理器接收待处理的数据之前，还包括将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器。优选地，将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务，包括确定一个或多个众核处理器的数量；根据一个或多个众核处理器的数量将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务。 优选地，在将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务之后，还包括为一个或多个计算任务分配不同的编号，其中，编号用于指示计算任务的执行顺序。优选地，在中央处理器CPU的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据包括CPU为各个与CPU相连的众核处理器均分配一个计算管理线程；对于每个计算管理线程，当接收到待处理数据时，该计算管理线程调用与该计算管理线程对应的众核处理器对接收到的待处理的数据进行处理。优选地，在一个或多个众核处理器接收待处理的数据之前，还包括请求对待处理的数据进行处理的客户端确定各个一个或多个众核处理器的处理能力；客户端根据一个或多个众核处理器的处理能力将待处理的数据发送给一个或多个众核处理器。优选地，采用如下方式确定每个众核处理的处理能力确定各个一个或多个众核处理器的预设处理能力；或CPU动态确定各个一个或多个众核处理器的当前处理能力。优选地，动态确定各个一个或多个众核处理器的当前处理能力，包括根据各个一个或多个众核处理器中当前可用的单核的数量和各个单核的处理能力确定各个一个或多个众核处理器的处理能力。优选地，在一个或多个众核处理器接收待处理的数据之前，还包括CPU根据一个或多个众核处理器的处理能力为各个一个或多个众核处理处理器分配一个或多个计算任务。优选地，一个或多个众核处理器对接收到的待处理的数据进行处理时，还包括检测一个或多个众核处理器的工作状态；根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。优选地，根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作包括在检测到一个或多个众核处理器中存在故障的众核处理器时，CPU将存在故障的众核处理器所对应的工作队列中处于等待状态的任务数据转移到与CPU相连的众核处理器中除存在故障的众核处理器之外的其他众核处理器中进行处理。优选地，在检测到一个或多个众核处理器中存在故障的众核处理器时，还包括将存在故障的众核处理器的状态设置为不可用状态。优选地，该数据处理方法还包括当系统负荷低于预定阈值和/或需要降低系统损耗时，将一个或多个众核处理器的状态设置为不可用状态。优选地，根据检测结果对众核处理器中的待处理的数据进行处理，包括在检测到一个或多个众核处理器中存在处理负荷大于第二预定处理阈值的众核处理器时，CPU将处理负荷大于第二预定处理阈值的众核处理器上处理的数据转移到与CPU相连的众核处理器中进行处理。优选地，一个或多个众核处理器对接收到的待处理的数据进行处理之后，还包括一个或多个众核处理器将处理结果发送给请求计算待处理的数据的客户端；和/或一个或多个众核处理器存储处理结果，并向客户端发送已经处理完待处理的数据的通知消息，其中，客户端响应于通知消息从一个或多个众核处理器中获取处理结果。优选地，一个或多个众核处理器对接收到的待处理的数据进行处理之后，还包括在客户端在预定时间内未收到一个或多个计算任务对应的处理结果和/或通知消息的情况下，重新选择当前处理负荷小于第一预定处理阈值的众核处理器对未收到的处理结果和 /或通知消息所对应的计算任务进行处理。优选地，在与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据之前，还包括确定CPU所在的网络系统中的所有的众核处理器，将所有的众核处理器分为一个或多个组，将每个组作为一个资源池。优选地，在一个或多个众核处理器接收待处理的数据之前，还包括从资源池中选择选择处理负荷小于第三预定处理阈值的资源池作为处理待处理的数据的资源池；将待处理数本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，包括：中央处理器CPU、以及一个或多个众核处理器，其中，所述CPU，与所述一个或多个众核处理器连接，用于与所述一个或多个众核处理器进行通信，并且对所述一个或多个众核处理器进行控制；所述一个或多个众核处理器，用于在所述CPU的控制下，接收待处理的数据，并对所述待处理的数据进行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘忱，周自春，郭树波，张绍满，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：