数据处理方法、众核系统及存储介质技术方案

本公开提供了一种数据处理方法、众核系统及存储介质。该数据处理方法中，每个核组的多个处理核处理一个任务，其中，每个处理核每次仅获取处理该任务所需的全部数据的一部分，由于仅接收全部数据的一部分即可以开始处理任务，从而降低处理任务的准备时长。从而降低处理任务的准备时长。从而降低处理任务的准备时长。

【技术实现步骤摘要】
数据处理方法、众核系统及存储介质


[0001]本公开涉及计算机
，特别涉及一种数据处理方法、众核系统和存储介质。

技术介绍

[0002]众核系统包括多个处理核，不同处理核之间可以相互协作，共同完成任务。
[0003]在相关技术中，多个处理核共同处理一个任务，每个处理核需要接收处理任务所需的全部数据才能够开始处理，导致处理核等待时间长。

技术实现思路

[0004]本公开提供一种数据处理方法、众核系统和存储介质。
[0005]第一方面，本公开实施例提供一种数据处理方法，应用于众核系统，众核系统的多个处理核分为至少一个核组，每个核组包括多个处理核；方法包括：
[0006]每个核组处理一个任务；其中，该核组的每个处理核对应该任务的一个子任务；
[0007]所述每个核组处理一个任务包括：
[0008]每个处理核获取一个子数据；其中，所述子数据为处理该任务所需的全部数据的一部分，不同处理核获取的子数据不同；
[0009]每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果；
[0010]若处理完成，则每个所述处理核获得其子任务结果；其中，所述处理完成为每个处理核均已完成对全部数据的处理，每个所述处理核的子任务结果根据其全部单次处理结果获得；
[0011]若未处理完成，则每个所述处理核将其当前获取的子数据发送至一个未对该子数据进行过处理的处理核，并返回所述每个处理核获取一个子数据的步骤。
[0012]在一些实施例中，所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果，包括：每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果并存储；
[0013]所述每个所述处理核获得其子任务结果，包括：每个处理核根据其中存储的全部所述单次处理结果获得其子任务结果。
[0014]在一些实施例中，所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果包括：
[0015]每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果；
[0016]每个处理核将其当前获得的所述单次处理结果加入其子任务结果中。
[0017]在一些实施例中，所述数据处理方法用于处理神经网络，每个任务为神经网络的一个层。
[0018]在一些实施例中，在所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果之前，还包括：
[0019]每个所述处理核获取其当前获取的子数据对应的子权重信息。
[0020]在一些实施例中，在每个核组处理一个任务的过程中，每个所述处理核每次将其当前获取的所述子数据均传输至同一处理核。
[0021]在一些实施例中，所述众核系统包括至少一个共享存储，所述核组中的每个所述处理核均能够直接访问所述共享存储；
[0022]所述每个所述处理核将其当前获取的子数据发送至一个未对该子数据进行过处理的处理核包括：每个所述处理核将其当前获取的子数据通过所述共享存储发送至一个未对该子数据进行过处理的处理核。
[0023]在一些实施例中，所述众核系统的多个处理核分为多个核组，多个核组包括第一核组和第二核组；所述方法包括：所述第一核组处理第一任务，所述第二核组处理第二任务，且所述第一任务为所述第二任务的相邻的在先任务；
[0024]在所述第一核组处理所述第一任务时，所述每个处理核获得其子任务结果包括：
[0025]所述第一核组的每个所述处理核获得其子任务结果，并将其获得的所述子任务结果发送至所述第二核组的至少一个所述处理核；
[0026]在所述第二核组处理所述第二任务时，所述每个处理核第一次获取一个子数据包括：
[0027]所述第二核组的每个处理核根据接收到的一个子任务结果获得一个子数据。
[0028]在一些实施例中，所述众核系统包括至少一个共享存储，所述第一核组和所述第二核组中的每个所述处理核均能够直接访问同一个所述共享存储；
[0029]在所述第一核组处理所述第一任务时，每个处理核获得其子任务结果包括：
[0030]所述第一核组的每个所述处理核获得其子任务结果，并将其获得的所述子任务结果存储至所述共享存储；
[0031]在所述第二核组处理所述第二任务时，每个处理核第一次获取一个子数据包括：
[0032]所述第二核组的每个处理核访问所述共享存储，根据获取到的一个子任务结果获取一个子数据。
[0033]在一些实施例中，所述方法包括：至少一个核组处理多个任务，所述多个任务包括第一任务和第二任务，且所述第一任务为所述第二任务的相邻的在先任务；
[0034]在所述核组处理所述第二任务时，每个处理核第一次获取一个子数据包括：
[0035]每个处理核至少获取该处理核在处理所述第一任务时获得的子任务结果，根据至少一个所述子任务结果获得处理所述第二任务的一个子数据。
[0036]第二方面，本公开实施例提供了一种众核系统，包括：
[0037]多个处理核；
[0038]所述多个处理核用于执行本公开实施例提供的任意一种所述数据处理方法。
[0039]第三方面，本公开实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现本公开实施例提供的任意一种所述数据处理方法。
[0040]本公开提供的数据处理方法中，每个核组的多个处理核处理一个任务，其中，每个处理核每次仅获取处理该任务所需的全部数据的一部分，由于仅接收全部数据的一部分即可以开始处理任务，从而降低处理任务的准备时长。本公开还提供了一种众核系统和存储介质。
附图说明
[0041]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与详细实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0042]图1为相关技术提供的一种数据处理方法的示意图；
[0043]图2为本公开实施例提供的一种数据处理方法的流程图；
[0044]图3为图2中步骤S100的具体流程图；
[0045]图4为图3中步骤S102的具体流程图；
[0046]图5为一种众核系统应用本公开实施例提供的数据处理方法处理一个任务的示意图；
[0047]图6为应用本公开实施例提供的数据处理方法的一种众核系统的示意图；
[0048]图7为另一种众核系统应用本公开实施例提供的另一种数据处理方法处理两个任务的示意图；
[0049]图8为应用本公开实施例提供的数据处理方法的另一种众核系统的示意图；
[0050]图9为另一种众核系统应用本公开实施例提供的另一种数据处理方法处理两个任务的示意图；
[0051]图10为另一种众核系统应用本公开实施例提供的另一种数据处理方法处理两个任务的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于众核系统，其特征在于，众核系统的多个处理核分为至少一个核组，每个核组包括多个处理核；方法包括：每个核组处理一个任务；其中，该核组的每个处理核对应该任务的一个子任务；所述每个核组处理一个任务包括：每个处理核获取一个子数据；其中，所述子数据为处理该任务所需的全部数据的一部分，不同处理核获取的子数据不同；每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果；若处理完成，则每个所述处理核获得其子任务结果；其中，所述处理完成为每个处理核均已完成对全部数据的处理，每个所述处理核的子任务结果根据其全部单次处理结果获得；若未处理完成，则每个所述处理核将其当前获取的子数据发送至一个未对该子数据进行过处理的处理核，并返回所述每个处理核获取一个子数据的步骤。2.根据权利要求1所述的数据处理方法，其特征在于，所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果，包括：每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果并存储；所述每个所述处理核获得其子任务结果，包括：每个处理核根据其中存储的全部所述单次处理结果获得其子任务结果。3.根据权利要求1所述的数据处理方法，其特征在于，所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果包括：每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果；每个处理核将其当前获得的所述单次处理结果加入其子任务结果中。4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法用于处理神经网络，每个任务为神经网络的一个层。5.根据权利要求4所述的数据处理方法，其特征在于，在所述每个处理核用其对应的子任务处理其当前获取的子数据，获得其单次处理结果之前，还包括：每个所述处理核获取其当前获取的子数据对应的子权重信息。6.根据权利要求1所述的数据处理方法，其特征在于，在每个核组处理一个任务的过程中，每个所述处理核每次将其当前获取的所述子数据均传输至同一处理核。7.根据权利要求1所述的数据处理方法，其特征在于，所述众核系统包括至少一个共享存储，所述核组中的每个所述处理核均能够直接访问所述共享存储；...

【专利技术属性】
技术研发人员：李涵，邓磊，王冠睿，丁瑞强，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：