数据处理方法、众核系统及存储介质技术方案

本公开提供了一种数据处理方法、众核系统及存储介质。该数据处理方法中，由于共同处理一个任务的每个处理核只处理所需的全部数据的一部分(即不用每个处理核都获取全部数据)，从而降低了开始处理任务前的数据传输量(或者说是处理相邻任务的处理核之间的数据传输量)，降低了片上网络的传输带宽需求。降低了片上网络的传输带宽需求。降低了片上网络的传输带宽需求。

【技术实现步骤摘要】
数据处理方法、众核系统及存储介质


[0001]本公开涉及计算机
，特别涉及一种数据处理方法、众核系统和存储介质。

技术介绍

[0002]众核系统包括多个处理核，不同处理核之间可以相互协作，共同完成任务。在不同处理核协作完成任务的过程中，必然涉及各个处理核之间的数据交互。因此，如何降低片上网络的传输带宽需求是本领域长期存在的技术问题。

技术实现思路

[0003]本公开提供一种数据处理方法、众核系统和存储介质。
[0004]第一方面，本公开实施例提供一种数据处理方法，应用于众核系统，众核系统的多个处理核分为至少一个核组，所述核组包括多个处理核；方法包括：
[0005]所述核组处理至少一个任务；其中，所述任务对应多个输出通道，处理所述任务所需的全部数据分为多个子数据，每个输出通道对应每个所述子数据有一个子权重信息；
[0006]所述核组处理至少一个任务，包括：
[0007]每个所述处理核获取一个子数据；其中，不同处理核获取的子数据不同，每个所述处理核具有对应所述子数据的全部所述子权重信息；
[0008]每个所述处理核用每个所述子权重信息分别处理所述子数据，分别获得所述子数据对应多个输出通道的多个单次处理结果；
[0009]至少部分所述处理核将对应相同输出通道的中间结果发送至同一所述处理核；其中，所述中间结果至少根据该处理核获得的单次处理结果得到；
[0010]至少部分所述处理核根据中间结果获得子任务结果；其中，所述子任务结果根据对应同一输出通道的中间结果得到。
[0011]在一些实施例中，所述每个所述处理核用每个所述子权重信息分别处理所述子数据，分别获得所述子数据在多个输出通道对应的多个单次处理结果，包括：
[0012]每个所述处理核用每个所述子权重信息分别处理所述子数据，获得全部单次处理结果；
[0013]所述至少部分所述处理核将具有相同输出通道的中间结果发送至同一所述处理核，包括：
[0014]在每个所述处理核获得全部单次处理结果后，至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核；
[0015]所述至少部分所述处理核根据中间结果获得子任务结果，包括：
[0016]在至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核后，至少部分所述处理核根据全部所述单次处理结果，获得子任务结果。
[0017]在一些实施例中，每个所述处理核对应一个输出通道；所述至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核，包括：
[0018]每个所述处理核将除自身输出通道对应的单次处理结果外的其他全部单次处理结果，分别发送至具有相同输出通道的所述处理核。
[0019]在一些实施例中，所述每个核组处理至少一个任务，包括：
[0020]每个所述处理核获取一个子数据；
[0021]每个所述处理核用对应的一个子权重信息处理所述子数据，获得一个所述单次处理结果，并将所述单次处理结果作为中间结果；
[0022]每个所述处理核将所述中间结果发送至该中间结果当前对应的输出通道的处理核；
[0023]每个所述处理核用一个对应的所述子权重信息处理所述子数据，获得一个所述单次处理结果；其中，所述子权重信息为所述处理核未处理过所述子数据的子权重信息；
[0024]每个所述处理核根据所述单次处理结果和接收到的所述中间结果，获得当前的中间结果；
[0025]若每个所述处理核中具有未处理过所述子数据的子权重信息，则返回所述每个所述处理核将所述中间结果发送至该中间结果当前对应的输出通道的处理核；
[0026]若每个所述处理核中不具有未处理过所述子数据的子权重信息，则每个所述处理核将当前中间结果作为子任务结果。
[0027]在一些实施例中，所述每个所述处理核根据所述单次处理结果和接收到的所述子任务中间结果，获得当前子任务中间结果，包括：
[0028]每个所述处理核将所述单次处理结果和接收到的所述子任务中间结果叠加，获得当前子任务中间结果。
[0029]在一些实施例中，在每个核组处理至少一个任务的过程中，每个所述处理核处理对应的输出通道不同，并且在所述每个所述处理核将所述中间结果发送至该中间结果当前对应的输出通道的处理核的步骤中。
[0030]在一些实施例中，所述众核系统包括至少一个共享存储，所述核组中的每个所述处理核均能够直接访问所述共享存储；
[0031]所述至少部分所述处理核将具有相同输出通道的中间结果发送至同一所述处理核，包括：至少部分所述处理核将具有相同输出通道的中间结果通过所述共享存储发送至同一所述处理核。
[0032]在一些实施例中，所述数据处理方法用于处理神经网络，每个任务为神经网络的一个层。
[0033]在一些实施例中，每个所述核组处理一个任务包括处理反向任务，所述反向任务包括反卷积任务或反向全连接任务；
[0034]在所述每个所述核组处理反向任务之前，还包括：
[0035]该核组处理正向任务，所述正向任务包括卷积任务或全连接任务；其中，该核组处理正向任务的子权重信息与该核组处理反向任务的子权重信息为同一套子权重信息。
[0036]在一些实施例中，所述方法包括：至少一个核组处理多个任务，所述多个任务包括第一任务和第二任务，且所述第一任务为所述第二任务的相邻的在先任务；
[0037]在所述核组处理所述第二任务时，所述每个所述处理核获取一个子数据包括：
[0038]每个处理核至少获取该处理核在处理所述第一任务时获得的子任务结果，根据所
述子任务结果获得处理所述第二任务的一个子数据。
[0039]第二方面，本公开实施例提供一种众核系统，其包括：
[0040]多个处理核；
[0041]所述多个处理核用于执行本公开实施例提供的所述数据处理方法。
[0042]第三方面，本公开实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现如本公开实施例提供的所述数据处理方法。
[0043]本公开提供的数据处理方法中，由于共同处理一个任务的每个处理核只处理所需的全部数据的一部分(即不用每个处理核都获取全部数据)，从而降低了开始处理任务前的数据传输量(或者说是处理相邻任务的处理核之间的数据传输量)，降低了片上网络的传输带宽需求。本公开还提供了一种众核系统和存储介质。
附图说明
[0044]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与详细实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0045]图1为本公开实施例提供的一种数据处理方法的流程图；
[0046]图2为图1中步骤S100的具体流程图；
[0047]图3为本公开实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于众核系统，其特征在于，众核系统的多个处理核分为至少一个核组，所述核组包括多个处理核；方法包括：所述核组处理至少一个任务；其中，所述任务对应多个输出通道，处理所述任务所需的全部数据分为多个子数据，每个输出通道对应每个所述子数据有一个子权重信息；所述核组处理至少一个任务，包括：每个所述处理核获取一个子数据；其中，不同处理核获取的子数据不同，每个所述处理核具有对应所述子数据的全部所述子权重信息；每个所述处理核用每个所述子权重信息分别处理所述子数据，分别获得所述子数据对应多个输出通道的多个单次处理结果；至少部分所述处理核将对应相同输出通道的中间结果发送至同一所述处理核；其中，所述中间结果至少根据该处理核获得的单次处理结果得到；至少部分所述处理核根据中间结果获得子任务结果；其中，所述子任务结果根据对应同一输出通道的中间结果得到。2.根据权利要求1所述的数据处理方法，其特征在于，所述每个所述处理核用每个所述子权重信息分别处理所述子数据，分别获得所述子数据在多个输出通道对应的多个单次处理结果，包括：每个所述处理核用每个所述子权重信息分别处理所述子数据，获得全部单次处理结果；所述至少部分所述处理核将具有相同输出通道的中间结果发送至同一所述处理核，包括：在每个所述处理核获得全部单次处理结果后，至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核；所述至少部分所述处理核根据中间结果获得子任务结果，包括：在至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核后，至少部分所述处理核根据全部所述单次处理结果，获得子任务结果。3.根据权利要求2所述的数据处理方法，其特征在于，每个所述处理核对应一个输出通道；所述至少部分所述处理核将具有相同输出通道的单次处理结果发送至同一所述处理核，包括：每个所述处理核将除自身输出通道对应的单次处理结果外的其他全部单次处理结果，分别发送至具有相同输出通道的所述处理核。4.根据权利要求1所述的数据处理方法，其特征在于，所述每个核组处理至少一个任务，包括：每个所述处理核获取一个子数据；每个所述处理核用对应的一个子权重信息处理所述子数据，获得一个所述单次处理结果，并将所述单次处理结果作为中间结果；每个所述处理核将所述中间结果发送至该中间结果当前对应的输出通道的处理核；每个所述处理核用一个对应的所述子权重信息处理所述子数据，获得一个所述单次处理结果；其中，所述子权重信息为所述处理核未处理过所述子数据的子权重信息；每个所述处理核根据所述单次...

【专利技术属性】
技术研发人员：李涵，邓磊，王冠睿，丁瑞强，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：