基于多个处理核的数据流处理方法、装置、设备及介质制造方法及图纸

本公开涉及一种基于多个处理核的数据流处理方法、装置、设备及介质。其中，基于多个处理核的数据流处理方法包括：通过多个处理核中的第一处理核获取待处理数据流；通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链；通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；通过第二处理核对处理数据流进行数据处理。根据本公开实施例，能够实现对多个处理核的统一管理，提高处理核处理性能。提高处理核处理性能。提高处理核处理性能。

【技术实现步骤摘要】
基于多个处理核的数据流处理方法、装置、设备及介质


[0001]本公开涉及计算机
，尤其涉及一种基于多个处理核的数据流处理方法、装置、设备及介质。

技术介绍

[0002]当前处理器可以通过多个处理核计算完成许多大规模计算任务，多个处理核根据不同的功能不同的处理核都会对处理的数据流进行存储和访问，现在大多数处理器内部的不同功能核都会占用固定的存储空间，且每个处理核都要做存储空间管理。
[0003]相关技术中，每个处理核针对不同场景处理不同长度的数据流，无法事先分配空间，导致多个处理核管理困难，降低处理核处理性能。

技术实现思路

[0004]为了解决上述技术问题，本公开提供了一种基于多个处理核的数据流处理方法、装置、设备及介质。
[0005]第一方面，本公开提供了一种基于多个处理核的数据流处理方法，包括：
[0006]通过多个处理核中的第一处理核获取待处理数据流；
[0007]通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链；
[0008]通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；
[0009]通过第二处理核对待处理数据流进行数据处理。
[0010]第二方面，本公开提供了一种基于多个处理核的数据流处理装置，包括：
[0011]第一处理模块，用于通过多个处理核中的第一处理核获取待处理数据流；
[0012]第二处理模块，用于通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链；
[0013]第三处理模块，用于通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流；
[0014]第四处理模块，用于通过第二处理核对待处理数据流进行数据处理。
[0015]第三方面，本公开提供了一种基于多个处理核的数据流处理设备，包括：
[0016]处理器；
[0017]存储器，用于存储可执行指令；
[0018]其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面的基于多个处理核的数据流处理方法。
[0019]第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的基于多个处理核的数据流处理方法。
[0020]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0021]本公开实施例的基于多个处理核的数据流处理方法、装置、设备及介质，能够通过多个处理核中的第一处理核获取待处理数据流，接着通过配置单元对处理数据流进行数据存储处理，得到具有对象索引的数据链，然后通过多个处理核中的第二处理核基于对象索引读取数据链中存储的待处理数据流，最后通过第二处理核对处理数据流进行数据处理，由此通过配置单元实现对待处理数据流的存储与读取，从而实现对多个处理核的统一管理，提高处理核处理性能。
附图说明
[0022]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0023]图1为本公开实施例提供的一种基于多个处理核的数据流处理方法的流程示意图；
[0024]图2为本公开实施例提供的一种数据链的结构示意图；
[0025]图3为本公开实施例提供的另一种数据链的结构示意图；
[0026]图4为本公开实施例提供的一种数据流存储方法的流程示意图；
[0027]图5为本公开实施例提供的一种数据流读取方法的流程示意图；
[0028]图6为本公开实施例提供的一种基于多个处理核的数据流处理装置的结构示意图；
[0029]图7为本公开实施例提供的一种基于多个处理核的数据流处理设备的结构示意图。
具体实施方式
[0030]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0031]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0032]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0033]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0034]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0035]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性
的目的，而并不是用于对这些消息或信息的范围进行限制。
[0036]为了解决上述问题，本公开实施例提供了一种基于多个处理核的数据流处理方法、装置、设备及介质。下面结合图1至图5对本公开实施例提供的基于多个处理核的数据流处理方法进行详细说明。
[0037]图1示出了本公开实施例提供的一种基于多个处理核的数据流处理方法的流程示意图。
[0038]在本公开实施例中，该基于多个处理核的数据流处理方法可以由电子设备执行。例如电子设备可以为包括数据处理器(Data Processing Unit，DPU)设备卡的设备。
[0039]如图1所示，该基于多个处理核的数据流处理方法可以包括如下步骤。
[0040]S110、通过多个处理核中的第一处理核获取待处理数据流。
[0041]在本公开实施例中，电子设备可以通过多个处理核中的第一处理核获取待处理数据流。
[0042]可选地，多个处理核可以为一个处理器中集成两个或多个完整的计算引擎。
[0043]可选地，第一处理核可以为获取待处理数据流的处理核。
[0044]可选地，待处理数据流可以为需要进行计算处理的数据流。
[0045]具体地，电子设备可以通过多个处理核中的第一处理核获取待处理数据流。
[0046]S120、通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链。
[0047]在本公开实施例中，电子设备可以通过配置单元对待处理数据流进行数据存储处理，得到具有对象索引的数据链。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多个处理核的数据流处理方法，其特征在于，包括：通过多个处理核中的第一处理核获取待处理数据流；通过配置单元对所述待处理数据流进行数据存储处理，得到具有对象索引的数据链；通过所述多个处理核中的第二处理核基于所述对象索引读取所述数据链中存储的所述待处理数据流；通过所述第二处理核对所述待处理数据流进行数据处理。2.根据权利要求1所述的方法，其特征在于，所述待处理数据流包括数据流标识名和数据流数据。3.根据权利要求2所述的方法，其特征在于，通过配置单元对所述待处理数据流进行数据存储处理，得到具有对象索引的数据链，包括：通过所述配置单元将所述数据流数据存储在预设最小存储单元中，并建立与所述数据流标识名对应的所述对象索引，得到所述数据链。4.根据权利要求3所述的方法，其特征在于，所述通过所述配置单元将所述数据流数据存储在预设最小存储单元中，包括：在所述数据流数据的数据量小于或等于所述预设最小存储单元的存储量时，通过所述配置单元将所述数据流数据存储在所述预设最小存储单元中；在所述数据流数据的数据量大于所述预设最小存储单元的存储量时，通过所述配置单元将所述数据流数据存储在由多个所述预设最小存储单元组成的扩展单元中。5.根据权利要求4所述的方法，其特征在于，所述通过所述多个处理核中的第二处理核基于所述对象索引读取所述数据链中存储的所述待处理数据流，包括：通过所述第二处理核根据所述数据流标识名确定对应的所述对象索引，并获取所述对象索引对应的所述数据链中的数据长度信息；根据所述数据长度信息读取所述数据链中所述预设最小存储单元存储的所述数据流数据。6.根据权利要求5所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：范东生，
申请(专利权)人：中科驭数北京科技有限公司，
类型：发明
国别省市：