本申请实施例提供了一种多通道数据的处理方法、装置、设备和存储介质。该方法包括：选择通道，从上下文缓存中获取待处理数据；第一级软件流水单元对待处理数据进行处理，得到对应的处理结果；将中间结果回写到上下文缓存中；下一级流水单元为软件流水单元，从上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到上下文缓存中；下一级流水单元为硬件流水单元，将处理结果中的硬件配置信息存储到硬件流水单元的第一缓存中，以便在下一个时间片时迁移到硬件流水单元的第二缓存进行处理，且将对应处理得到的中间结果回写到上下文缓存中；直到各级流水单元完成流水级处理，从上下文缓存中获取对应的处理结果，输出到对应的通道中。到对应的通道中。到对应的通道中。
【技术实现步骤摘要】
多通道数据的处理方法、装置、设备和存储介质
[0001]本申请涉及计算机
，特别是涉及一种多通道数据的处理方法和装置、一种数据的流水级处理方法和装置、一种电子设备和一种存储介质。
技术介绍
[0002]随着异构计算的迅猛发展，流水线计算也被大量应用于软硬件混合处理的系统中。在这种系统中，某些原来由软件处理的流水级计算被卸载到专有硬件上进行加速，从而极大提高了系统的性能，但是同时也带来了诸如软硬件同步的挑战。
[0003]在纯软件流水线系统中，通常采用大量的并行(多进程/多线程)处理，以支持多条流水线的并行处理，即所谓的多通道。多通道流水线并行，一方面能填充因单个流水线输入数据不足时可能带来的流水线停顿，另一方面也能让多个流水线分时共享处理时间片，从而降低了每个处理通道的延时。但是，多通道软硬件混合流水线架构对通道调度，软硬件同步等提出了更高要求。
[0004]如图1所示的一种支持多通道流水线的硬件架构图。在此架构中，包括通道0-通道n，在流水线的头部设置一个通道调度器(Channel Scheduling)和通道复用器(Channel Mux)，用以将各通道的数据复用到同一套流水线处理逻辑。数据经过各个流水级时，得到相应的处理，在整个流水线的尾部，有一个通道解复用器(Channel De-Mux)，将输出数据解复用到各个通道。在此架构下，待处理数据一般在流水线间进行传递。其中，为了隐藏硬件配置带来的延时，在硬件流水单元的输入输出处，均设有缓冲，用于缓存输入的数据以及输出的结果。
[0005]这种架构简单直观，并且能在一定程度上消除流水线建立以及结束期间，流水级的空闲时间。但是该架构也存在一些问题，在该架构下数据一旦进入流水线，必须经过所有的处理，任何通道的数据出现异常，将影响到所有通道，使得数据无法正常处理。
技术实现思路
[0006]本申请实施例提供了一种多通道数据的处理方法，以多通道软硬件混合流水处理的稳定性。
[0007]相应的，本申请实施例还提供了一种多通道数据的处理装置、一种数据的流水级处理方法和装置、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。
[0008]为了解决上述问题，本申请实施例公开了一种多通道数据的处理方法，所述方法包括：基于通道调度器选择通道，从所述上下文缓存中获取所述通道的待处理数据；第一级软件流水单元对所述待处理数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；将所述中间结果回写到所述上下文缓存中；若下一级流水单元为软件流水单元，则从所述上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到所述上下文缓存中；若下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二
缓存进行处理，且将对应处理得到的中间结果回写到所述上下文缓存中；直到各级流水单元完成流水级处理，从所述上下文缓存中获取对应的处理结果，输出到对应的通道中。
[0009]本申请实施例还公开了一种数据的流水级处理方法，所述方法包括：当前级软件流水单元对数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；将所述中间结果回写到所述上下文缓存中；若下一级流水单元为软件流水单元，则从所述上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到所述上下文缓存中；若下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二缓存进行处理，且将对应处理得到的中间结果回写到所述上下文缓存中；直到各级流水单元完成流水级处理，将对应的处理结果回写到上下文缓存。
[0010]本申请实施例还公开了一种数据的流水级处理方法，所述方法包括：基于通道调度器选择通道，从所述上下文缓存中获取所述通道的数据；在流水级处理的过程中，各级软件流水单元从上下文缓存获取数据并执行处理，将对应处理的数据回写到所述上下文缓存中；各级硬件流水单元将第一缓存的硬件配置信息迁移到第二缓存进行处理，且将对应处理得到的数据回写到所述上下文缓存中，所述第一缓存的硬件配置信息由上一级软件流水单元写入；直到各级流水单元完成流水级处理，从所述上下文缓存中获取对应的处理结果，输出到对应的通道中。
[0011]本申请实施例还公开了一种多通道数据的处理装置，包括：通道选择器，用于选择通道，从所述上下文缓存中获取所述通道的待处理数据；流水处理模块，用于第一级软件流水单元对所述待处理数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；将所述中间结果回写到所述上下文缓存中；若下一级流水单元为软件流水单元，则从所述上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到所述上下文缓存中；若下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二缓存进行处理，且将对应处理得到的中间结果回写到所述上下文缓存中；直到各级流水单元完成流水级处理；通道解复用器，用于从所述上下文缓存中获取对应的处理结果，输出到对应的通道中。
[0012]本申请实施例还公开了一种数据的流水级处理装置，所述装置包括：处理模块，用于当前级软件流水单元对数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；以及，在下一级流水单元为软件流水单元的情况下，从所述上下文缓存获取所述中间结果并执行处理；回写模块，用于将处理得到的中间结果回写到所述上下文缓存中；以及，在各级流水单元完成流水级处理的情况下，将对应的处理结果回写到上下文缓存；硬件配置模块，用于在下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二缓存进行处理，且将对应处理得到的中间结果回写到所述上下文缓存中。
[0013]本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。
[0014]本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所
述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。
[0015]与现有技术相比，本申请实施例包括以下优点：
[0016]在本申请实施例中，基于通道调度器选择通道后，可从上下文缓存中获取该通道的待处理数据，然后输入到软件流水单元中进行处理，得到的中间结果可回写到上下文缓存中，若下一级流水单元为软件流水单元，则从所述上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到所述上下文缓存中，而若下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二缓存进行处理，且将对应处理得到的中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多通道数据的处理方法，其特征在于，所述方法包括：基于通道调度器选择通道，从所述上下文缓存中获取所述通道的待处理数据；第一级软件流水单元对所述待处理数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；将所述中间结果回写到所述上下文缓存中；若下一级流水单元为软件流水单元，则从所述上下文缓存获取所述中间结果并执行处理，将对应处理的中间结果回写到所述上下文缓存中；若下一级流水单元为硬件流水单元，则将所述处理结果中的硬件配置信息存储到所述硬件流水单元的第一缓存中，以便在下一个时间片时迁移到所述硬件流水单元的第二缓存进行处理，且将对应处理得到的中间结果回写到所述上下文缓存中；直到各级流水单元完成流水级处理，从所述上下文缓存中获取对应的处理结果，输出到对应的通道中。2.根据权利要求1所述的方法，其特征在于，所述上下文缓存包括：上下文存储单元，所述上下文存储单元与通道对应；所述从所述上下文缓存中获取所述通道的待处理数据，包括：扫描所述通道对应的上下文存储单元，获取对应待处理数据。3.根据权利要求2所述的方法，其特征在于，所述将中间结果回写到上下文缓存的步骤，包括：将中间结果写入到所述通道对应的上下文存储单元。4.根据权利要求2所述的方法，其特征在于，所述从上下文缓存获取中间结果的步骤包括，包括：从所述通道对应的上下文存储单元，获取所述中间结果。5.根据权利要求2所述的方法，其特征在于，还包括：在所述于通道调度器切换通道的情况下，从切换后通道对应上下文存储单元中获取待处理数据。6.根据权利要求1-5任一所述的方法，其特征在于，流水单元的处理顺序与通道相关。7.根据权利要求2所述的方法，其特征在于，还包括：在检测到目标通道出现异常时，清空所述目标通道对应的各级流水单元和上下文缓存，所述流水单元包括软件流水单元和/或硬件流水单元。8.根据权利要求2所述的方法，其特征在于，所述从所述上下文缓存中获取对应的处理结果，输出到对应的通道中，包括：解复用器从所述通道对应的上下文存储单元中获取对应的处理结果，处理后输出到相应的通道中；清除所述通道对应的上下文存储单元中的所述处理结果。9.根据权利要求1所述的方法，其特征在于，还包括：配置通道对应的流水单元的处理顺序，并生成流水处理文件；将所述流水处理文件添加到所述上下文缓存中。10.根据权利要求1所述的方法，其特征在于，还包括：提供配置页面；
依据所述配置页面接收选择指示，依据所述选择指示选择流水单元的处理顺序，并生成流水处理文件；将所述流水处理文件添加到所述上下文缓存中。11.根据权利要求1所述的方法，其特征在于，还包括：设置所述通道对应软件流水单元和硬件流水单元的执行比例；将所述执行比例添加到所述上下文缓存中。12.一种数据的流水级处理方法，其特征在于，所述方法包括：当前级软件流水单元对数据进行处理，得到对应的处理结果，所述处理结果包括中间结果；将所述中间结果回写到所述上下文缓存中；若下一级流水单元为软...
【专利技术属性】
技术研发人员：文敢，李霞，杨名远，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。