数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，以提高处理效率。所述方法包括：建立第一计算设备与第二计算设备之间的连接；所述第二计算设备接收所述第一计算设备传输的配置参数，并依据所述第二计算设备对加速器进行配置；所述第一计算设备将待处理数据发送到存取存储器的数据缓存中，并发送数据写入消息给第二计算设备，以便配置好的加速器对所述待处理数据进行处理；加速器将处理结果发送到存取存储器的结果缓存后，所述第二计算设备发送结果写入消息给所述第一计算设备，以便所述第一计算设备依据所述结果写入消息获取所述处理结果。通过第二计算设备使得配置好的加速器进行数据处理能够提高数据的处理效率。效率。效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。

技术介绍

[0002]异构计算(Heterogeneous Computing)技术是一种使计算任务的并行性类型与机器能有效支持的计算类型相匹配、能充分利用各种计算资源的并行和分布计算技术。
[0003]一种现有的异构计算系统包括主机CPU和加速器(或称加速芯片)，在进行数据处理之前，主机CPU与加速器之间进行握手(Handshake)，以进行加速器的配置。其中，握手也可称为交握，握手是在通信电路建立之后，信息传输开始之前，用于达成参数，如信息传输率，字母表，奇偶校验，中断过程，和其他协议特性。通过主机CPU与加速器之间的握手，来对加速器进行配置。主机CPU还可控制配置好的加速器完成数据的加速处理。
[0004]但是采用这种方案，主机CPU需要对多个加速器进行配置，并控制多个加速器进行数据的处理，在数据处理量大的情况下，主机CPU需要完成复杂的控制，系统的稳定性差。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法，以提高处理效率。
[0006]相应的，本申请实施例还提供了一种数据处理装置、一种电子设备和一种存储介质，用以保证上述系统的实现及应用。
[0007]为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：建立第一计算设备与第二计算设备之间的连接；所述第二计算设备接收所述第一计算设备传输的配置参数，并依据所述第二计算设备对加速器进行配置；所述第一计算设备将待处理数据发送到存取存储器的数据缓存中，并发送数据写入消息给第二计算设备，以便配置好的加速器对所述待处理数据进行处理；加速器将处理结果发送到存取存储器的结果缓存后，所述第二计算设备发送结果写入消息给所述第一计算设备，以便所述第一计算设备依据所述结果写入消息获取所述处理结果。
[0008]本申请实施例还公开了一种数据处理装置，所述装置包括：第一计算设备和第二计算设备，其中，第一计算设备与第二计算设备建立连接；所述第二计算设备，接收所述第一计算设备传输的配置参数，以对加速器进行配置，并接收所述第一计算设备发送的数据写入消息，以便配置好的加速器对所述第一计算设备发送到存取存储器的数据缓存的待处理数据进行处理，以将处理结果发送到存取存储器的结果缓存中，并发送结果写入消息给所述第一计算设备，以便所述第一计算设备依据所述结果写入消息获取所述处理结果。
[0009]本申请实施例还公开了一种电子设备，包括：处理器，和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。
[0010]本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所
述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。
[0011]与现有技术相比，本申请实施例包括以下优点：
[0012]在本申请实施例中，建立第一计算设备和第二计算设备的连接，第一计算设备向第二计算设备传输配置参数，通过第二计算设备对加速器进行配置，之后第一计算设备将待处理数据发送到存取存储器的数据缓存中，并发送数据写入消息给第二计算设备，第二计算设备将数据写入消息发送给加速器，使得加速器依据数据写入消息获取存取存储器的数据缓存中的待处理数据，并对待处理数据进行处理，然后加速器将处理结果发送到存取存储器的结果缓存中，并通过第二计算设备发送结果写入消息给第一计算设备，以便第一计算设备依据所述结果写入消息获取处理结果；本申请实施例，能够通过第二计算设备配置加速器，以及依据第一计算设备和第二计算设备之间的消息交互，通过第二计算设备使得配置好的加速器进行数据处理，减小了第一计算设备的控制压力，能够提高数据的处理效率。
附图说明
[0013]图1是本申请一个实施例的数据处理方法的流程示意图；
[0014]图2A是本申请一个实施例的数据处理系统的结构示意图；
[0015]图2B是本申请另一个实施例的数据处理系统的结构示意图；
[0016]图3是本申请另一个实施例的数据处理方法的流程示意图；
[0017]图4是本申请再一个实施例的数据处理方法的流程示意图；
[0018]图5是本申请一个实施例的数据处理装置的结构示意图；
[0019]图6是本申请一个实施例的示例性装置的结构示意图。
具体实施方式
[0020]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0021]本申请实施例可以应用在基于异构计算进行数据处理的领域，异构计算主要指不同类型的指令集和体系架构的计算单元组成的系统计算方式。基于异构计算进行数据处理的领域可以包括高效率视频编码(High Efficiency Video Coding，HEVC)领域、人工智能领域和语音合成等领域。
[0022]本申请实施例公开了一种数据处理系统，如图2A所示，该系统包括：第一计算设备、第二计算设备和加速器(Accelerators)，第一计算设备用于为第二计算设备分配加速任务；第二计算设备用于与第一计算设备进行通信，以接收加速任务并调度给加速器。加速器用于对数据进行加速处理。其中，第一计算设备可以包括主机CPU，第二计算设备可以包括片上(System on Chip，SoC)CPU。下面以第一计算设备为主机CPU，第二计算设备为片上CPU为例，对数据处理系统进行描述，主机CPU用于为片上CPU分配加速任务；片上CPU用于与主机CPU进行通信，以接收加速任务并调度给加速器。加速器还可称为加速芯片，加速器用于对数据进行加速处理，加速器可以包括通用图形处理器(General-Purpose computing on Graphics Processing Units，GPGPU)和通用数字信号处理(General-Purpose computing Digital Signal Processing，GPDSP)设备等。
[0023]具体的，第一计算设备、第二计算设备和加速器均可集成为芯片，插在主板上，通过PCIe桥(Peripheral Component Interconnect express Bridge)连接通信，例如片上CPU可以为包括CPU和控制器的系统级的芯片，主机CPU的芯片和片上CPU的芯片可以插接主板上，使得主机CPU可以通过PCIe桥与片上CPU进行连接，以进行主机CPU与加速器之间的通信。主机CPU可以通过PCIE桥、直接存储器访问(Direct MemoryAccess，DMA)连接网络和片上互连(Chip Interconnect)的通路向动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)进行通信，以写入待处理数据以及获取处理结果。片上CPU可以通过片上互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：建立第一计算设备与第二计算设备之间的连接；所述第二计算设备接收所述第一计算设备传输的配置参数，并依据所述第二计算设备对加速器进行配置；所述第一计算设备将待处理数据发送到存取存储器的数据缓存中，并发送数据写入消息给第二计算设备，以便配置好的加速器对所述待处理数据进行处理；加速器将处理结果发送到存取存储器的结果缓存后，所述第二计算设备发送结果写入消息给所述第一计算设备，以便所述第一计算设备依据所述结果写入消息获取所述处理结果。2.根据权利要求1所述的方法，其特征在于，所述建立第一计算设备与第二计算设备之间的连接，包括：第一计算设备确定第二计算设备的空闲状态；建立第一计算设备与空闲的第二计算设备之间的连接。3.根据权利要求1所述的方法，其特征在于，所述第二计算设备接收所述第一计算设备传输的配置参数，并依据所述第二计算设备对加速器进行配置包括：所述第二计算设备监控第一存储器中由所述第一计算设备写入的建立指令；在监控到建立指令的情况下，第二计算设备从第二存储器中获取由第一计算设备写入的配置参数，并对加速器进行配置。4.根据权利要求1所述的方法，其特征在于，所述发送数据写入消息给第二计算设备，以便配置好的加速器对所述待处理数据进行处理，包括：所述第一计算设备向第三存储器写入数据写入消息；所述第二计算设备从第三存储器中获取所述数据写入消息，以使得配置好的加速器从所述存取存储器中的数据缓存中获取所述待处理数据，并进行处理。5.根据权利要求4所述的方法，其特征在于，所述发送结果写入消息给所述第一计算设备，以便所述第一计算设备依据所述结果写入消息获取所述处理结果，包括：所述第二计算设备在第三存储器中写入所述结果写入消息；所述第一计算设备从所述第三存储器中获取所述结果写入消息，以从存取存储器的结果缓存中获取所述处理结果。6.根据权利要求5所述的方法，其特征在于，还包括以下步骤中的至少一个：所述第一计算设备获取所述存取存储器的数据缓存的缓存状态，并依据所述缓存状态，确定目标数据缓存，以存储待处理数据；所述第二计算设备获取所述存取存储器的结果缓存的缓存状态，并依据所述缓存状态，确定目标结果缓存，以存储处理结果。7.根据权利要求6所述的方法，其特征在于，还包括：在第一计算设备完成数据的传输的情况下，配置好的加速器处理所述存取存储器的数据缓存中的剩余数据。8.根据权利要求7所述的方法，...

【专利技术属性】
技术研发人员：文敢，李霞，杨名远，孙孟军，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：