一种数据处理方法、装置、系统和FPGA制造方法及图纸

本申请提供了一种数据处理方法、装置、系统和FPGA，该方法包括：FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；根据从核处理状态信息利用调度算法确定多个目标起始地址；根据目标起始地址将待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与数据映射区域中对应的目标起始地址中获取并处理待处理数据。本申请通过基于所有的从核处理状态信息，利用调度算法确定目标起始地址，目标起始地址与目标从核对应，然后FPGA将待处理数据映射到与目标起始地址对应的数据映射空间中，以使从核能够分布式处理待处理数据，基于调度算法保证了每个从核处理数据的均匀性，加快了数据处理速度。

A data processing method, device, system and FPGA

【技术实现步骤摘要】
一种数据处理方法、装置、系统和FPGA
本申请涉及数据处理
，特别涉及一种数据处理方法、装置、系统和FPGA。
技术介绍
由于FPGA具有高吞吐能力，低延时的优势，因此在数据加速领域有着广泛的应用。但是经过FPGA处理的数据结果最终需要传递服务器中进行更高层的处理或数据保存，当FPGA板卡所产生数据量远大于CPU数据处理能力的时候，例如在FPGA云的应用场景下就可能会造成数据包的丢失或积压。相关技术为了避免数据包的丢失或者挤压采用DMA进行数据传输，但是数据传输后，单个CPU处理能力差，不能够有效的进行数据处理。因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
本申请的目的是提供一种数据处理方法、装置、FPGA和系统，实现了多核的分布式数据处理，并且基于调度算法保证了每个从核处理数据的均匀性，加快了数据处理速度。其具体方案如下：本申请提供了一种数据处理方法，包括：FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；根据所述从核处理状态信息利用调度算法确定多个目标起始地址；根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与所述数据映射区域中对应的所述目标起始地址中获取并处理所述待处理数据。优选地，所述根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，包括：根据所述目标起始地址将所述待处理数据以DMA方式映射到所述用户空间对应的所述数据映射区域中。优选地，所述从处理状态寄存器中读取所有的从核处理状态信息之前，还包括：通过PCIE接口从FPGA设备驱动获取所有从核的控制信息，并存储至信息区域；其中，所述控制信息是主核发送至所述FPGA设备驱动的信息，所述控制信息包括所述从核的总数和对应的起始地址。优选地，所述根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中之后，还包括：当所述目标从核根据传输信息处理完成所述待处理数据后，所述FPGA更新所述数据映射区域中的所述处理状态寄存器；所述传输信息是所述目标从核轮询传输状态寄存器后得到的信息。优选地，所述数据映射区域中的从核对应的地址采用乒乓缓存结构。优选地，所述FPGA接收到待处理数据之前，还包括：主核将FPGA设备地址空间映射到所述用户空间对应的所述数据映射区域中，以使所述从核访问所述FPGA设备地址空间；将所述数据映射区域划分成多个地址对应的地址空间；启动多个数据处理线程，并将所述数据处理线程绑定到对应的所述从核，以使所述从核根据所述数据处理线程并行的进行数据处理。优选地，所述主核将FPGA设备地址空间映射到所述用户空间对应的所述数据映射区域中之前，还包括：当所述主核检测到所述FPGA插入时，所述主核加载所述FPGA设备驱动；当所述FPGA设备驱动挂载后，所述主核获取所述控制信息。本申请提供了一种数据处理装置，包括：接收与读取模块，用于FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；目标起始地址确定模块，用于根据所述从核处理状态信息利用调度算法确定多个目标起始地址；映射模块，用于根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与所述数据映射区域中对应的所述目标起始地址中获取并处理所述待处理数据。本申请提供了一种FPGA，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述数据处理方法的步骤。本申请提供了一种数据处理系统，包括：服务器和如上所述的FPGA；所述服务器包括：主核和多个从核。本申请提供了一种数据处理方法，包括：FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；根据从核处理状态信息利用调度算法确定多个目标起始地址；根据目标起始地址将待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与数据映射区域中对应的目标起始地址中获取并处理待处理数据。可见，本申请通过基于所有的从核处理状态信息，利用调度算法确定目标起始地址，目标起始地址与目标从核对应，然后FPGA将待处理数据映射到与目标起始地址对应的数据映射空间中，以使从核能够分布式处理待处理数据，基于调度算法保证了每个从核处理数据的均匀性，加快了数据处理速度。本申请同时还提供了一种数据处理装置、FPGA、数据处理系统，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种数据处理方法的流程图；图2为本申请实施例提供的一种数据处理的流程图；图3为本申请实施例所提供的一种数据处理装置的结构示意图；图4为本申请实施例提供的一种FPGA的结构示意图；图5为本申请实施例提供的另一种FPGA的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。相关技术为了避免数据包的丢失或者挤压采用DMA进行数据传输，但是数据传输后，单个CPU处理能力差，不能够有效的进行数据处理。基于上述技术问题，本实施例提供一种数据处理方法，实现了多核的分布式数据处理，并且基于调度算法保证了每个从核处理数据的均匀性，加快了数据处理速度，具体请参考图1，图1为本申请实施例所提供的一种数据处理方法的流程图，具体包括：S101、FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；本实施例中主要执行主体是FPGA。本实施例中提供的数据处理方法对应的数据处理系统，包括服务器和FPGA，其中，服务器包括主核、多个从核。主核即主控CPU核，用来打开并初始化FPGA设备，启动多个数据处理线程，绑定数据处理线程到其他从核；从核用于运行数据处理线程，以便对待处理数据进行处理。可以理解的是，服务器还包括数据映射区域，该数据映射区域是存储装置，优选的，数据映射区域是MEM，当然还可以是其他存储装置，只要是能够实现本实施例的目的即可，数据映射区域进行内存划分，开始的4kB作为寄存器区域(包含数据传输状态，处理状态，可用地址等相关信息)，剩余部分作为数据传递区域。本实施例中设置映射关系，以使从核通过访问数据映射区域来访问FPGA设备内存，保证了数据的安本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/nFPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；/n根据所述从核处理状态信息利用调度算法确定多个目标起始地址；/n根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与所述数据映射区域中对应的所述目标起始地址中获取并处理所述待处理数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
FPGA接收到待处理数据，并从处理状态寄存器中读取所有的从核处理状态信息；
根据所述从核处理状态信息利用调度算法确定多个目标起始地址；
根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，以使目标从核从与所述数据映射区域中对应的所述目标起始地址中获取并处理所述待处理数据。


2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中，包括：
根据所述目标起始地址将所述待处理数据以DMA方式映射到所述用户空间对应的所述数据映射区域中。


3.根据权利要求1所述的数据处理方法，其特征在于，所述从处理状态寄存器中读取所有的从核处理状态信息之前，还包括：
通过PCIE接口从FPGA设备驱动获取所有从核的控制信息，并存储至信息区域；其中，所述控制信息是主核发送至所述FPGA设备驱动的信息，所述控制信息包括所述从核的总数和对应的起始地址。


4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述目标起始地址将所述待处理数据映射到用户空间对应的数据映射区域中之后，还包括：
当所述目标从核根据传输信息处理完成所述待处理数据后，所述FPGA更新所述数据映射区域中的所述处理状态寄存器；所述传输信息是所述目标从核轮询传输状态寄存器后得到的信息。


5.根据权利要求1所述数据处理方法，其特征在于，所述数据映射区域中的从核对应的地址采用乒乓缓存结构。


6.根据权利要求3所述的...

【专利技术属性】
技术研发人员：徐亚明，刘伟，厉剑，欧明阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32