数据处理方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种数据处理方法、装置、设备及存储介质。本公开实施例，通过接收用户程序发送的数据；基于数据的大小，将数据分配到N个现场可编程逻辑门阵列FPGA板卡中进行存储，N为大于1的正整数；接收用户程序发送的数据计算任务；基于FPGA板卡中的任一空闲状态板卡，对数据计算任务对应的目标数据进行计算，得到数据计算结果；将数据计算结果发送给用户程序，可以通过在多个FPGA板卡中协同存储和计算数据，满足大数据量与复杂运算情况下的数据处理需求，提高了数据处理效率。提高了数据处理效率。提高了数据处理效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]当前，数据呈现爆炸性增长，数据类型的多样化、数据产生速度的不断增长都对数据处理提出了越来越高的要求
[0003]目前，可以将待计算的数据存储在现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)板卡的双倍速率同步动态随机存储器(Double Data Rate，DDR)中，然后通过FPGA的内部逻辑资源对板卡DDR中的数据进行计算得到想要的结果，达到高性能硬件数据计算加速的效果。
[0004]但是，现有FPGA板卡的DDR内存容量最大为64GB并且其内部逻辑单元为固定数量无法扩展。对于超出存储容量的数据无法在单板卡中存储，对于超出单板卡固有逻辑资源的任务，也无法在单板卡中计算。当有待计算数据的数据量和业务逻辑时超过单板卡容量时，会造成存储容量不足，计算资源不够的情况。因此，亟需一种数据处理方法解决大数据量与复杂运算情况下单板卡存储和计算无法满足数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收用户程序发送的数据；基于所述数据的大小，将所述数据分配到N个现场可编程逻辑门阵列FPGA板卡中进行存储，所述N为大于1的正整数；接收所述用户程序发送的数据计算任务；基于所述FPGA板卡中的任一空闲状态板卡，对所述数据计算任务对应的目标数据进行计算，得到数据计算结果；将所述数据计算结果发送给所述用户程序。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据的大小，将所述数据分配到N个现场可编程逻辑门阵列FPGA板卡中进行存储，包括：计算所述数据的大小与所述FPGA板卡的数量N的比值，得到平均数据量；在各所述FPGA板卡中分别存储所述平均数据量大小的数据；或，确定所述N个FPGA板卡的排列顺序；按照所述排列顺序，基于所述数据的大小和各所述FPGA板卡的数据容量限值，从首个所述FPGA板卡开始，将所述数据依次存储至所述FPGA板卡中。3.根据权利要求1所述的方法，其特征在于，所述基于所述FPGA板卡中的任一空闲状态板卡，对所述数据计算任务对应的目标数据进行计算，得到数据计算结果，包括：判断各所述FPGA板卡中是否存在空闲状态的板卡；若所述FPGA板卡中存在空闲状态的板卡，则将所述空闲状态的板卡中的任一空闲状态板卡确定为目标板卡；若所述FPGA板卡中不存在空闲状态的板卡，则等待所述FPGA板卡中出现空闲状态的板卡，将所述空闲状态的板卡中的任一空闲状态板卡确定为目标板卡；从所述FPGA板卡中获取所述数据计算任务对应的目标数据；基于所述目标板卡，对所述目标数据进行计算，得到数据计算结果。4.根据权利要求3所述的方法，其特征在于，所述从所述FPGA板卡中获取所述数据计算任务对应的目标数据，包括：检测所述目标板卡中是否存在所述目标数据；若所述目标板卡中存在所述目标数据，则从所述目标板卡中获取所述目标数据；若所述目标板卡中不存在所述目标数据或所述目标板卡中存在部分所述目标数据，则计算所述目标板卡中的缺失数据；从所述FPGA板卡中的剩余板卡中，提取所述缺失数据，并将所述缺失数据发送至所述目标板卡中；从所述目标板卡中获取所述目标数据。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：张兴，陈岩，张宇，
申请(专利权)人：中科驭数北京科技有限公司，
类型：发明
国别省市：