一种数据库异构资源管理与调度方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据库异构资源管理与调度方法、装置、设备及介质，涉及数据库及异构计算技术领域，包括：接收用户发送的查询指令，并对查询指令执行预设预处理操作，以得到目标算子；读取数据加速卡监测到的空闲通信带宽，并基于目标算子以及空闲通信带宽执行加速内核部署操作，以得到目标加速内核；向目标加速内核发送数据存储地址，以便目标加速内核基于数据存储地址读取待运算数据并进行运算；接收得到运算结果后目标加速内核返回的完成信号，读取运算结果。本申请在调取加速内核时，通过监测数据加速卡上的空闲通信带宽自适应部署相应数量的加速内核，以最大化利用通信带宽，提高数据交换效率，减少了异构资源浪费。减少了异构资源浪费。减少了异构资源浪费。

【技术实现步骤摘要】
一种数据库异构资源管理与调度方法、装置、设备及介质


[0001]本专利技术涉及数据库及异构计算
，特别涉及一种数据库异构资源管理与调度方法、装置、设备及介质。

技术介绍

[0002]数据库作为一种数据记录存储的集成系统，采用多种不同的模型来组织数据，其以行、列、表等不同形式存储数据。数据库支持数据的全方位存储、搜索和解析，现已被广泛应用于商业、工业、智能家居和医疗保健等领域。随着人工智能时代的到来，大数据与信息化进程不断推进，数据库的装机容量呈现指数上涨，对数据库数据查询的速度需求与日俱增。
[0003]现阶段的数据库大多通过服务器搭载的CPU(Central Processing Unit/Processor，中央处理器)实现用户访问数据的查询处理。然而CPU处理计算密集型任务时会对进程、内存造成巨大负担，影响服务器其他进程的任务调度与处理速度，因此使用FPGA(Field
‑
Programmable Gate Array，现场可编程门阵列)、GPU(Graphics Processing Unit，图形处理器)作为协处理器分担数据库计算密集型任务成为新兴技术方向。CPU+X异构体系对异构资源的调度和加速kernel(操作系统内核)的部署通常通过监测加速卡的资源需求和kernel空闲状态来确定，但常常忽略通信带宽对并行加速kernel的限制，造成多个并行加速kernel因为通信带宽限制只能顺序执行，既不能实现并行加速，还浪费了额外的异构资源。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据库异构资源管理与调度方法、装置、设备和介质，能够最大化利用通信带宽，提高数据交换效率，减少了异构资源浪费。其具体方案如下：
[0005]第一方面，本申请公开了一种数据库异构资源管理与调度方法，应用于数据库服务器，包括：
[0006]接收用户发送的查询指令，并对所述查询指令执行预设预处理操作，以得到目标算子；
[0007]读取数据加速卡监测到的空闲通信带宽，并基于所述目标算子以及所述空闲通信带宽执行加速内核部署操作，以得到目标加速内核；
[0008]向所述目标加速内核发送数据存储地址，以便所述目标加速内核基于所述数据存储地址读取待运算数据并进行运算；
[0009]接收得到运算结果后目标加速内核返回的完成信号，并读取所述运算结果。
[0010]可选的，所述对所述查询指令执行预设预处理操作，以得到目标算子，包括：
[0011]将所述查询指令分解为目标数量个算子；
[0012]通过预设质量提升算法处理每个所述算子，以得到对应的所述目标算子；其中，所
述预设质量提升算法包含非相关算法。
[0013]可选的，所述通过预设质量提升算法处理每个所述算子，以得到对应的所述目标算子之后，还包括：
[0014]通过预设指令解析操作解析所述目标算子，以便将所述目标算子翻译为目标代码；其中，所述目标代码为中央处理器可处理的底层代码。
[0015]可选的，所述读取数据加速卡监测到的空闲通信带宽之前，还包括：
[0016]通过所述数据加速卡上的带宽与资源监测区域实时监测所述数据加速卡异构资源的空闲信息，以得到所述空闲通信带宽。
[0017]可选的，所述读取数据加速卡监测到的空闲通信带宽之前，还包括：
[0018]通过直接存储器访问将与所述查询指令对应的所述待运算数据从主机内存传输至片上存储器，以得到所述待运算数据对应的所述数据存储地址。
[0019]可选的，所述基于所述目标算子以及所述空闲通信带宽执行加速内核部署操作，以得到目标加速内核，包括：
[0020]基于所述目标算子调取对应的API函数，并基于所述空闲通信带宽获取当前数据总线对应的带宽利用率；
[0021]基于所述API函数、所述带宽利用率执行加速内核部署操作，以得到所述目标加速内核。
[0022]可选的，所述基于所述API函数、所述带宽利用率执行加速内核部署操作，以得到所述目标加速内核，包括：
[0023]基于所述API函数确定当前加速内核集合；
[0024]基于所述带宽利用率从所述当前加速内核集合匹配满足当前需求的待部署加速内核集合；
[0025]对所述待部署加速内核集合执行加速内核部署操作，以得到对应的所述目标加速内核。
[0026]第二方面，本申请公开了一种数据库异构资源管理与调度装置，应用于数据库服务器，包括：
[0027]算子获取模块，用于接收用户发送的查询指令，并对所述查询指令执行预设预处理操作，以得到目标算子；
[0028]加速内核部署模块，用于读取数据加速卡监测到的空闲通信带宽，并基于所述目标算子以及所述空闲通信带宽执行加速内核部署操作，以得到目标加速内核；
[0029]数据运算模块，用于向所述目标加速内核发送数据存储地址，以便所述目标加速内核基于所述数据存储地址读取待运算数据并进行运算；
[0030]运算结果读取模块，用于接收得到运算结果后目标加速内核返回的完成信号，并读取所述运算结果。
[0031]第三方面，本申请公开了一种电子设备，包括：
[0032]存储器，用于保存计算机程序；
[0033]处理器，用于执行所述计算机程序，以实现如前述公开的数据库异构资源管理与调度方法的步骤。
[0034]第四方面，本申请公开了一种计算机可读介质，用于存储计算机程序；其中，所述
计算机程序被处理器执行时实现如前述公开的数据库异构资源管理与调度方法。
[0035]可见，本申请提供了一种数据库异构资源管理与调度方法，包括：接收用户发送的查询指令，并对所述查询指令执行预设预处理操作，以得到目标算子；读取数据加速卡监测到的空闲通信带宽，并基于所述目标算子以及所述空闲通信带宽执行加速内核部署操作，以得到目标加速内核；向所述目标加速内核发送数据存储地址，以便所述目标加速内核基于所述数据存储地址读取待运算数据并进行运算；接收得到运算结果后目标加速内核返回的完成信号，并读取所述运算结果。由此可见，本申请在调取加速内核时，通过监测数据加速卡上的空闲通信带宽自适应部署相应数量的加速内核，以最大化利用通信带宽，提高数据交换效率，减少了异构资源浪费。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]图1为本申请公开的一种数据库异构资源管理与调度方法流程图；
[0038]图2为本申请公开的数据库异构资源管理方法整体架构图；
[0039]图3为本申请公开的基于带宽监测的数据库异构资源管理与调度方法实现示意图；
[0040]图4为本申请公开的一种具体的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库异构资源管理与调度方法，其特征在于，应用于数据库服务器，包括：接收用户发送的查询指令，并对所述查询指令执行预设预处理操作，以得到目标算子；读取数据加速卡监测到的空闲通信带宽，并基于所述目标算子以及所述空闲通信带宽执行加速内核部署操作，以得到目标加速内核；向所述目标加速内核发送数据存储地址，以便所述目标加速内核基于所述数据存储地址读取待运算数据并进行运算；接收得到运算结果后目标加速内核返回的完成信号，并读取所述运算结果。2.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述对所述查询指令执行预设预处理操作，以得到目标算子，包括：将所述查询指令分解为目标数量个算子；通过预设质量提升算法处理每个所述算子，以得到对应的所述目标算子；其中，所述预设质量提升算法包含非相关算法。3.根据权利要求2所述的数据库异构资源管理与调度方法，其特征在于，所述通过预设质量提升算法处理每个所述算子，以得到对应的所述目标算子之后，还包括：通过预设指令解析操作解析所述目标算子，以便将所述目标算子翻译为目标代码；其中，所述目标代码为中央处理器可处理的底层代码。4.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述读取数据加速卡监测到的空闲通信带宽之前，还包括：通过所述数据加速卡上的带宽与资源监测区域实时监测所述数据加速卡异构资源的空闲信息，以得到所述空闲通信带宽。5.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述读取数据加速卡监测到的空闲通信带宽之前，还包括：通过直接存储器访问将与所述查询指令对应的所述待运算数据从主机内存传输至片上存储器，以得到所述待运算数据对应的所述数据存储地址。6.根据权利要求1至5任一项所述的数据库异构资源管理与调...

【专利技术属性】
技术研发人员：于帆，赵鑫鑫，姜凯，王雄儒，魏子重，李锐，张晖，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：