面向数据库访问加速的CSP架构制造技术

本申请公开面向数据库访问加速的CSP架构，涉及FPGA技术领域，包括数据库加速引擎、高速融合网络子系统、存储访问加速子系统和数据库管理子系统；高速融合网络子系统集成UDP和应用层全offload支撑业务数据传输，并融合TOE引擎；存储访问加速子系统包括内存管理访问引擎和存储器管理访问引擎；数据库管理子系统包含有管理数据库加速引擎的初始化配置，根据客户端请求启动控制及配置各个数据库资源；数据库加速引擎包含有若干数据库控制器和数据库任务流水，便于数据库管理子系统接入数据库服务。该CSP架构能够不依赖于服务器，提供数据固化功能，在处理性能和对数据库兼容性方面显著提高。提高。提高。

【技术实现步骤摘要】
Pool、数据库任务线程池Database task pipline pool、所述数据库任务线程池的数据库加速引擎存储访问接口，以及任务路由控制器；所述数据库控制器资源池中包括N个独立的所述数据库控制器，所述数据库任务线程池中包含M个所述数据库任务流水；所述任务路由控制器位于所述数据库控制器资源池和所述数据库任务线程池之间，为选中的目标数据库控制器分配目标数量的目标数据库任务流水，并提供任务指令和返回结果。
[0011]具体的，所述数据库管理子系统在接收用户请求后，确定目标业务的优先级以及所需的计算资源大小；
[0012]分别查询所述数据库控制器资源池和所述数据库任务线程池中的空闲数据库控制器以及空闲数据库任务流水；
[0013]根据所述目标任务的优先级和计算资源大小确定所述目标数据库控制器及其对应数量的所述目标数据库任务流水，并通过所述任务路由控制器建立虚拟映射关系；多目标任务之间为并行处理关系，优先级等级与任务流水的数量成正相关。
[0014]具体的，所述数据库加速引擎存储访问接口用于连接所述存储访问加速子系统；所述存储访问加速子系统还包括虚拟地址映射空间和存储介质路由；
[0015]所述Memory引擎至少包括HBM Controllor及其HBM访问接口、DDR Controllor及其DDR访问接口、SRAM Controllor及其SRAM访问接口；
[0016]所述Storage引擎至少包括SATA Controllor及其SATA访问接口、NVMe Controllor及其NVMe访问接口、Flash Controllor及其Flash访问接口；
[0017]所述虚拟地址映射空间用于对所述目标任务和已占用存储空间及配置进行分析，根据所述Memory引擎和/或所述Storage引擎挂载的存储介质及其使用地址空间配置映射关系表，映射到一个统一化地址连续的虚拟地址空间；所述存储介质路由用于根据所述映射关系表确定目标存储控制器及对应访问接口、目标存储介质的存储空间，以及把返回数据转发到对应的虚拟地址空间。
[0018]具体的，所述Memory引擎和所述Storage引擎分别通过对应的存储访问接口连接各自类型的储存设备，且非易失性存储设备至少用于存储目标数据库的内存数据和固化数据。
[0019]具体的，该CSP架构还包括计算资源池，所述计算资源池与所述数据库任务流水相互分离，用于在响应目标任务时调用计算资源；
[0020]所述目标数据库控制器在响应所述目标任务时，根据任务优先级从任务队列中选取并进行任务分析，根据数据库访问量、计算量、数据量等预估命令执行时间；
[0021]所述数据库任务流水对所述目标任务进行kv检索，通过队列接口调用所述计算资源池，并返回计算结果，定位相关元素信息在数据库中的位置；
[0022]调用所述计算资源池，并基于获取的相关元素信息和返回的计算结果今次进行数据标签和打包构建响应包；
[0023]将构建的响应包发送至任务响应队列。
[0024]具体的，当所述目标任务包含写入和/或修改操作时；在进行kv检索后，基于相关元素信息执行写入/修改管理操作，生成并存储写入请求任务到写请求队列；其中，所述数据库控制器串行处理写/修改请求。
[0025]具体的，当初始化的数据库是关系型数据库时，所述数据库任务流水对kv检索后
的计算结果进行关系型运算，减少数据库反复查询动作；
[0026]当所述目标任务包含数据预处理计算时，所述数据库任务流水通过队列接口调用所述计算资源池进行预处理计算。
[0027]具体的，当所述目标任务设置有筛选条件，所述数据库任务流水对计算结果/预处理结果按照预设条件筛选过滤产生的冗余数据以及与所述目标任务不相关的数据，减少网络带宽。
[0028]本申请实施例提供的技术方案带来的有益效果至少包括：引入高速融合网络子系统来替换传统架构中的PCIe subsystem，支持UDP和应用层全offload支撑业务数据传输，并融合TOE引擎，可直接响应客户端的请求，避免了现有架构只能进行业务，而管理要通过服务器进行的弊端；
[0029]在原有Memory引擎的基础上加入Storage引擎，可以屏蔽不同的存储介质的差异，实现在系统架构侧的冷热存储统一访问，数据库可以快速地部署到各个不同存储设备上，且能够固化用户端数据，不占用服务器存储空间；同时也可以解决服务器CPU IOPS能力不足问题；
[0030]数据库加速引擎中独立的数据库控制器和数据库任务流水可以根据标业务的优先级选择目标数据库控制器和分配数据库任务流水；允许CSP架构为多个客户端提供不同类型的数据库服务，解决当前架构一个卡对应一个服务，避免资源浪费；在同等空间下提供存储密度更高，访问性能更高。
[0031]数据库任务流水与计算资源池相互分离设计，在数据库任务流水需要执行计算任务时再调用公共计算资源，以此实现更高的并行度与自由度，达到节约硬件资源，放置更多流水，达到更高性能的目标。在同等性能下，建设成本和维护成本更低。
[0032]在该架构中内置虚拟数据库抽象层，可以实现跨类型、跨厂商数据库转换和执行，兼容更多应用场景。
附图说明
[0033]图1是传统面向数据库访问加速的CSP架构框图；
[0034]图2是本申请实施例提供的面向数据库访问加速的CSP架构框图；
[0035]图3是本申请实施例提供的存储访问加速子系统的结构框图；
[0036]图4是本申请实施例提供的数据库加速引擎的结构框图；
[0037]图5是数据库加速引擎在响应数据库访问任务时的处理流程图；
[0038]图6是本申请实施例提供的虚拟数据库翻译字典抽象层的结构框图；
[0039]图7是本申请实施例提供的计算资源池的结构框图；
[0040]图8是本申请实施例提供的数据库访问的流程示意图；
[0041]图9是本申请实施例提供的数据库初始化的流程示意图。
具体实施方式
[0042]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0043]在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关
系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0044]传统面向数据库访问加速的CSP架构如图1所示，基于加速卡架构的Accel Card加速卡是插在X86 Server(或其他服务器)上的板卡业务，总体上包括PCIe subsystem子系统、数据库加速引擎Database Acceletation Engine、UDP引擎和Memory引擎等。Client客户端的业务初始化指令直接发送到服务器上，由服务器通过PCIe子系统对加速卡进行初始化，然后Client客户端通过UD本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数据库访问加速的CSP架构，其特征在于，包括数据库加速引擎、高速融合网络子系统、存储访问加速子系统和数据库管理子系统；所述高速融合网络子系统集成UDP/IP层全offload引擎，并融合TOE引擎，用于直接响应用户端请求和业务数据传输；所述存储访问加速子系统包括Memory内存管理访问引擎和Storage存储器管理访问引擎，用于提供一体化的虚拟地址映射服务，分别对易失性存储和非易失性存储设备进行访问管理，以及固化客户端数据；所述数据库管理子系统包含有管理所述数据库加速引擎的初始化配置信息，用于根据客户端请求启动控制及配置各个数据库资源，同时对所述高速融合网络子系统、所述数据库加速引擎、以及所述存储访问加速子系统进行初始化配置与运行管理；所述数据库加速引擎包含有若干独立的数据库控制器Database controller和海量数据库任务流水Database task pipline，用于执行和分配各个用户的请求任务以及通过队列接口调用计算资源，便于所述数据库管理子系统接入不同类型的数据库服务。2.根据权利要求1所述的CSP架构，其特征在于，所述高速融合网络子系统中融合的TOE引擎支持高速TCP/IP协议，控制用户端直接与所述数据库管理子系统之间通信；所述数据库管理子系统根据初始化或访问准入请求直接确定申请的数据库资源、使用类型、计算及存储资源分配。3.根据权利要求2所述的CSP架构，其特征在于，所述数据库加速引擎包括数据库控制器资源池Database controller Pool、数据库任务线程池Database task pipline pool、所述数据库任务线程池的数据库加速引擎存储访问接口，以及任务路由控制器；所述数据库控制器资源池中包括N个独立的所述数据库控制器，所述数据库任务线程池中包含M个所述数据库任务流水；所述任务路由控制器位于所述数据库控制器资源池和所述数据库任务线程池之间，为选中的目标数据库控制器分配目标数量的目标数据库任务流水，并提供任务指令和返回结果。4.根据权利要求3所述的CSP架构，其特征在于，所述数据库管理子系统在接收用户请求后，确定目标业务的优先级以及所需的计算资源大小；分别查询所述数据库控制器资源池和所述数据库任务线程池中的空闲数据库控制器以及空闲数据库任务流水；根据所述目标任务的优先级和计算资源大小确定所述目标数据库控制器及其对应数量的所述目标数据库任务流水，并通过所述任务路由控制器建立虚拟映射关系；多目标任务之间为并行处理关系，优先级等级与任务流水的数量成正相关。5.根据权利要求3所述的CSP架构，其特征在于，所述数据库加速引擎存储访问接口用于连接所述存储访问加...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：