数据库的数据格式转换系统技术方案

本发明专利技术涉及数据库技术领域，提供一种数据库的数据格式转换系统，该系统包括数据库总控服务器：包括处理器；数据存储引擎：包括格式转换模块和数据存储阵列；处理器用于接收并解析用户终端发送的数据查询指令，确定用户要查询的数据的需求格式和存储分区地址；格式转换模块用于根据存储分区地址从数据存储阵列中读取待处理数据，并在待处理数据的目标格式与需求格式不同时，将待处理数据的数据格式转换为需求格式，得到目标数据发送给处理器；处理器将目标数据发送给用户终端，以响应其数据查询指令。通过数据转换模块替代数据库总控服务器执行数据查询过程涉及的行列格式转换，节省了数据库服务器的算力资源和查询时间，有利于提高数据库性能。

【技术实现步骤摘要】

本专利技术涉及数据库，尤其涉及一种数据库的数据格式转换系统。

技术介绍

1、随着人工智能领域和信息化社会的不断发展，各行业数据库的种类和装机容量也与日俱增，数据库对数据的存储方式也趋于多样化，目前，数据库涉及的数据存储主要有两种模式：行式存储和列式存储。其中，行式存储就是每一行的数据存在一个数据块block中，各个block之间连续存储；列式存储就是每一列的数据存储在一起，不同列之间可以分开存储。数据库服务器cpu执行sql数据查询任务时，通常为既定的按行或按列处理，例如，聚合处理通常为按列索引处理，而过滤和排序查询通常为按行索引处理。将从内存读取的行/列存储数据转换为查询任务所需的既定的行/列格式，会产生庞大的数据库cpu算力和时间损耗，加剧数据库的性能壁垒问题。

技术实现思路

1、本专利技术提供一种数据库的数据格式转换系统，用以解决现有技术中数据库的数据查询任务涉及到的数据行列格式转换，会导致数据库的算力和时间大量损耗，加剧数据库的性能壁垒问题的缺陷。

2、本专利技术提供一种数据库的数据格式转本文档来自技高网...

【技术保护点】

1.一种数据库的数据格式转换系统，其特征在于，包括数据库总控服务器和数据存储引擎，其中：

2.根据权利要求1所述的数据库的数据格式转换系统，其特征在于，所述格式转换模块包括FPGA计算内核，所述FPGA计算内核与所述处理器通过PCIe接口连接；所述FPGA计算内核包括：

3.根据权利要求2所述的数据库的数据格式转换系统，其特征在于，所述FPGA计算内核还包括行拆分模块、列发送模块和若干第一缓存队列，所述数据过滤模块包括行过滤单元；在所述需求格式为列格式，所述待处理数据的目标格式为行格式时：

4.根据权利要求2所述的数据库的数据格式转换系统，其特征在于，...

【技术特征摘要】

1.一种数据库的数据格式转换系统，其特征在于，包括数据库总控服务器和数据存储引擎，其中：

2.根据权利要求1所述的数据库的数据格式转换系统，其特征在于，所述格式转换模块包括fpga计算内核，所述fpga计算内核与所述处理器通过pcie接口连接；所述fpga计算内核包括：

3.根据权利要求2所述的数据库的数据格式转换系统，其特征在于，所述fpga计算内核还包括行拆分模块、列发送模块和若干第一缓存队列，所述数据过滤模块包括行过滤单元；在所述需求格式为列格式，所述待处理数据的目标格式为行格式时：

4.根据权利要求2所述的数据库的数据格式转换系统，其特征在于，所述fpga计算内核还包括列拼接模块、行发送模块和若干第二缓存队列，所述数据过滤模块包括列过滤单元；在所述需求格式为行格式，所述待处理数据的目标格式为列格式时：

5.根据权利要求2所述的数据库的数据格式转换系统，其特征在于，所述fpga计算内核还包括接口发送模块，用于将所述数据存储...

【专利技术属性】
技术研发人员：王雄儒，赵鑫鑫，姜凯，王帅，于帆，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：