一种列存数据的加速处理方法和装置制造方法及图纸

本发明专利技术公开了一种列存数据的加速处理方法和装置，该方法包括：获取发送到数据库的加速配置信息，并将加速配置信息发送到硬件加速器；使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息，列数据文件包括至少一个添加了块头信息的数据块；使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理，得到结果数据；将结果数据从硬件加速器返回数据库，同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理，实现了数据库和硬件加速器之间的高效配合，从而更加高效的对列存数据进行加速处理。进行加速处理。进行加速处理。

【技术实现步骤摘要】
一种列存数据的加速处理方法和装置


[0001]本申请涉及计算机
，更具体地，涉及一种列存数据的加速处理方法和装置。

技术介绍

[0002]随着5G、云计算、万物互联、人工智能时代的到来，数据的产生、传输、存储和分析处理的要求越来越高。数据增长对计算性能的要求与处理器性能发展间的缺口越来越大。当前通常采用硬件加速器与CPU构成异构计算平台，满足应用的性能需求。
[0003]具体到数据库应用领域，面临海量数据处理分析的性能挑战下，通常也采用异构计算解决方案来满足性能需求。OLAP(On
‑
LineAnalytical Processing，联机实时分析)面向数据分析，海量数据查询但通常每张数据表仅少数列数据被使用，因此通常采用列存储方式，这样减少了读取的数据量和投影操作，处理更高效。但传统的列存储引擎都是基于CPU的处理方式实现的，造成采用硬件加速器对列存储引擎中的列存数据进行加速处理时，存在适配性较差的技术问题。
[0004]因此，如何更加高效的对列存数据进行加速处理，是目前有待解决的技术问题。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种列存数据的加速处理方法，其特征在于，应用于连接有硬件加速器的数据库中，所述方法包括：获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；将所述结果数据从所述硬件加速器返回所述数据库。2.如权利要求1所述的方法，其特征在于，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段，所述块头信息用于描述所述数据字段中各字节的状态，所述第一预设字节数是根据所述硬件加速器的处理位宽确定的。3.如权利要求2所述的方法，其特征在于，各所述基本块的长度均为第二预设字节数，所述数据块头的长度为所述第二预设字节数的整数倍。4.如权利要求1所述的方法，其特征在于，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和当前列数据字段，所述块头信息用于描述所述当前列数据字段的长度。5.如权利要求1所述的方法，其特征在于，所述数据块由数据块头和多列数据字段组成，所述数据块头中包括多个数据偏移字段，所述块头信息设置在各所述数据偏移字段的头部。6.如权利要求1所述的方法，其特征在于，在获取发送到所述数据库的加速配置信息之前，所述方法还包括：获取与所述列数据文件对应的待同步数据；按照所述列存储格式对所述...

【专利技术属性】
技术研发人员：周民，向俊凌，谢荣，
申请(专利权)人：合肥申威睿思信息科技有限公司，
类型：发明
国别省市：