一种大负载场景下数据加速方法、系统、及存储介质技术方案

本发明专利技术公开了一种大负载场景下数据加速方法、系统、及存储介质，包括：建立树模型，所述比较树模型包括用于比较的树，所述树中设置有全局标志位，非叶子节点设置标志位。将待处理数据依次插入树的每个空叶子节点，将父节点作为比较场地进行两两比较，大的数据留在比较场地节点，较小的数据继续向父节点方向参与比较，比较后从根节点输出最小的数据到树外，将最小的数据所在的叶子节点清空，并根据输出数据的标志位，对树的全局标志位进行更新；下一个待处理数据传入树中唯一的空叶子节点。通过标志位锦标赛排序，仅在开始排序时进入一次初始插入阶段和评估阶段，在待排序数据耗尽时进入一次阶段，使得算法不会因频繁地阶段切换而造成性能下降。造成性能下降。造成性能下降。

【技术实现步骤摘要】
一种大负载场景下数据加速方法、系统、及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种大负载场景下数据加速方法、系统、及存储介质。

技术介绍

[0002]现代社会，数据量的急剧增加使数据库管理系统要管理的数据大幅增长。执行数据库操作所需要的时间也相应地变长。为了改善用户体验，一些数据库系统开始采用加入专用硬件的方式，来加速数据库操作。用来加速数据库操作的专用硬件包括GPU、FPGA等。
[0003]连接操作作为组成数据库查询的重要部分，在执行过程中会消耗大量时间，对其加速可以缩短许多数据库查询的执行时间。根据FPGA上加速连接操作的研究现状，目前的研究工作主要是围绕着归并连接和散列连接的加速。在使用FPGA加速数据库基本操作的研究中，主要被研究的加速操作有谓词评估、排序、投影、连接和聚类操作等。但是当数据表中的数据流长度大于FPGA中传输的宽度字节的数据流时候，就会增加传输时间。这种场景下，无法利用多个处理单元同时处理这个新数据。这种场景为大负载场景。在大负载场景下，FPGA需要适合这种应用场景的排序模块，来节约FPG本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大负载场景下数据加速方法，其特征在于，包括：1)、构建比较树模型，所述比较树模型包括用于比较的树，所述树中设置有全局标志位，非叶子节点设置标志位；2)、将待处理数据插入比较树模型中的叶子节点，并进行比较，输出最小的数据，同时根据输出数据的标志位，对全局标志位进行更新；3)、将新的数据插入，设置新数据的标志位；4)、根据标志位，对树内数据相互比较，输出本次比较后的最小数据，根据输出的最小数据的标志位，对全局标志位进行更新，当待排序数据排序完毕后，输出排序后的数据集。2.根据权利要求1所述的大负载场景下数据加速方法，其特征在于，所述全局标志位和标志位为1bit，且全局标志位和标志位的数值为0或1。3.根据权利要求2所述的大负载场景下数据加速方法，其特征在于，所述步骤2)中将待处理数据插入树的叶子节点进行比较，输出最小的数据，并且根据输出数据的标志位，对全局标志位进行更新包括：3.1、进入初始插入阶段，将待处理数据依次插入树的空叶子节点，初始时全局标志位初始化为0，并且数据添加的标志位为0；3.2、每个数据在插入叶子节点后，若其父节点为空，则同时将数据插入其父节点，若其父节点不为空，则在其父节点进行1次数据比较，将较大的数据插入该节点，另外小的数据则继续向根节点方向参与比较，最后，数值大的数据留在根节点，输出数值最小的数据；3.3根据被输出的最小数据的标志位，将全局标志位数值设置为与标志位反位的数值。4.根据权利要求2所述的大负载场景下数据加速方法，其特征在于，所述插入新数据，设置新数据的标志位具体包括：所述插入新数据与所述输出最小的数据间进行比较，当插入的新数据大于所述输出最小的数据，则插入新数据的标志位等于所述最小的数据的标志位；当插入的新数据小于所述最小的数据，则插入新数据的标志位为所述最小的数据的标志位的反位。5.根据权利要求4所述的大负载场景下数据加速方法，其特征在于，所...

【专利技术属性】
技术研发人员：吴刚，张澜，殷帅博，陈永正，唐立臣，乔百友，韩东红，刘辉林，
申请(专利权)人：东北大学，
类型：发明
国别省市：