一种异构高能效分布式数据库及应用方法技术

本发明专利技术公开了一种异构高能效分布式数据库及应用方法，该数据库包括一存储模块，一读写文件系统模块，一数据库。本发明专利技术将大量IO操作都放在ARM芯片上执行，不占用主CPU资源，ARM芯片功耗相对要低一个数量级。数据库读取与写入可以与硬件协议，明确知道需要热数据与临时数据在不同场景使用不同的硬件来管理，不需要将大量的数据搬到CPU主内存中，减少无用消耗。另外，还优化了文件系统，不以传统的方式读取文件，减少因硬件特性错位带来的性能损失。一台服务可以插入大量的存储模块，但是使用上以虚拟文件系统的方式，可以做到无缝扩展。数据库在底层修改，不破坏兼容性，可以实现现有系统直接迁移，不需要修改程序。不需要修改程序。不需要修改程序。

【技术实现步骤摘要】
一种异构高能效分布式数据库及应用方法


[0001]本专利技术涉及一种异构高能效分布式数据库及应用方法。

技术介绍

[0002]当前主流的业务数据库主要有两类，一类是以关系型数据库为主，主要实现数据的快速检索、数据修改，事务一致性保持。而另一类数据以非关系数库(NoSQL)为主，非关系型数据的类型与针对的场景则非常多。
[0003]大部份关系型数据库普遍运行在x86体系之下，并且直接作用于一般的文件系统。此类数据库一般情况下对于分布式都并未有较好的支持。同时，此类数据库的架构对能耗都不为敏感，在基准测试状态下，实测以500MBtyes/s的吞吐量来计算，会使用约为150w的功耗。
[0004]分析运行过程的功耗来看，第一方面，使用了x86的指令集架构的计算机，此架构的计算机比较适合密集的运算，与大规模的流水处理。相对于数据库来重IO的需求来说，并没有发挥出强CPU的优势，相反长期等待IO时切换线程，进程等操作会大量消耗CPU功耗，做了大量的无用办，在操作系统层面的优化也是极期有限。
[0005]第二方面，常规数据库并没有对存储使用的文件系统进行优化。这一方面又分成3项块技术问题。其一是文件系统关没有针对SSD磁盘进行相对应的主控优化。传统磁盘上的随机读写性能非常差，顺序读写性能相对较强，因此文件系统会针对传统磁盘的性能特性进行优化。传统磁盘的缓存容量与缓存级别都比较浅。其二是数据库读写模块基于当前文件系统的配置，无法针对硬件情况做出有效单次读取量。读取数据量的块大小配置非常困难，因为由于受操作系统的缓存机制影响，无法一步到位进行磁盘资源的精准利用。其三是数据库读定磁盘都以传通读写文件的模式，以同步读写为主，在并行读取时，会直接受到同步读取影响，无法同时检索同一个文件，往往是同一个表。其中在两次检索时数据，存在检索同一个大块数据时，都无法合并同同一次检索再分拆数据。
[0006]第三方面，数据库在分布式的模式下，互相交换数据需要通过网络进行同步，然而网络同步会占用服务器之间带宽，而分布式数据更多需要采集独立通讯方式及CPU内存通讯总线。

技术实现思路

[0007]为解决现有技术存在的缺陷，本专利技术提供一种异构高能效分布式数据库及应用方法，对数据库的存储与计算模式进行改造，在不改变上层使用标准下，进行优化改造，实现同性能下，功耗降低10倍。
[0008]为了解决上述技术问题，本专利技术提供了如下的技术方案：
[0009]本专利技术提供一种异构高能效分布式数据库，包括：
[0010]一存储模块，所述存储模块通过检索表达式对数据进行全量检索，然后将检索结果一并返回；
[0011]一读写文件系统模块，所述读写文件系统模块根据读取指令向文件写入检索表达式，然后在检索表达式执行完成后生成相应文件；
[0012]一数据库，所述数据库获取检索结果后，将检索结果非CPU通道放入服务器内存后进行相应计算操作。
[0013]作为本专利技术的一种优选技术方案，所述存储模块包括由ARM芯片、内存和存储器组成的核心模块，该核心模块使用PCIE或SATA通道与主CPU进行通讯，该核心模块与主CPU之间使用读与写模块指令，读与写模块使用异步通讯方式，数据库通过主CPU对存储模块进行配置。
[0014]作为本专利技术的一种优选技术方案，所述读与写模块指令为插入操作指令、查询操作指令、更新操作指令或删除操作指令中的一种。
[0015]作为本专利技术的一种优选技术方案，所述存储模块使用表达式组队列模型进行多个表达式检索。
[0016]作为本专利技术的一种优选技术方案，所述存储模块识别热区间，将热区间加载到内存中作缓存，优先检索；如果没有击中缓存，则到存储器中检索，并排除区间内容，所述存储器包括SLC区和TLC区，所述ARM芯片根按读取的热度或主CPU指令调整热数数据量，将大于内存的数据于SLC区中，并在闲时据缓存策略调整数据存储位置。
[0017]作为本专利技术的一种优选技术方案，所述存储模块还包括电池模块，用于为存储模块供电。
[0018]作为本专利技术的一种优选技术方案，所述数据库包括排序模块和二级缓存模块，所述排序模块使用存储模块进行排序，所述二级缓存模块与存储模块的缓存同步进行，其中使用协处理器异步调整，不占用主CPU。
[0019]作为本专利技术的一种优选技术方案，本专利技术还提供一种异构高能效分布式数据库的应用方法，包括以下步骤：
[0020]S1、利用网络获取客户端传输的读写请求信号与响应信号；
[0021]S2、存储模块通过检索表达式对数据进行全量检索；
[0022]S3、通过网络传输步骤S2的检索结果；
[0023]S4、数据库获取检索结果后，将检索结果放入服务器内存后进行重组计算；
[0024]S5、通过网络传输步骤S4的结果。
[0025]本专利技术相较于现有技术，具有以下有益效果：
[0026]本专利技术将大量IO操作都放在ARM芯片上执行，不占用主CPU资源，ARM芯片功耗相对要低一个数量级。数据库读取与写入可以与硬件协议，明确知道需要热数据与临时数据在不同场景使用不同的硬件来管理，不需要将大量的数据搬到CPU主内存中，减少无用消耗。另外，还优化了文件系统，不以传统的方式读取文件，减少因硬件特性错位带来的性能损失。一台服务可以插入大量的存储模块，但是使用上以虚拟文件系统的方式，可以做到无缝扩展。数据库在底层修改，不破坏兼容性，可以实现现有系统直接迁移，不需要修改程序。从而实现高程度减少计算过程产生的碳排，加强数据库并行计算的能力，减少高性能CPU控制操作的概率，增加主要CPU的计算时间；充分利用缓存，更有效增中利用性；仅改造数据库低层，保持兼容性，不破坏业务。
附图说明
[0027]图1是本专利技术一种异构高能效分布式数据库的结构框架图。
[0028]图2是本专利技术一种异构高能效分布式数据库应用方法的流程图。
[0029]图3是本专利技术一种异构高能效分布式数据库的查询流程分析图。
[0030]图4是本专利技术一种异构高能效分布式数据库的读写文件系统模块流程图。
[0031]图5是本专利技术一种异构高能效分布式数据库的存储模块读取示意图。
具体实施方式
[0032]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0033]为了达到本专利技术的目的，如图1所示，在本专利技术的其中一种实施方式中提供一种异构高能效分布式数据库，包括：
[0034]一存储模块，存储模块通过检索表达式对数据进行全量检索，然后将检索结果一并返回。存储模块包括由ARM芯片、内存和存储器组成的核心模块，该核心模块使用PCIE或SATA通道与主CPU进行通讯，该核心模块与主CPU之间使用读与写模块指令，读与写模块使用异步通讯方式，不提供随机及顺序读写方式。
[0035]其中，读与写模块指令为插入操作指令、查询操作指令、更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构高能效分布式数据库，其特征在于，包括：一存储模块，所述存储模块通过检索表达式对数据进行全量检索，然后将检索结果一并返回；一读写文件系统模块，所述读写文件系统模块根据读取指令向文件写入检索表达式，然后在检索表达式执行完成后生成相应文件；一数据库，所述数据库获取检索结果后，将检索结果非CPU通道放入服务器内存后进行相应计算操作。2.根据权利要求1所述的异构高能效分布式数据库，其特征在于，所述存储模块包括由ARM芯片、内存和存储器组成的核心模块，该核心模块使用PCIE或SATA通道与主CPU进行通讯，该核心模块与主CPU之间使用读与写模块指令，读与写模块使用异步通讯方式，数据库通过主CPU对存储模块进行配置。3.根据权利要求2所述的异构高能效分布式数据库，其特征在于，所述读与写模块指令为插入操作指令、查询操作指令、更新操作指令或删除操作指令中的一种。4.根据权利要求2所述的异构高能效分布式数据库，其特征在于，所述存储模块使用表达式组队列模型进行多个表达式检索。5.根据权利要求2所述的异构高能效分布式数据库，其特征在于，所述存储模块识别热...

【专利技术属性】
技术研发人员：林晓东，陈伟钦，李洋，黄奕，郑沐兴，彭柏林，
申请(专利权)人：广州亿电邦科智能网络科技有限公司，
类型：发明
国别省市：