用于数据库操作的近存储器加速制造技术

尽管增加了存储器容量和CPU计算能力，但是由于数据量和应用需求的不断增长，存储器性能仍然是内存数据库管理系统的瓶颈。由于数据工作负载的规模已经超过了传统的CPU缓存和存储器带宽，因此可以改善从存储器到计算单元的数据移动，从而提高内存数据库方案中的性能。近存储器数据库加速器框架通过或向近存储器计算引擎分流数据密集型数据库操作。数据库加速器的系统架构可以包括数据库加速器软件模块/驱动器和带有数据库加速器引擎的存储器模块。可以提供应用编程接口(API)以支持数据库加速器功能。数据库加速器的存储器是CPU直接可访问的。

【技术实现步骤摘要】
用于数据库操作的近存储器加速对相关申请的交叉引用本申请要求于2020年2月27日提交的美国临时申请No.62/982,683的权益，在此通过引用将其并入本文。
本公开涉及用于数据库操作的近存储器加速。
技术介绍
尽管存储器容量和CPU计算能力有所提高，但是数据处理工作负载规模的不断扩大仍在继续挑战内存数据库管理系统的性能。因此，存在改进的空间。
技术实现思路
提供本
技术实现思路
以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本
技术实现思路
既不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。实施例包括一种方法，所述方法包括：在内存数据库管理系统环境中，接收对源数据中表示的多个值执行数据库操作的请求，其中，源数据存储在近存储器数据库加速器的设备存储器中；将数据库操作分流到近存储器数据库加速器；以及从近存储器数据库加速器接收数据库操作的结果可用的指示。另一实施例包括一种系统，包括：一个或多个处理单元；一个或多个处理单元直接可访问的主存储器或扩展存储器；以及近存储器数据库加速器驱动器，被配置为接收对存储在近存储器数据库加速器的设备存储器中的源数据执行数据库操作的请求，近存储器数据库加速器包括与一个或多个处理单元分开的至少一个数据库加速器引擎，将数据库操作分流到近存储器数据库加速器，以由与一个或多个处理单元分开的至少一个数据库加速器引擎执行，以及从近存储器数据库加速器接收数据库操作的结果可用的指示；其中，主存储器或扩展存储器包括近存储器数据库加速器的设备存储器。另一实施例包括一个或多个计算机可读介质，包括计算机可执行指令，所述计算机可执行指令在被执行时使计算系统执行方法，所述方法包括：从内存数据库管理系统接收应用编程接口(API)调用，请求将数据库操作分流到近存储器数据库加速器，其中，对根据位打包压缩格式压缩的数据库表的内存列执行数据库操作，API调用指定位数参数；响应于API调用，向近存储器数据库加速器发送请求，其中，发送包括：中继位数参数，并且近存储器数据库加速器以位数参数执行数据库操作；从近存储器数据库加速器接收数据库操作已经完成的指示；以及通知内存数据库管理系统数据库操作已经完成。根据以下参照附图进行的详细描述，前述和其他目的、特征和优点将变得更加明显。附图说明图1是可以实现用于数据库操作的近存储器加速的示例硬件环境的框图。图2是可以实现用于数据库操作的近存储器加速的示例存储器模块硬件环境的框图。图3是可以实现用于数据库操作的近存储器加速的示例扩展存储系统环境的框图。图4是实现用于数据库操作的近存储器加速的示例性系统架构的框图。图5是实现用于数据库操作的近存储器加速的示例系统的框图。图6是在存储器环境中用于数据库操作的近存储器加速的示例方法的流程图。图7是在存储器环境中用于数据库操作的近存储器加速的示例更详细方法的流程图。图8是在存储器环境中实现用于数据库操作的近存储器加速的示例操作序列的序列图。图9是示出执行与本文的技术一起使用的数据库操作的请求的示例内容的框图。图10是示出用于测量近存储器数据库加速器的性能的所提出的系统的架构的框图。图11是支持用于数据库操作的近存储器加速的微架构的框图。图12是内存数据库中的示例扫描操作的框图。图13是行向量输出的示例调整大小处理的框图。图14是在查找数据库操作中的位打包(bit-packed)压缩的示例的框图。图15是在稀疏压缩情况中的查找数据库操作的示例方法的流程图。图16是示出间接压缩情况中的查找数据库操作的框图。图17是在间接压缩情况中的查找数据库操作的示例方法的流程图。图18是用于在内存数据库管理系统中的数据库分量的位打包压缩中使用的数据结构的框图。图19是位打包(即，压缩的)ValueID数组的框图。图20是示出不同列存储压缩情况的框图。图21是在内存数据库管理系统中使用的稀疏压缩的示例方法的流程图。图22是在内存数据库管理系统中使用的稀疏解压缩的示例方法的流程图。图23是在内存数据库管理系统中使用的间接压缩技术的示例的框图。图24是在内存数据库管理系统中使用的间接压缩技术的示例的另一框图。图25是在内存数据库管理系统中使用的间接压缩方法的流程图。图26是在内存数据库管理系统中使用的间接解压缩方法的流程图。图27是在内存数据库管理系统中使用的间接压缩中的集群字典处理的框图。图28是显示通过增加扫描而导致的在线交易处理(OLTP)吞吐量变化的条形图。图29是用于技术评估的系统设置的系统图。图30是示出通过数据库加速的在线交易处理吞吐量增益的图。图31是示出具有/不具有TPCC的扫描吞吐量的图。图32是示出一般数据库加速器优点的框图。图33是可以实现所描述的实施例的示例计算系统的框图。图34是可以与本文描述的技术结合使用的示例性云计算环境的框图。具体实施方式示例1-概述低成本、大容量DRAM加速了内存数据库管理系统(IMDBMS)的市场。能够在单个系统中同时运行在线事务处理(OLTP)和在线分析处理(OLAP)应用的最新的IMDBMS架构消除了数据冗余并提供了更高的性能和效率，而总拥有成本(TCO)却更少。然而，随着数据量和应用需求的不断增长，存储器性能已成为IMDBMS的主要性能瓶颈。对OLTP/OLAP应用的研究表明，性能可能受到昂贵的数据密集型操作(例如表扫描和OLAP工作负载的聚合)的约束。这样的数据密集型操作很少有数据可重复使用以进行进一步的计算，但是在许多情况下会消耗50％以上的CPU资源和几乎所有的存储器带宽。其他任务关键型工作负载遭受缓存冲突(或缓存颠簸)和存储器带宽瓶颈的困扰。因此，有机会更好地处理从存储器到计算单元的数据移动。改善IMDBMS中此类数据移动的一种方法是在存储器设备中处理此类数据密集型操作。代替将所有数据传送到计算单元，将过滤的结果转发到下一处理步骤可以使开销最小化。近存储计算试图通过最小化存储节点和处理节点(例如CPU)之间的数据传输开销来加速数据密集型操作。然而，近存储计算无法为IMDBMS提供字节寻址能力并显着降低延迟。先前使用FPGA和GPGPU技术加速数据库操作的工作表明，计算密集型操作的性能提高了十倍。然而，由于数据移动开销，此类方法在数据密集型操作中显示出较小的增益。甚至HybridCPU-FPGA方法也涉及从主机存储器到加速器计算单元的数据移动，这具有很高的存储器带宽开销。像UPMEM这样的内存中处理(Processing-In-Memory，PIM)方法是近存储器计算的高级概念，但它们仍处于早期阶段。此外，数据被重新格式化以利用处理单元，因此现有数据结构不被直接重用。近存储器数据库加速器本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在内存数据库管理系统环境中，接收对在源数据中表示的多个值执行数据库操作的请求，其中，源数据被存储在近存储器数据库加速器的设备存储器中；/n将数据库操作分流到近存储器数据库加速器；以及/n从近存储器数据库加速器接收数据库操作的结果可用的指示。/n

【技术特征摘要】
20200227 US 62/982,683;20200609 US 16/897,1381.一种方法，包括：
在内存数据库管理系统环境中，接收对在源数据中表示的多个值执行数据库操作的请求，其中，源数据被存储在近存储器数据库加速器的设备存储器中；
将数据库操作分流到近存储器数据库加速器；以及
从近存储器数据库加速器接收数据库操作的结果可用的指示。


2.根据权利要求1所述的方法，其中：
在源数据中表示的多个值以压缩形式被存储在内存数据库管理系统的主存储中。


3.根据权利要求1所述的方法，还包括：
在接收请求之前，将源数据存储在内存数据库管理系统配置信息所指定的近存储器数据库加速器的设备存储器中。


4.根据权利要求1所述的方法，其中：
通过用于扫描数据库操作的应用编程接口(API)从内存数据库管理系统接收请求。


5.根据权利要求1所述的方法，其中：
作为在内存数据库管理系统内确定请求的数据库操作要被分流的结果，从内存数据库管理系统接收请求。


6.根据权利要求1所述的方法，其中：
源数据包括存储在近存储器数据库加速器的设备存储器中的内存数据库分量；以及
近存储器数据库加速器对存储在近存储器数据库加速器的设备存储器中的内存数据库分量执行数据库操作。


7.根据权利要求6所述的方法，其中：
源数据被压缩；以及
请求包括源数据的压缩信息，由近存储器数据库加速器使用压缩信息对源数据进行解压缩。


8.根据权利要求7所述的方法，其中：
根据位打包压缩格式压缩源数据，并且压缩信息指定位打包压缩格式的位数。


9.根据权利要求1所述的方法，其中：
近存储器数据库加速器包括数据库加速器引擎，其与设备存储器共驻留并被配置为执行数据库操作；以及
设备存储器与中央处理节点分开。


10.根据权利要求1所述的方法，其中：
在中央处理单元处接收请求；
设备存储器由中央处理单元直接可访问；以及
近存储器数据库加速器包括与中央处理单元分开的数据库加速器引擎，其中数据库加速器引擎被配置为执行数据库操作。


11.根据权利要求10所述的方法，其中：
分流减轻用于处理除数据库操作之外的中央处理单元到存储器数据路径。


12.根据权利要求1所述的方法，其中：
源数据包括列格式的数据库表值；<...

【专利技术属性】
技术研发人员：DH李，M安，J金，KW崔，O雷波兹，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：德国;DE