【技术实现步骤摘要】
一种数据缓存方法、系统及装置
[0001]本专利技术涉及计算机
，特别涉及一种数据缓存方法、系统及装置。
技术介绍
[0002]OLAP(On
‑
Line Analysis Processing，联机分析处理)分析型数据库正在朝着计算存储分离的架构发展。计算存储分离的架构使用不同的计算设备分别进行数据计算和数据存储，这种架构的好处是计算层(包含若干用于数据计算的计算设备，或称为计算节点)和存储层(包含若干用于数据存储的计算设备，或称为存储节点)可以分别按需进行扩容或者缩容：当计算任务负载变大则增加计算节点；当写入数据量增大则增加存储节点。
[0003]但是，计算存储分离后，暴露的主要问题是计算层在执行计算任务时需要跨设备读取存储层的数据。OLAP计算任务往往又需要扫描或读取大量的数据进行统计分析，从而引发大量的数据读取开销。如何降低数据读取开销，提高OLAP数据库的工作效率是亟待解决的技术问题。
技术实现思路
[0004]本说明书实施例之一提供一种数据缓存方法，在计算设备上执行...
【技术保护点】
【技术特征摘要】
1.一种数据缓存方法，在计算设备上执行，其包括：在容器内启动数据缓存服务进程；通过数据缓存客户端确定所述容器中计算进程的数据请求，并将数据请求传输给所述数据缓存服务进程；通过所述数据缓存服务进程获取数据请求对应的数据的元信息，并返回给数据缓存客户端；通过数据缓存客户端基于所述元信息确定数据请求对应的数据，以提交给所述计算进程使用。2.如权利要求1所述的方法，所述数据请求包括目标数据标识；通过所述数据缓存服务进程获取数据请求对应的数据的元信息，包括：通过数据缓存服务进程基于所述目标数据标识确定其进程地址空间中是否包含相应的目标数据；若包含，则通过数据缓存服务进程确定目标数据在其进程地址空间中的存储偏移量以及存储长度，并将所述存储偏移量以及所述存储长度作为所述元信息。3.如权利要求2所述的方法，通过所述数据缓存服务进程获取数据请求对应的数据的元信息，还包括：若不包含，则通过数据缓存服务进程从容器外部的存储区域获取所述目标数据标识对应的目标数据，并将其映射到其进程地址空间；同时，通过所述数据缓存客户端将所述目标数据标识对应的目标数据映射到所述计算进程的进程地址空间；通过数据缓存服务进程确定目标数据在其进程地址空间中的存储偏移量以及存储长度，并将所述存储偏移量以及所述存储长度作为所述元信息。4.如权利要求3所述的方法，通过数据缓存服务进程从容器外部的存储区域获取所述目标数据标识对应的目标数据，包括：通过数据缓存服务进程基于所述目标数据标识在缓存表的分区索引中查找目标数据所在的存储区域；若所述存储区域位于其他计算设备上，则通过网络向所述其他计算设备发起数据查询请求，进而将目标数据存储于本计算设备上，以便分别将目标数据映射到数据缓存服务进程以及计算进程的进程地址空间。5.如权利要求4所述的方法，通过数据缓存服务进程从容器外部的存储区域获取所述目标数据标识对应的目标数据，还包括：将目标数据转换为列式数据存储格式后保存在本计算设备上；所述列式数据存储格式包括Apache Arrow格式；目标数据标识包括目标分区标识和/或目标列标识，相应的，目标数...
【专利技术属性】
技术研发人员：曲维平，沈智韬，贾玮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。