【技术实现步骤摘要】
一种数据分层存储、分层查询方法及装置
本专利技术涉及计算机应用
，尤其涉及一种数据分层存储、分层查询方法及装置。
技术介绍
分析型数据库(AnalyticDB)是将参与计算的数据在计算之前从外部数据源(如：分布式文件系统)全部导入到计算结点，计算过程中读取本地数据即可，这虽然可以降低计算过程的网络开销，但仍至少存在如下问题：1、分析型数据库的本地容量有限，而计算之前又需要存储大量数据文件对此，目前主要通过在分析型数据库增加计算结点来扩大其存储容量的方式解决，而增加计算结点必然会增加用户的使用成本；2、相关技术中，通过预先在分析型数据库设置一定条件将数据分为冷热两种并进行分层存储，热数据存在分析型数据库的高层级(比如，本地SSD)，冷数据存储在低层级(比如，本地HDD)，一方面仍存在上述第一点所述问题，另一方面由于这些条件无法随用户访问情况动态更新，因而数据冷热分配不够精确，分层存储也不够灵活；3、目前，分析型数据库虽然可支持分层存储，但其数据分层的颗粒是文件，颗粒度比较大，一方面不能对文件内部数据的冷热进行分层存储，另一方面，还会降低数据的加载速度和计算速度...
【技术保护点】
1.一种数据分层存储方法，包括：将数据文件存储到远程磁盘；从所述远程磁盘获取用户最近一次访问的数据文件，分割所述数据文件为数据块，并将所述数据块缓存在本地磁盘；将所述数据块从所述本地磁盘加载到本地内存缓存。
【技术特征摘要】
1.一种数据分层存储方法，包括：将数据文件存储到远程磁盘；从所述远程磁盘获取用户最近一次访问的数据文件，分割所述数据文件为数据块，并将所述数据块缓存在本地磁盘；将所述数据块从所述本地磁盘加载到本地内存缓存。2.根据权利要求1所述的数据分层存储方法，其特征在于，所述本地磁盘创建有至少一个定长的块文件，所述块文件包括定长的块；所述将所述数据块缓存在所述本地磁盘，包括：将所述数据块缓存到所述本地磁盘的空块中。3.根据权利要求1或2所述的数据分层存储方法，其特征在于，所述将所述数据块缓存在所述本地磁盘之前，还包括：在所述本地磁盘的所有块均存满时，采用最近最少使用算法淘汰部分块中的数据，以清空所述部分块。4.根据权利要求1所述的数据分层存储方法，其特征在于，所述本地内存创建有至少一个定长的块文件，所述块文件包括定长的块；所述将所述数据块从所述本地磁盘加载到本地内存缓存之前，还包括：在所述本地内存中所有块均存满时，采用最近最少使用算法淘汰部分块中的数据，以清空所述部分块。5.根据权利要求1或2所述的数据分层存储方法，其特征在于，所述本地磁盘还创建有至少一个本地文件，所述本地文件用于存储数据文件；所述方法还包括：将预先指定的数据文件缓存在所述本地磁盘的本地文件。6.根据权利要求5所述的数据分层存储方法，其特征在于，所述本地磁盘包含块缓存区和文件缓存区，所述块缓存区创建有所述块文件，所述文件缓存区创建有所述本地文件；所述将预先指定的数据文件缓存在所述本地磁盘的本地文件之后，还包括：通过扫描所述本地磁盘中文件缓存区的使用容量，将所述本地磁盘中所述块缓存区进行扩容或缩容。7.根据权利要求6所述的数据分层存储方法，其特征在于，所述将所述本地磁盘中块缓存区的扩容或缩容，至少包括如下之一：根据所述文件缓存区可释放的容量相应增大所述块缓存区的容量，并根据新增容量在所述块缓存区新建所述块文件或所述块；根据所述文件缓存区需增加的容量，将所述块缓存区中的部分所述块文件或块删除，并相应缩小所述块缓存区的容量。8.根据权利要求2所述的数据分层存储方法，其特征在于，所述将所述数据块缓存在所述本地磁盘之前，还包括：在所述本地磁盘设置对应所述块文件的预写式日志WAL。9.根据权利要求1所述的数据分层存储方法，其特征在于，还包括：用户访问时，从本地内存、本地磁盘到远程磁盘逐层递归向下查询相应的数据块，同时将所述数据块在本地内存和本地磁盘逐层缓存。10.一种数据分层查询方法，包括：聚合结点将来自用户设备的计算任务拆分为计算子任务并分发给各个计算结点；各个计算结点通过执行所述计算子任务执行如下操作：从本地内存、本地磁盘到远程磁盘逐层递归向下查询相应的数据块，同时将所述数据块在本地内存和本地磁盘逐层缓存，并将查询到的数据块返回给所述聚合结点；聚合结点将所述各个计算结点返回的数据块聚合后提供给所述用户设备。11.根据权利要求10所述的数据分层查询方法，其特征在于，所述各个计算结点...
【专利技术属性】
技术研发人员：曾杰南，魏闯先，涂继业，占超群，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。