【技术实现步骤摘要】
本申请涉及存储，尤其涉及一种数据处理方法、系统以及装置。
技术介绍
1、关系型数据是指以关系数学模型来表示的数据，其中，关系数学模型中以二维表的形式来描述数据。关系型数据的数据结构中，通常一行数据由多个属性组成，每个属性是关系表结构中的一列数据。关系型数据库是存储在计算机上的、可共享的、有组织的关系型数据的集合。不同的写文件顺序对应了关系型数据库的不同的存储方式。传统关系型数据库通常采用行式存储。行式存储是将各行放入连续的物理位置，即先存一行数据，再存下一行数据。列式存储是相对于传统关系型数据库的行式存储来说的。列式存储通常将不同数据的同一个属性值存在一起，因为每一个属性在表中是一列数据，所以很直观地将这种存储模型称为列式存储。列存储法的方式主要适合于批量数据处理和即时查询。
2、列式存储应用广泛，如何提升对于列存存储的数据的缓存空间的利用率是一个值得关注的问题。
技术实现思路
1、本申请提供一种数据处理方法、系统以及装置，可以提升对于列存存储的数据的缓存空间的利用率。
...【技术保护点】
1.一种数据处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，存储在所述压缩内存中的数据的数据格式为Mem Feather，存储在所述SSD中的数据的数据格式为Disk Feather。
4.根据权利要求2或3所述的方法，其特征在于，所述缓存服务层中的数据是以块block为单位存储的，所述块包括多个单元cell，每个所述cell包括单列多行数据的缓存实体，所述根据所述缓存服务层中的数据被访问的频率，改变所述缓存服务层中的数据的存储位置，包括：
...【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，存储在所述压缩内存中的数据的数据格式为mem feather，存储在所述ssd中的数据的数据格式为disk feather。
4.根据权利要求2或3所述的方法，其特征在于，所述缓存服务层中的数据是以块block为单位存储的，所述块包括多个单元cell，每个所述cell包括单列多行数据的缓存实体，所述根据所述缓存服务层中的数据被访问的频率，改变所述缓存服务层中的数据的存储位置，包括：
5.根据权利要求2至4任一项所述的方法，其特征在于，所述缓存服务层的内存中的数据被访问的频率不低于第一阈值，所述缓存服务层的压缩内存中的数据被访问的频率低于所述第一阈值且不低于第二阈值，所述缓存服务层的ssd中的数据被访问的频率低于所述第二阈值且不低于第三阈值，所述方法还包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法适用于存算分离的架构下，所述缓存服务层中的数据来自所述架构中的存储服务层，所述接收数据访问请求，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种数据处理的系统，其特征在于，所述系统包括计算服务层、缓存服务层以及存储服务层，所述计算服务层和所述缓存服务层是就近部署co-located的，所...
【专利技术属性】
技术研发人员：林大云，张秦，王成，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。