数据处理方法及设备技术

本申请涉及一种数据处理方法及设备，属于数据存储技术领域，该方法包括：获取多个目标查询请求的数据查询结果；每个目标查询请求用于请求查询磁盘中存储的数据块，每个数据块包括原始存储地址不同的至少两条数据；基于数据查询结果确定存在同次查询关系的目标数据块；目标数据块包括原始存储地址不连续的至少两条数据；对目标数据块在磁盘中的存储结构进行重构，重构后的目标数据块中各条数据的重构存储地址连续；可以解决传统的数据处理方式中寻址时长较大，导致数据查询效率较低，磁盘IO消耗过高的问题；可以减少随机寻址的次数，增加顺序寻址的次数，缩短了寻址时长和磁盘IO，提高了数据查询的效率。高了数据查询的效率。高了数据查询的效率。

【技术实现步骤摘要】
数据处理方法及设备


[0001]本申请涉及一种数据处理方法及设备，属于数据存储


技术介绍

[0002]目前，随着数据存储需求的增多，通常使用数据库管理需要存储的数据。数据库获取到待存储的数据后，按照数据入库顺序依次将数据写入磁盘进行存储。
[0003]为了提高查询效率，降低磁盘IO消耗，数据库设置有数据的索引结构。在数据查询时，数据库按照索引结构确定待查询数据的存储地址，按照该存储地址进行寻址，得到数据查询结果。
[0004]然而，目前数据查询时寻址时长较大，会导致数据查询效率较低，磁盘IO消耗过高的问题。

技术实现思路

[0005]本申请提供了一种数据处理方法及设备，可以解决传统的数据处理方式中寻址时长较大，导致数据查询效率较低，磁盘IO消耗过高的问题。本申请提供如下技术方案：第一方面，提供一种数据处理方法，所述方法包括：获取多个目标查询请求的数据查询结果；其中，每个目标查询请求用于请求查询磁盘中存储的数据块，每个数据块包括原始存储地址不同的至少两条数据；基于所述数据查询结果确定存在同次查询关系的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取多个目标查询请求的数据查询结果；其中，每个目标查询请求用于请求查询磁盘中存储的数据块，每个数据块包括原始存储地址不同的至少两条数据；基于所述数据查询结果确定存在同次查询关系的目标数据块；其中，所述目标数据块包括原始存储地址不连续的至少两条数据，所述同次查询关系用于表征不同数据块至少一次被同时查询；对所述目标数据块在所述磁盘中的存储结构进行重构，重构后的目标数据块中各条数据的重构存储地址连续。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据查询结果确定存在同次查询关系的目标数据块，包括：基于所述数据查询结果中各条数据的每个原始存储地址，将各个数据块划分为每个原始存储地址对应的集合；其中，每个集合内的不同数据块包括同一原始存储地址的数据，不同集合对应的所述同一原始存储地址不同；确定每个集合中同一数据块的频次；基于每个原始存储位置对应的集合、以及每个集合中数据块的频次，确定每个集合中的目标数据块。3.根据权利要求2所述的方法，其特征在于，所述基于每个原始存储位置对应的集合、以及每个集合中数据块的频次，确定每个集合中的目标数据块，包括：按照每个集合中各个数据块的频次由高到低的顺序，确定每个集合对应的候选数据块；确定按照各个集合对应的候选数据块重构时的查询效率；其中，所述查询效率与期望数据查询结果的次数呈正相关关系，所述期望数据查询结果是指查询得到的数据块中各条数据的存储地址连续的数据查询结果；将查询效率满足预设条件的各个候选数据块确定为所述目标数据块。4.根据权利要求3所述的方法，其特征在于，所述确定对各个集合对应的候选数据块重构时的查询效率，包括：对各个集合对应的候选数据块模拟重构，得到各个数据块中各条数据的模拟重构地址；确定按照模拟重构地址查询数据时得到所述期望数据查询结果的次数；确定所述次数与查询总次数的比值，得到所述查询效率。5.根据权利要求3所述的方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：李冬，柳俊，
申请(专利权)人：苏州映赛智能科技有限公司，
类型：发明
国别省市：