用于存储和查询数据的方法和系统技术方案

本公开内容涉及用于存储和查询数据的方法和系统。根据本发明专利技术的实施例，针对多维数据建立两级索引，一级索引基于两个或更多维度创建，用于检索数据的各个数据单元。二级索引基于特定的维度创建，用于检索数据单元中的各数据块。相应地，在接收到针对数据的多维查询请求时，一级检索首先根据一级索引确定包含目标数据的数据单元。继而，二级检索根据二级索引快速定位包含目标数据的数据块。这样，多维检索可以高效地完成。而且，通过适当地设置最小数据块的大小，数据访问的I/O效率显著提高。公开了相应的方法和系统。

【技术实现步骤摘要】

本专利技术的实施例一般地涉及数据库领域，并且更具体地，涉及用于存储和查询数据的方法和系统。
技术介绍
数据(特别是海量数据)的存储和查询始终是数据库领域的一个重要问题。近年来，随着科学计算等相关领域中的发展，这个问题变得尤为突出。作为示例，各类卫星可以拍摄地球或者其他目标物体的一个或多个区域的图像，以用于科学研究、遥感测绘、气象预报等各种目的。卫星图像数据具有相当可观的数据量，并且可能在一段时间内被连续地捕获和存储。而且，此类数据通常与不同的维度(dimens1n)相关联。例如，一幅卫星图像的数据至少可以与时间维度和空间维度这二者相关联。时间维度可以指示该图像被捕获的时刻或时段；空间维度可以指示该图像所包含的地理区域的范围，例如由经度坐标和维度坐标来限定。诸如卫星图像数据的多维数据给数据的存储和查询带来了巨大挑战。较大的数据量导致数据往往必须被分布地存储在大量文件中，这增加了维护开销。而且，对此类数据的查询通常是多维度查询。换言之，在数据查询请求中包含涉及多个不同维度的查询条件。这增加了数据查询的难度和复杂性。而且，这种查询过程通常需要大量的输入/输出(I/o)操作，这不可避免地降低了查询效率，延长了响应延迟。用于数据存储和查询的传统方案无法有效地存储和查询。例如，已知的文件系统无法支持有效的多维查询，也无法保证I/o效率。基于的“关系-实体”模型的关系数据库无法有效地存储多维数据。尽管已经提出了专门用于海量数据(例如，科学阵列数据)的数据库，然而此类数据库只能解决数据的存储问题。多维数据的多维查询仍然受制于较低的效率。综上所述，本领域中一种更加有效的存储和查询多维数据的方案。
技术实现思路
一般地，本专利技术的实施例提供用于存储和查询多维数据的方案。在一个方面，本专利技术的实施例提供一种用于存储数据的技术方案。这方面的一个实施例提供一种用于存储数据的方法，所述数据至少与第一维度和第二维度相关联。所述方法包括:至少基于所述第一维度和所述第二维度，创建用于检索所述数据的数据单元的一级索引；至少基于所述第一维度创建用于检索所述数据单元中的数据块的二级索引；以及将所述数据与所述一级索引和所述二级索引相关联地存储。这方面的另一个实施例提供一种用于存储数据的系统，所述数据至少与第一维度和第二维度相关联。所述系统包括:一级索引创建单元，被配置为至少基于所述第一维度和所述第二维度，创建用于检索所述数据的数据单元的一级索引；二级索引创建单元，被配置为至少基于所述第一维度创建用于检索所述数据单元中的数据块的二级索引；以及存储控制单元，被配置为将所述数据与所述一级索引和所述二级索引相关联地存储。在另一方面，本专利技术的实施例提供一种用于查询数据的技术方案。这方面的一个实施例提供一种用于查询数据的方法，所述数据至少与第一维度和第二维度相关联。所述方法包括:接收针对目标数据的查询请求，所述查询请求包括与所述第一维度相关联的第一查询条件以及与所述第二维度相关联的第二查询条件；基于所述第一查询条件、所述第二查询条件和用于所述数据的一级索引，检索所述数据中包含所述目标数据的目标数据单元，所述一级索引至少基于所述第一维度和所述第二维度被创建以用于检索所述数据的数据单元；以及基于所述第一查询条件和所述目标数据单元的二级索引，检索所述目标数据单元中包含所述目标数据的目标数据块，所述二级索引至少基于所述第一维度被创建以用于检索所述数据的所述数据单元中的数据块。这方面的另一实施例提供一种用于查询数据的系统，所述数据至少与第一维度和第二维度相关联。所述系统包括:查询接收单元，被配置为接收针对目标数据的查询请求，所述查询请求包括与所述第一维度相关联的第一查询条件以及与所述第二维度相关联的第二查询条件；一级检索单元，被配置为基于所述第一查询条件、所述第二查询条件和用于所述数据的一级索引，检索所述数据中包含所述目标数据的目标数据单元，所述一级索引至少基于所述第一维度和所述第二维度被创建以用于检索所述数据的数据单元；以及二级检索单元，被配置为基于所述第一查询条件和所述目标数据单元的二级索引，检索所述目标数据单元中包含所述目标数据的目标数据块，所述二级索引至少基于所述第一维度被创建以用于检索所述数据的所述数据单元中的数据块。 通过下文描述将会理解，根据本专利技术的实施例，针对多维数据建立两级索引，一级索引基于两个或更多维度创建，用于检索数据的各个数据单元。二级索引基于一个或多个特定的维度创建，用于检索数据单元中的各数据块。相应地，在接收到针对数据的多维查询请求时，检索也可以分为两级完成。一级检索首先根据一级索引确定包含目标数据的数据单元。继而，二级检索根据二级索引快速定位包含目标数据的数据块。这样，多维检索可以高效地完成。而且，通过适当地设置最小数据块的大小，数据访问的I/o效率显著提高。本专利技术的其他特征和优点将通过下文描述而变得容易理解。【附图说明】通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显其中:图1示出了适于用来实现本专利技术实施例的示例性计算机系统/服务器的示意性框图；图2示出了本专利技术的实施例可应用于其上的多维数据的示意图；图3示出了根据本专利技术实施例的用于存储多维数据的方法的示意性流程图；图4示出了根据本专利技术实施例的用于通过迭代数据划分来建立二级索引的方法的示意性流程图；图5示出了根据本专利技术实施例的在建立二级索引中的迭代划分的和数据存储的TJK意图；图6示出了根据本专利技术实施例的用于查询多维数据的方法的示意性流程图；图7示出了根据本专利技术实施例的用于存储多维数据的系统的示意性框图；以及图8示出了根据本专利技术实施例的用于查询多维数据的系统的示意性框图。 在附图中，相同或相似的标号被用来表示相同或相似的元素。【具体实施方式】下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。图1示出了适于用来实现本专利技术实施方式的示例性计算机系统/服务器12的方框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本专利技术实施例的功能和使用范围带来任何限制。如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。系统存储器28可以包括易失性存储器形式本文档来自技高网...

【技术保护点】
一种用于存储数据的方法，所述数据至少与第一维度和第二维度相关联，所述方法包括：至少基于所述第一维度和所述第二维度，创建用于检索所述数据的数据单元的一级索引；至少基于所述第一维度创建用于检索所述数据单元中的数据块的二级索引；以及将所述数据与所述一级索引和所述二级索引相关联地存储。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐晓旻，陈垚亮，陈晓艳，黄胜，刘凯，陆薇，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US