通过访问小数据查询大数据制造技术

处理器执行存储在非瞬时性存储器中的指令以确定对大数据的查询是受限评估的还是可以进行重写以访问数据集中的限定量的数据或信息。查询计划可以通过在查询的访问约束条件中的索引来检索信息。与通过查询计划获取信息相关的成本可能取决于查询和访问约束条件，而不取决于数据集的大小。可以针对不同类型或类别的查询，例如，联合查询(conjunctive query，简称CQ)、联合查询并集(union of conjunctive queries，简称UCQ)和正存在式FO(一阶)联合查询(positive existential first order conjunctive query，简称

【技术实现步骤摘要】
【国外来华专利技术】通过访问小数据查询大数据本申请要求于2016年3月28日递交的专利技术名称为“通过访问小数据查询大数据”的第15/082,396号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。
技术介绍
查询大数据或从数据集或数据库中的大量数据请求特定信息以获得应答可能需要较快的设备，且还可能花较长的时间。采用读取速度大约6GB/s(千兆字节/秒)的固态硬盘处理器，查询1015字节信息的大数据获得应答可能需要几天时间。当信息的大数据大小为1018字节时，采用类似处理器对查询进行应答可能要花费数年。在不提高固态硬盘处理器的读取速度的同时减少获得对大数据查询的应答的时间可提高搜索效率。
技术实现思路
处理器执行存储在非瞬时性内存存储器中的指令以确定对大数据的查询是受限评估的还是可以进行重写以访问数据集中的限定量的数据或信息。重写的查询或计划可以通过在查询的访问约束条件中的索引来检索信息。与通过重写的查询获取信息相关的成本可能取决于查询和访问约束条件，而不取决于数据集的大小。可以针对不同类型或类别的查询，例如，联合查询(conjunctivequery，简称CQ)、联合查询并集(unionofconjunctivequeries，简称UCQ)或正存在式FO(一阶)联合查询(positiveexistentialfirstorderconjunctivequery，简称又称SPJU)，形成获取信息的查询计划。当查询不是受限评估时，确定是否可以检索信息的近似值。近似信息可以包括上下包络或专业化查询。在一个实施例中，本技术涉及包括具有指令的非瞬时性内存存储器以及与存储器通信的一个或多个处理器的设备。所述一个或多个处理器执行所述指令以接收具有访问约束条件集合的查询以检索信息并确定所述查询的查询类型。所述一个或多个处理器还执行指令以：确定所述查询在所述访问约束条件集合下是否是受限评估的；并当查询在访问约束条件集合下受限评估时，形成一个查询计划来检索所述信息。所述一个或多个处理器执行指令以通过查询计划将所述查询重写为重写的查询；检索所述信息以响应所述重写的查询。在包括前述任一实施例的实施例中，所述访问约束条件集合包括索引和基数约束条件，并且检索所述信息的时间量取决于所述查询和所述访问约束条件集合而不取决于所述数据集的大小。在包括前述任一实施例的实施例中，所述一个或多个处理器执行所述指令以在所述查询不是受限评估时近似对所述查询的应答。在包括前述任一实施例的实施例中，所述一个或多个处理器执行所述指令以通过形成上包络应答和下包络应答近似对所述查询的应答。在包括前述任一实施例的实施例中，所述查询包括变量，且所述一个或多个处理器执行所述指令以通过实例化所述查询中的所述变量近似对所述查询的应答。在包括前述任一实施例的实施例中，所述查询类型包括联合查询(conjunctivequery，简称CQ)、联合查询并集(unionofconjunctivequeries，简称UCQ)或正存在式一阶(firstorder，简称FO)联合查询(positiveexistentialfirstorderconjunctivequery，简称)。在包括前述任一实施例的实施例中，所述查询类型为所述CQ类型，所述一个或多个处理器执行所述指令以确定所述用于检索信息的查询是否是受限评估的包括：计算cov(Q,A)；确定cov(Q,A)中覆盖的的变量；确定不在cov(Q,A)中的变量；为查询的每个原子确定存在特定的访问约束条件。在包括前述任一实施例的实施例中，所述查询类型为所述UCQ类型或所述类型，所述一个或多个处理器执行所述指令以：将所述查询分解成CQ子查询的并集；检索所述查询的每个CQ子查询Qi和Qi的A实例(θ(TQi),θ(u))；确定A是否没有覆盖Qi，以及是否不能通过A覆盖的所述查询的任意CQ子查询返回θ(u)。在包括前述任一实施例的实施例中，所述一个或多个处理器执行所述指令以形成所述查询计划，以当所述查询在所述访问约束条件集合下受限评估时检索所述信息包括：通过子查询计划检索cov(Q,\A)中每个覆盖的变量值；通过组合计划将变量值合并到关系中。在包括前述任一实施例的实施例中，所述一个或多个处理器执行所述指令以通过形成上下包络应答近似对所述查询的所述应答包括：确定是否可获得上包络应答；并确定是否可获得下包络应答。在包括前述任一实施例的实施例中，所述一个或多个处理器执行所述指令以通过实例化所述查询中的所述变量近似对所述查询的所述应答包括：确定是否可获得查询的应答。在另一个实施例中，本技术涉及用于从数据集检索数据的计算机实现的方法。所述计算机实现的方法包括：通过一个或多个处理器接收第一查询以从数据集检索数据；通过一个或多个处理器来确定所述第一查询中的访问约束条件集合和所述第一查询中的所述访问约束条件集合中的索引；基于第一查询中的索引形成第二查询，并输出所述第二查询以获得数据集中的数据。在包括前述任一实施例的实施例中，包括：通过一个或多个处理器确定是否可以形成将检索所述数据的第二查询。在包括前述任一实施例的实施例中，包括：通过所述一个或多个处理器确定当不可以形成所述第二查询时，所述第一查询的近似数据是否可用。在包括前述任一实施例的实施例中，确定所述第一查询的近似数据是否可用包括：通过所述一个或多个处理器来确定所述第一查询的上下包络近似数据是否可用。在包括前述任一实施例的实施例中，确定所述第一查询的近似数据是否可用包括：通过一个或多个处理器确定所述第一查询是否具有可以实例化的参数，以提供近似数据。在又一实施例中，本技术涉及一种存储计算机指令的非瞬时性计算机可读介质，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：接收具有访问约束条件集合的查询以从数据集检索信息；确定所述查询在所述访问约束条件集合下是否是受限评估的；当所述查询受限评估时，通过所述访问约束条件集合中的至少一个访问约束条件将所述查询重写为重写的查询；输出所述重写的查询以检索所述信息；确定当所述查询不是受限评估时是否可以获得近似信息。在包括前述任一实施例的实施例中，包括以下步骤：确定所述查询的查询类型；其中，将所述查询重写到重写的查询取决于查询类型。在包括前述任一实施例的实施例中，所述查询类型包括联合查询(conjunctivequery，简称CQ)、联合查询并集(unionofconjunctivequeries，简称UCQ)或正存在式FO(一阶)联合查询(positiveexistentialfirstorderconjunctivequery，简称)。在包括前述任一实施例的实施例中，所述访问约束条件集合包括索引和基数约束条件，并且检索所述信息的时间量取决于所述查询和所述访问约束条件集合而不取决于所述数据集的大小。提供本
技术实现思路
是为了以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本
技术实现思路
和/或标题的目的不在于识别权利要求书保护的主题的关键特征或必要特征，也不在于协助确定权利要求书保护的主题的范围。权利要求书保护的主题不限于用于解决在
技术介绍
中提到的任何或全部缺点的实现方式。附图说明图1是示出本技术实施例提供的检索存储在本文档来自技高网...

【技术保护点】
1.一种设备，其特征在于，包括：包括指令的非瞬时性内存存储器；与所述存储器通信的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以：接收具有访问约束条件集合的查询以检索信息；确定所述查询的查询类型；确定所述查询在所述访问约束条件集合下是否是受限评估的；当查询在所述访问约束条件集合下受限评估时，形成一个查询计划来检索所述信息；通过查询计划将所述查询重写为重写的查询；检索所述信息以响应所述重写的查询。

【技术特征摘要】
【国外来华专利技术】2016.03.28 US 15/082,3961.一种设备，其特征在于，包括：包括指令的非瞬时性内存存储器；与所述存储器通信的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以：接收具有访问约束条件集合的查询以检索信息；确定所述查询的查询类型；确定所述查询在所述访问约束条件集合下是否是受限评估的；当查询在所述访问约束条件集合下受限评估时，形成一个查询计划来检索所述信息；通过查询计划将所述查询重写为重写的查询；检索所述信息以响应所述重写的查询。2.根据权利要求1所述的设备，其特征在于，所述访问约束条件集合包括索引和基数约束条件，并且检索所述信息的时间量取决于所述查询和所述访问约束条件集合而不取决于所述数据集的大小。3.根据权利要求1所述的设备，其特征在于，所述一个或多个处理器执行所述指令以在所述查询不是受限评估时近似对所述查询的应答。4.根据权利要求3所述的设备，其特征在于，所述一个或多个处理器执行所述指令以通过形成上包络应答和下包络应答近似对所述查询的应答。5.根据权利要求3所述的设备，其特征在于，所述查询包括变量，且所述一个或多个处理器执行所述指令以通过实例化所述查询中的所述变量近似对所述查询的应答。6.根据权利要求1所述的设备，其特征在于，所述查询类型包括联合查询(conjunctivequery，简称CQ)、联合查询并集(unionofconjunctivequeries，简称UCQ)或正存在式一阶(firstorder，简称FO)联合查询(positiveexistentialfirstorderconjunctivequery，简称)。7.根据权利要求6所述的设备，其特征在于，所述查询类型为所述CQ类型，所述一个或多个处理器执行所述指令以确定所述用于检索信息的查询是否是受限评估的包括：计算cov(Q,A)；确定cov(Q,A)中覆盖的的变量；确定不在cov(Q,A)中的变量；为查询的每个原子确定存在特定的访问约束条件。8.根据权利要求6所述的设备，其特征在于，所述查询类型为所述UCQ类型或所述类型，所述一个或多个处理器执行所述指令以：将所述查询分解成CQ子查询的并集；检索所述查询的每个CQ子查询Qi和Qi的A实例(θ(TQi),θ(u))；确定A是否没有覆盖Qi，以及是否不能通过A覆盖的所述查询的任意CQ子查询返回θ(u)。9.根据权利要求6所述的设备，其特征在于，所述一个或多个处理器执行所述指令以形成所述查询计划，以当所述查询在所述访问约束条件集合下受限评估时检索所述信息包括：通过子查询计划检索cov(Q,\A)中每个覆盖的变量值；通过组合计划将变量值合并到关系中。10.根据权利要求4所述的设备，其特征在于，所述一个或多个处理器执行所述指令以通过形成上...

【专利技术属性】
技术研发人员：樊文飞，曹阳，弗洛瑞斯·吉尔特斯，邓婷，陆平，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44