查询多个数据多级相关性方法及其应用技术

本申请提出了一种查询多个数据多级相关性方法及其应用，包括以下步骤：从数据源获取原始数据；根据搜索条件确定多个搜索维度，以每个搜索维度对原始数据中的相关字段的维度进行拼接；根据每个合并维度依次拆分维度拼接后的原始数据；根据任一搜索维度对最终拆分后的相关字段的数据进行模糊查询；根据该任一搜索维度对查询结果进行去重；根据任一搜索维度将去重后的数据与最终拆分后的相关字段的数据进行关联；根据任一搜索维度对二级相关数据进行分组，输出包含该任一搜索维度的数据的出现次数。本申请可降低计算资源，提高计算速度。提高计算速度。提高计算速度。

【技术实现步骤摘要】
查询多个数据多级相关性方法及其应用


[0001]本申请涉及大数据分析
，特别是一种涉及查询多个数据多级相关性方法及其应用。

技术介绍

[0002]数据相关性是指数据之间存在某种关系。大数据时代，数据相关分析因其具有可以快捷、高效地发现事物间内在关联的优势而受到广泛关注，并有效地应用于推荐系统、商业分析、公共管理、医疗诊断等领域。数据相关性可以时序分析、空间分析等方法进行分析。数据相关性分析也面对着高维数据、多变量数据、大规模数据、增长性数据及其可计算方面等挑战。
[0003]然而目前传统的基于SQL的数据相关性计算方法，一般都是通过左关联（LEFT JOIN）实现的，当需要分析多个字段的多级相关性时，还需要通过关联（JOIN）+联合（UNION）实现。此方法，通过海量数据的关联（JOIN）+联合（UNION），往往需消耗大量的计算资源，计算速度较慢，长时间得到计算结果。
[0004]因此，亟待一种能够显著降低计算资源，提高计算速度的查询多个数据多级相关性方法及其应用。

技术实现思路

[0005]本申请实施例提供了一种查询多个数据多级相关性方法及其应用，针对目前技术存在的消耗大量的计算资源，计算速度较慢等问题。
[0006]本专利技术核心技术主要是通过数据查询引擎使用数据表中预先创建好的索引，发挥分布式数据查询引擎的并行查询性能，内置窗口函数查询优化机制，并通过对需要分析的大量数据的批量预处理和分组求和计算。
[0007]第一方面，本申请提供了一种查询多个数据多级相关性方法，所述方法包括以下步骤：S00、从数据源获取原始数据；S10、根据搜索条件确定多个搜索维度，以每个搜索维度对原始数据中的相关字段的维度进行拼接，以使得原始数据中每一条数据中相关字段的维度对应的字段内容合并在同一维度下，根据两个及两个以上相关字段的维度新增合并维度；S20、根据每个合并维度依次拆分维度拼接后的原始数据，以使得拆分后的原始数据中每一条数据中均具有对应合并维度的字段内容；S40、根据任一搜索维度对最终拆分后的相关字段的数据进行模糊查询；S50、根据该任一搜索维度对查询结果进行去重，以获得一级相关数据；S60、根据任一搜索维度将去重后的数据与最终拆分后的相关字段的数据进行关联得到二级相关数据；S70、根据任一搜索维度对二级相关数据进行分组，输出包含该任一搜索维度的数
据的出现次数。
[0008]进一步地，数据源为关系型数据库、分布式数据库及数据场库。
[0009]进一步地，步骤S10~S70中的维度为字段。
[0010]进一步地，步骤S10中的搜索条件根据原始数据中包含的一个或多个维度而确定，且搜索条件为原始数据中其中一条或多条数据中的字段内容。
[0011]进一步地，原始数据包含多条数据，每条数据均包含多个字段内容，每个字段内容对应一个维度。
[0012]进一步地，步骤S10中，相关字段为字段内容相关的维度，每一个搜索维度对应一个合并维度。
[0013]进一步地，步骤S20中，在第一个合并维度拆分维度拼接后的原始数据后，后续每个合并维度均在前一个合并维度拆分后的基础上进行拆分。
[0014]第二方面，本申请提供了一种查询多个数据多级相关性装置，包括：通信模块，用于从数据源获取原始数据；输入模块，用于输入搜索条件；拼接模块，用于根据搜索条件确定多个搜索维度，以每个搜索维度对原始数据中的相关字段的维度进行拼接，以使得原始数据中每一条数据中相关字段的维度对应的字段内容合并在同一维度下，根据两个及两个以上相关字段的维度新增合并维度；拆分模块，用于根据每个合并维度依次拆分维度拼接后的原始数据，以使得拆分后的原始数据中每一条数据中均具有对应合并维度的字段内容；查询模块，用于根据任一搜索维度对最终拆分后的相关字段的数据内进行模糊查询；去重模块，用于根据该任一搜索维度对查询结果进行去重，以获得一级相关数据；关联模块，用于根据任一搜索维度将去重后的数据与最终拆分后的相关字段的数据进行关联得到二级相关数据；分组模块，用于根据任一搜索维度对二级相关数据进行分组；输出模块，用于根据分组后的数据输出包含该任一搜索维度的数据的出现次数。
[0015]第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的查询多个数据多级相关性方法。
[0016]第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的查询多个数据多级相关性方法。
[0017]本专利技术的主要贡献和创新点如下：1、与现有技术相比，本申请通过进行海量数据的相关性计算，可减少关联、联合的计算次数，节省大量计算资源，提升计算效率。可实现只需一次关联，节省大量计算资源，计算时间大大缩短；2、与现有技术相比，本申请由于利用SQL技术，因此可以通过数据查询引擎使用数据表中预先创建好的索引（对应维度），发挥分布式数据查询引擎的并行查询性能，内置窗口函数查询优化机制，并通过对需要分析的大量数据的批量预处理和分组求和计算，因此能够高效以及全方位的对海量的数据进行分析挖掘，解决大数据项目中的数据相关性计算较复杂的问题。
[0018]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的查询多个数据多级相关性方法的流程；图2是本申请实施例一获取的原始数据图；图3是本申请实施例一中拼接后的示意图；图4是本申请实施例一中拆分后的示意图（仅展示主要部分）；图5是本申请实施例一中第二次拆分后的示意图（仅展示主要部分）；图6是本申请实施例一中模糊搜索的示意图（仅展示主要部分）；图7是本申请实施例一中去重后的示意图（仅展示主要部分）；图8是本申请实施例一中关联后的二级相关数据清单示意图（仅展示主要部分）；图9是本申请实施例一中分组后的示意图（仅展示主要部分）；图10是根据本申请实施例的电子装置的硬件结构示意图；图11是现有技术的流程图。
具体实施方式
[0020]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0021]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种查询多个数据多级相关性方法，基于SQL技术，其特征在于，包括以下步骤：S00、从数据源获取原始数据；S10、根据搜索条件确定多个搜索维度，以每个搜索维度对所述原始数据中的相关字段的维度进行拼接，以使得所述原始数据中每一条数据中相关字段的维度对应的字段内容合并在同一维度下，根据两个及两个以上相关字段的维度新增合并维度；S20、根据每个合并维度依次拆分维度拼接后的原始数据，以使得拆分后的原始数据中每一条数据中均具有对应所述合并维度的字段内容；S40、根据任一搜索维度对最终拆分后的相关字段的数据进行模糊查询；S50、根据该任一搜索维度对查询结果进行去重，以获得一级相关数据；S60、根据任一搜索维度将去重后的数据与最终拆分后的相关字段的数据进行关联得到二级相关数据；S70、根据任一搜索维度对所述二级相关数据进行分组，输出包含该任一搜索维度的数据的出现次数。2.如权利要求1所述的一种查询多个数据多级相关性方法，其特征在于，步骤S00中，所述数据源为关系型数据库、分布式数据库及数据场库。3.如权利要求1所述的一种查询多个数据多级相关性方法，其特征在于，步骤S10~S70中的维度为字段。4.如权利要求1所述的一种查询多个数据多级相关性方法，其特征在于，步骤S10中的所述搜索条件根据所述原始数据中包含的一个或多个维度而确定，且所述搜索条件为所述原始数据中其中一条或多条数据中的字段内容。5.如权利要求4所述的一种查询多个数据多级相关性方法，其特征在于，所述原始数据包含多条数据，每条数据均包含多个字段内容，每个字段内容对应一个维度。6.如权利要求1所述的一种查询多个数据多级相关性方法，其特征在于，步骤S10中，相关字段为字段内容相关的...

【专利技术属性】
技术研发人员：刘仿，陈红贵，马浩，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：