BI工具数据表底层关联的方法技术

本发明专利技术公开了一种BI工具数据表底层关联的方法，包括以下步骤：进行数据库基础表的关联关系的建立，并将关系记录下来；判断是实时的数据或是抽取的数据；若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。有益之处在于可以根据数据来源不同选择相应的关联算法，在进行自助分析时可以任意组合成分析结果；不需要将冗余数据存储一遍。

The method of bottom Association of data table in Bi tool

【技术实现步骤摘要】
BI工具数据表底层关联的方法
本专利技术涉及一种BI工具数据表底层关联的方法。
技术介绍
目前，市面上的其他BI工具如果要对数据库的多张表中不同字段进行分析，展示结果，需要人工进行多表的数据合并并生成数据，每改变一次字段集合，就需要重新进行多表的数据合并。主要缺陷在于，1.存储了冗余的数据，占据了额外的空间；2.生成数据的方案灵活性较差，不能很好的按需组合进行数据分析。
技术实现思路
为解决现有技术的不足，本专利技术提供了一种BI工具数据表底层关联的方法，通过对关联关系处理方式进行重构，使进行自助分析时可以根据选择的字段任意组合出分析结果。为了实现上述目标，本专利技术采用如下的技术方案：一种BI工具数据表底层关联的方法，包括以下步骤：进行数据库基础表的关联关系的建立，并将关系记录下来；判断是实时的数据或是抽取的数据；若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。进一步地，在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。进一步地，进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。进一步地，对于实时的数据通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。进一步地，在抽取数据时，根据先前设置的关联关系，更新各关联关系的关联缓存。进一步地，关联缓存是基于Spider数据集间关联数据的预处理后的缓存文件；通过预先把Spider数据集的关联数据预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。进一步地，在查询时，通过命中策略，命中对应的关联缓存，可以取到对应的数据。进一步地，关联缓存为树状结构。进一步地，更新任意一张表需要更新包含这张表的所有关联缓存且需要更新这张表和这张表的所有祖先节点为根节点的关联缓存。进一步地，多路径情况下，从已选择的路径中任意选择一条路径生成关联缓存。本专利技术的有益之处在于，可以根据数据来源不同选择相应的关联算法，从而在进行自助分析时可以根据选择的字段任意组合成分析结果，同时不需要将冗余数据存储一遍，并按实际需要展现结果数据。附图说明图1是本专利技术的一种BI工具数据表底层关联的方法的流程图。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。如图1所示，一种BI工具数据表底层关联的方法，包括以下步骤：进行数据库基础表的关联关系的建立，并将关系记录下来；判断是实时的数据或是抽取的数据；若是实时的数据(实时数据)，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；以选字段为例，选字段的操作被即时转换为数据库查询语句。若是抽取的数据(抽取数据)，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。作为一种具体的实施方式，在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。关联方向即表示哪个表作为主表，关联方向包含三种：1：1、1：N、N：1，根据实际情况谨慎选择。对于实时的数据：实时的数据即所有需要展现的数据都是即刻通过数据库查询语句查询而得到的，此种场景下，通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具(可以采用FineBI)来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。对于抽取的数据：如果数据时抽取的，抽取中会根据先前设置的关联关系，更新各关联关系的关联缓存。关联缓存是基于Spider数据集间关联数据的预处理后的缓存文件。通过预先把Spider数据集的关联数据预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。在查询时，通过命中策略，命中对应的关联缓存，可以取到对应的数据。关联缓存为树状结构，以左表为根节点(Root节点)，N:1的1端为其子节点，递归生成的一棵一般树。更新任意一张表，都需要更新包含这张表的所有关联缓存。更新任意一张表，都需要更新这张表和这张表的所有祖先节点为根节点的关联缓存。多路径情况下，从已选择的路径中任意选择一条路径生成关联缓存。采用Head-Tail方式：ROOT为head，子孙节点为Tail，例如A->B->C->D可以分解成AB、AC、AD集合。命中策略：如果查询Head-Tail方式的集合是关联缓存的子集，则命中，否则不命中。如果是实时连接数据库，则实时转换查询语句实现分析结果的展现；如果是抽取进入Spider引擎的数据，则在更新每张表的时候，通过生成少量关联缓存将JOIN算子的结果记录下来的方式，实际使得数据之间的联系被记录下来，从而实现分析时可以将有关联关系的字段任意组合。多表中字段的选择，如果使用查询语言，需要进行多次JOIN算子操作，而关联缓存的概念，使得这种操作的结果被保存下来，预先把Spider数据集的关联预处理计算好，把算好的结果集保存成一个文件，每次需要计算Join时，不再实时计算，直接从关联缓存中获取。可以根据数据来源不同选择相应的关联算法，从而在进行自助分析时可以根据选择的字段任意组合成分析结果，同时不需要将冗余数据存储一遍，并按实际需要展现结果数据。以上显示和描述了本专利技术的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本专利技术，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本专利技术的保护范围内。本文档来自技高网...

【技术保护点】
1.一种BI工具数据表底层关联的方法，其特征在于，包括以下步骤：/n进行数据库基础表的关联关系的建立，并将关系记录下来；/n判断是实时的数据或是抽取的数据；/n若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；/n若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。/n

【技术特征摘要】
1.一种BI工具数据表底层关联的方法，其特征在于，包括以下步骤：
进行数据库基础表的关联关系的建立，并将关系记录下来；
判断是实时的数据或是抽取的数据；
若是实时的数据，在进行自助分析时，前端的操作被即时转换为数据库查询语句，生成结果并返回，在系统内进行结果查看；
若是抽取的数据，在抽取数据时需要进行数据更新，更新中检测到存在关联关系，对关联关系进行分析生成关联缓存；在进行自助分析时，前端的操作可以通过系统查阅关联缓存中的索引信息，生成多字段的查询结果并返回，在系统内进行结果查看。


2.根据权利要求1所述的BI工具数据表底层关联的方法，其特征在于，
在表展示页面，可以利用关联视图提供的功能，进行关联关系的设置。


3.根据权利要求2所述的BI工具数据表底层关联的方法，其特征在于，
进入关联设置界面，需要选择被关联的表及关联字段，添加关联方向。


4.根据权利要求1所述的BI工具数据表底层关联的方法，其特征在于，
对于实时的数据通过系统内置的转换机制，把表的数据全部加载到内存中，由BI工具来计算关联结果数据，将前端的操作实时转化为嵌套的查询语言，从而输出符合前端实际选择的查询结果。
...

【专利技术属性】
技术研发人员：王正慧，
申请(专利权)人：帆软软件有限公司，
类型：发明
国别省市：江苏;32