【技术实现步骤摘要】
本专利技术涉及计算机，特别是涉及基于数据虚拟化的智能数据集成方法及系统。
技术介绍
1、(extract-transform-load，etl)是数据价值化过程中非常重要的一环，是承前启后的必要的一步。etl负责将各种异构数据源中的数据如关系数据、平面数据文件等抽取到临时的中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2、对于企业日常的数据开发需求，传统的数据开发流程是：1.需求沟通：领导需求下达至业务人员，业务人员与数据相关工程师(如数据分析师、开发工程师、dba等)反复沟通业务目标，确定数据计算规则与流转流程；2.提取：从多个异构数据源中提取数据，包括关系数据库、文件、web api等。3.转换：按照事先设计的开发流程，对提取的数据进行转换和清洗，例如合并、分割、过滤、转换数据类型等，设计一系列中间表及业务目标宽表结构并保存数据。4.加载：将转换形成的最后目标宽表数据加载到目标系统中，例如数据仓库、数据湖、商业智能系统等。5.可视化：将数据以图形化、报表等方式展示到前端界面，供查询、查看。
3、现有技术中存在的问题是：第一方面，由于数据开发前，技术人员必须明确业务目标，并梳理完数据及数据开发流程，因此需要和业务人员反复沟通业务需求，因此，难以快速的理解业务需求并转化为数据需求。第二方面，由于现有技术中通常需要先将不同数据源中所需数据复制到同一数据源，数据复制需消耗大量时间，同时数据开发过程的中间表数据也需要存储，使得整个数据开发链路无法快速查询。第三
技术实现思路
1、本专利技术提供一种基于数据虚拟化的智能数据集成方法及系统，用以解决现有技术中技术人员难以简单快速的确定数据需求，数据发生修改时，需要重新设计数据开发方案的问题，实现帮助技术人员简单快速的确定数据需求，使数据开发方案的确定过程更加简单、智能和灵活。
2、一种基于数据虚拟化的智能数据集成方法，所述方法包括：对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表；其中，每层级虚拟表可编辑，每层级虚拟表中每个虚拟表包含数据源的数据表的业务主题字段，且所述业务主题字段可编辑；针对每个虚拟表，响应于用户对虚拟表的绑定操作，基于预确定的视图，确定并向用户展示与虚拟表关联的数据源中数据表的表头字段；其中，所述预确定的视图包含虚拟表对应的逻辑表，所述虚拟表对应的逻辑表用于保存虚拟表对应的元数据，包括与虚拟表关联的数据源中数据表的表头字段；针对每个虚拟表，响应于用户对所述与虚拟表关联的数据源中数据表的表头字段的选择操作，确定与虚拟表关联的数据源中数据表的表头字段。
3、在其中一个实施例中，在对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表之前，所述方法还包括：响应于用户的配置操作，通过数据源连接器，更新数据库中各数据表对应的视图；其中，各数据表对应的视图中包括各数据表对应的虚拟表、逻辑表，以及虚拟表与逻辑表之间的映射关系；所述各数据表对应的虚拟表表示各数据表对应的业务主题标签图谱，逻辑表表示业务主题标签图谱中各业务主题标签在数据表中的元数据信息；所述虚拟表与逻辑表之间的映射关系为业务主题标签图谱中各业务主题标签与数据表中的元数据信息的映射关系。
4、在其中一个实施例中，所述对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表，包括：在确定视图中包含目标业务字段对应的业务主题标签图谱的情况下，基于视图中目标业务字段对应的业务主题标签图谱，确定目标业务字段对应的业务主题标签图谱；基于各目标业务字段对应的业务主题标签图谱，确定并向用户展示目标业务宽表对应的多层级虚拟表及目标业务宽表与多层级虚拟表之间的关联关系；所述目标业务字段为目标业务宽表的任一个业务字段；或，在确定视图中不包含目标业务字段对应的业务主题标签图谱的情况下，确定并向用户展示目标业务宽表对应的多层级虚拟表。
5、在其中一个实施例中，在向用户展示目标业务宽表对应的多层级虚拟表之后，所述方法还包括：响应于用户对所述目标业务宽表以及虚拟表的编辑操作，更新目标业务宽表与多层级虚拟表之间的关联关系。
6、在其中一个实施例中，所述响应于用户对所述目标业务宽表以及虚拟表的编辑操作，更新目标业务宽表与多层级虚拟表之间的关联关系，包括：响应于用户对所述目标业务宽表的第一关联操作，确定目标业务宽表与多层级虚拟表的第一直接关联关系；或，响应于用户对所述多层级虚拟表中各虚拟表的第二关联操作，确定多层级虚拟表中各虚拟表之间的第二直接关联关系；或，响应于用户对目标层级虚拟表的新增或删除操作，更新目标层级虚拟表；所述目标层级虚拟表为多层级虚拟表中的至少一层；或，响应于用户对目标虚拟表的业务主题字段的编辑操作，更新目标虚拟表的业务主题字段；所述目标虚拟表为多层级虚拟表中的至少一个。
7、在其中一个实施例中，在所述确定与虚拟表关联的数据源中数据表的表头字段之后，所述方法还包括：响应于用户的确定操作，基于所述多层虚拟表、第一直接关联关系和第二直接关联关系，以及与虚拟表关联的数据源中数据表的表头字段，生成目标业务宽表对应的实例。
8、在其中一个实施例中，所述响应于用户的配置操作，通过数据源连接器，更新数据库中各数据表对应的视图，包括：响应于用户的配置操作，通过数据源连接器，获取数据库下的数据表及元数据信息，以及数据表中的表头字段及元数据信息；针对每个数据表，基于数据表及对应的第一预设业务主题标签确定算法，确定数据表对应的第一业务主题标签；并基于数据表中表头字段及对应的第二预设业务主题标签确定算法，确定数据表中的表头字段对应的第二业务主题标签；针对每个数据表，基于所述第一业务主题标签、第二业务主题标签，确定数据表的业务主题标签图谱；基于各数据表的业务主题标签图谱，确定数据库中各数据表对应的视图。
9、在其中一个实施例中，所述第一预设业务主题标签确定算法中包括预设的规则类算法、智能算法以及交互算法，所述基于数据表及其对应的第一预设业务主题标签确定算法，确定数据表对应的第一业务主题标签，包括：在确定数据表对应的第一预设业务主题标签确定算法中包含数据表的规则类算法的情况下，将数据表按照对应的规则类算法进行拆分，得到数据表的初始业务主题标签，并响应于用户对数据表的初始业务主题标签的修改或选择操作，得到数据表对应的第一业务主题标签；或，在确定数据表对应的第一预设业务主题标签确定算法中不包含数据表的规则类算法，但包含数据表的智能算法的情况下，将数据表按照数据表的智能算法进行拆分，得到数据表的初始业务主题标签，并响应于用户对数据表的初始业务主题标签的修改操作本文档来自技高网...
【技术保护点】
1.一种基于数据虚拟化的智能数据集成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，在对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表之前，所述方法还包括：
3.根据权利要求2所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表，包括：
4.根据权利要求1或3所述的基于数据虚拟化的智能数据集成方法，其特征在于，在向用户展示目标业务宽表对应的多层级虚拟表之后，所述方法还包括：
5.根据权利要求4所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述响应于用户对所述目标业务宽表以及虚拟表的编辑操作，更新目标业务宽表与多层级虚拟表之间的关联关系，包括：
6.根据权利要求2所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述响应于用户的配置操作，通过数据源连接器，更新数据库中各数据表对应的视图，包括：
7.根据权利要求6所述的基于数据虚拟化的智能数据集成
8.一种基于数据虚拟化的智能数据集成系统，其特征在于，所述系统包括：
9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述基于数据虚拟化的智能数据集成方法的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于数据虚拟化的智能数据集成方法的步骤。
...【技术特征摘要】
1.一种基于数据虚拟化的智能数据集成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，在对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表之前，所述方法还包括：
3.根据权利要求2所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述对目标业务宽表进行业务解析，确定并向用户展示目标业务宽表对应的多层级虚拟表，包括：
4.根据权利要求1或3所述的基于数据虚拟化的智能数据集成方法，其特征在于，在向用户展示目标业务宽表对应的多层级虚拟表之后，所述方法还包括：
5.根据权利要求4所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述响应于用户对所述目标业务宽表以及虚拟表的编辑操作，更新目标业务宽表与多层级虚拟表之间的关联关系，包括：
6.根据权利要求2所述的基于数据虚拟化的智能数据集成方法，其特征在于，所述响应于...
【专利技术属性】
技术研发人员：郑聪，李君威，龚小龙，麻志毅，
申请(专利权)人：杭州未名信科科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。