一种支持多源异构数据的统一SQL查询系统技术方案

本发明专利技术公开了一种支持多源异构数据的统一SQL查询系统，该多源异构数据的统一SQL查询系统，首先可以快速对源数据进行读取，提取源数据库内的数据，对源数据库内的数据进行实时更新，任务管理单元进入前端页面，进行任务调度，以及数据准备，发生错误选择时，可返回前度页面，重新选择，异构数据源进行统一管理更新以及同步，更新实时数据，完成实时数据的采集，将采集生成的数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套，在异构数据源以及实时数据发现冲突时，可以对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据，在对目标数据进行汇总以及保存，整个分析查询都进行实时监控。时监控。时监控。

【技术实现步骤摘要】
一种支持多源异构数据的统一SQL查询系统


[0001]本专利技术涉及统一查询系统
，具体为一种支持多源异构数据的统一SQL查询系统。

技术介绍

[0002]大数据环境下，企业面临多样的数据结构：关系型的数据库、文件数据、 No
‑
SQL类型、流式数据、倒排索引；数据源也是丰富的：一个企业通常会存在Oracle，SQLserver，MySQL等多个关系型数据库；不同部门的CSV， Parquet,Json类型的文件会存储在不同地方。不同业务需要采用各种类型的No
‑
SQL数据库如HBase，MongD。
[0003]这种现有技术方案在使用时还存在以下问题：
[0004]1、只能对单个异构源数据库和目标数据库之间同步，不能对异构的多源数据库与单一目标数据库同步。
[0005]2、异构数据与实时数据之间易发生数据冲突，无法进行数据冲突分析以及处理。
[0006]所以需要针对上述问题进行改进。

技术实现思路

[0007]本专利技术的目的在于提供一种支持多源异构数据的统一SQL查询系统，以解决上述
技术介绍
提出的只能对单个异构源数据库和目标数据库之间同步，不能对异构的多源数据库与单一目标数据库同步以及异构数据与实时数据之间易发生数据冲突，无法进行数据冲突分析以及处理的问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种支持多源异构数据的统一SQL查询系统，包括以下步骤；
[0009]S1：在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新；
[0010]S2：对数据库的源数据进行读取，在源数据库端，根据源数据库的资料，提取源数据的操作；
[0011]S3：通过任务管理单元进行任务调度以及选择；
[0012]S4：对于异构数据源进行统一管理更新以及同步；
[0013]S5：同时更新实时数据，完成实时数据的采集；
[0014]S6：设置SQL脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口；
[0015]S7：设置异构数据源和实时数据冲突解决措施；
[0016]S8：得出目标数据，对目标数据进行输入以及引用；
[0017]S9：在数据查询分析时，对分析查询结构进行实时监控。
[0018]优选的，所述步骤S1以及步骤S2所涉及数据进行实时更新上传，以确保查询数据的准确性。
[0019]优选的，所述步骤S2中同时具有数据读取以及准备阶段。
[0020]优选的，所述步骤S3中任务调度模块，进行任务调度以及任务选择，在选择出现错误时，可返回前端页面进行重新选择。
[0021]优选的，所述步骤S5中将异构数据以及实时数据同步。
[0022]优选的，所述步骤S6中对同步1数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套。
[0023]优选的，所述步骤S7中在在异构数据源和实时数据进行冲突时，对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据。
[0024]优选的，所述步骤S8中对目标数据进行汇总以及保存。
[0025]优选的，在数据查询分析时，对分析查询结构进行实时监控，使数据查询分析有依据可循。
[0026]与现有技术相比，本专利技术的有益效果是：该多源异构数据的统一SQL查询系统，首先可以快速对源数据进行读取，提取源数据库内的数据，对源数据库内的数据进行实时更新，同时任务管理单元进入前端页面，进行任务调度，以及数据准备，在发生错误选择时，可返回前度页面，进行重新选择，对于异构数据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集，将采集生成的数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套，在异构数据源以及实时数据发现冲突时，可以对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据，在对目标数据进行汇总以及保存，整个分析查询都进行实时监控。
附图说明
[0027]图1为本专利技术原理示意图；
[0028]图2为本专利技术流程示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]请参阅图1，本专利技术提供一种技术方案：一种支持多源异构数据的统一 SQL查询系统，包括以下步骤；
[0031]S1：在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新；S2：对数据库的源数据进行读取，在源数据库端，根据源数据库的资料，提取源数据的操作；S3：通过任务管理单元进行任务调度以及选择；S4：对于异构数据源进行统一管理更新以及同步；S5：同时更新实时数据，完成实时数据的采集；S6：设置SQL脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口；S7：设置异构数据源和实时数据冲突解决措施；S8：得出目标数据，对目标数据进行输入以及引用；S9：在数据查询分析时，对分析查询结构进行实时监控。所述步骤S1以及步骤S2所涉及数据进行实时更新上传，以确保查询数据的准确性。
[0032]所述步骤S2中同时具有数据读取以及准备阶段。所述步骤S3中任务调度模块，进
行任务调度以及任务选择，在选择出现错误时，可返回前端页面进行重新选择。所述步骤S5中将异构数据以及实时数据同步。所述步骤S6中对同步1数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套。所述步骤S7中在在异构数据源和实时数据进行冲突时，对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据。所述步骤S8中对目标数据进行汇总以及保存。在数据查询分析时，对分析查询结构进行实时监控，使数据查询分析有依据可循。
[0033]请参阅图2，本专利技术提供一种技术方案：一种支持多源异构数据的统一 SQL查询系统，包括以下步骤；数据源元数据、配置模块、更新模块、数据读取模块、任务调度模块、返回模块、前端页面、异构数据同步模块、实时数据模块、SQL编辑模块、数据冲突模块、模块缓存、数据处理、目标数据以及实时监控模块。
[0034]数据源元数据，在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新。
[0035]配置模块，根据源数据库的资料，提取源数据的操作，对数据源进行重命名映射，防止命名冲突，对元数据进行增删改查操作，并定时更新元数据信息。
[0036]更新模块，对于异构数据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集。
[0037]数据读取模块，对数据库的源数据进行读取，在源数据库端。
[0038]任务调度模块，通过任务管理单元进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多源异构数据的统一SQL查询系统，其特征在于，包括以下步骤；S1：在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新；S2：对数据库的源数据进行读取，在源数据库端，根据源数据库的资料，提取源数据的操作；S3：通过任务管理单元进行任务调度以及选择；S4：对于异构数据源进行统一管理更新以及同步；S5：同时更新实时数据，完成实时数据的采集；S6：设置SQL脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口；S7：设置异构数据源和实时数据冲突解决措施；S8：得出目标数据，对目标数据进行输入以及引用；S9：在数据查询分析时，对分析查询结构进行实时监控。2.根据权利要求1所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述步骤S1以及步骤S2所涉及数据进行实时更新上传，以确保查询数据的准确性。3.根据权利要求1所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述步骤S2中同时具有数据读取以及准备阶段。4.根据权利要求1所述的一种支持多源异构数据的统...

【专利技术属性】
技术研发人员：邓昌智，
申请(专利权)人：中科金审北京科技有限公司，
类型：发明
国别省市：