面向异构存储多源数据管理及可视化系统的数据查询方法技术方案

本发明专利技术公开了一种面向异构存储多源数据管理及可视化系统的数据查询方法，提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；对于异构数据源提供统一的访问接口，用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；通过可视化的方式，实现跨异构数据源的可视化连表查询，大大降低了连表查询的复杂度，实现异构数据源的重构。

【技术实现步骤摘要】
面向异构存储多源数据管理及可视化系统的数据查询方法
本专利技术属于异构数据智能处理
，具体是涉及一种面向异构存储多源数据管理及可视化系统的数据查询方法。
技术介绍
随着网络、数据库技术的发展，越来越多的应用系统需要访问一些分布的、异构的和自治的数据库，在数据模型、查询语言、系统结构等方面存在差异，用户不能以统一的模式和查询语言访问，面临解决不同种类的数据管理系统之间的互操作问题，多源数据管理以及可视化在其中扮演着十分重要的角色。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供面向异构存储多源数据管理及可视化系统的数据查询方法，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；大大降低了链表查询的复杂度，实现异构数据源的重构。技术方案：为实现上述目的，本专利技术的一种面向异构存储多源数据管理及可视化系统的数据查询方法，提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对本文档来自技高网...

【技术保护点】
面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；所述方法包括以下步骤：S1用户使用用户名和密码登录多源数据管理及可视化系统；S2用户在数据源管理页面配置若干个数据源并输入各数据源IP地址、端口、数据源类型，各数据保存后自动添加到可用数据源列表中；S3用户切换到视图画布页面，选取可用数据源列表中可用数据表，...

【技术特征摘要】
1.面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：提供一种面向异构存储的多源数据管理及可视化系统，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；所述方法包括以下步骤：S1用户使用用户名和密码登录多源数据管理及可视化系统；S2用户在数据源管理页面配置若干个数据源并输入各数据源IP地址、端口、数据源类型，各数据保存后自动添加到可用数据源列表中；S3用户切换到视图画布页面，选取可用数据源列表中可用数据表，并将可用数据表拖曳至视图画布页面上进行布局；S4依据用户需求，对所述视图画布页面中不同的数据表进行连线并设置连接条件；S5通过保存可视化视图，自动生成SQL语句，可直接浏览最终数据组织形式；S6点击查询，可视化视图转变为JSON格式的SQL语句，并将该SQL语句发送至服务层SQL解析器中；S7SQL解析器将SQL语句进行解析，解析后SQL语句被分割成SQL语句序列；S8SQL执行引擎逐条调用SQL语句序列中的SQL语句，通过异构数据源连接器连接不同的数据源进行查询，并返回结果集；S9在内存中对各个数据源的数据进行融合，组织成用户所需数据的组织形式并返回到前台展示页面展示成表格。2.根据权利要求1所述的面向异构存储多源数据管理及可视化系统的数据查询方法，其特征在于：所述存储层以开源Hadoop技术...

【专利技术属性】
技术研发人员：吉琨，赵鹏，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏,32