基于异构数据源和分布式文件系统的融合查询方法技术方案

本发明专利技术公开了一种基于异构数据源和分布式文件系统的融合查询方法，包括如下步骤：(1)用户向系统发起查询请求；系统包括处理节点、源数据节点和维护节点；(2)处理节点接收用户的请求，分析请求生成语法执行树；(3)处理节点和源数据节点交互，获取各个表的源数据信息，并根据源数据类型的不同进行任务的下发；(4)目标数据源根据请求进行数据提取和分析，并返回筛选后的数据；(5)处理节点对返回的数据进行传输、聚合和连接操作，将处理后的结果返回给用户。本发明专利技术中的用户可以方便的进行异构数据源查询，查询不同的结构化数据库和全文引擎数据；用户可以利用分布式查询技术，实现分布式文件系统和结构化数据库的融合查询。

【技术实现步骤摘要】
基于异构数据源和分布式文件系统的融合查询方法
本专利技术涉及异构数据源查询
，尤其是一种基于异构数据源和分布式文件系统的融合查询方法。
技术介绍
近年来，伴随着计算机技术和互联网的快速发展，开启信息爆炸的时代。社会上充斥着比以往更多的数据，促成种类繁多的数据系统的建立。传统的数据存储方式多是基于关系型数据库如myspl、oracle和sqlserver进行存储，在少量数据的场景下，获得了良好的用户体验。但随着海量数据时代的到来，新型的分布式文件系统HDFS，因其高容错和更廉价的存储扩展，收到越来越多人的青睐。全文搜索是大数据时代的关键应用，ElasticSearch作为当前流行的企业级搜索引擎，能够达到实时搜索、稳定、可靠、快速的效果。由于历史原因及当时的技术条件限制，上述数据系统多是独立建设并自成系统。在便捷化、信息化的大趋势下，这些数量众多的数据系统存在的问题也逐渐凸显出来，主要有如下两个方面：1、各数据源独立，无统一标准，很难通过统一的接口进行数据查询；2、各应用系统基于不同数据源建立，由于数据源间的标准不统一，无法实现系统之间的数据共享、连接和融合查询。基于以上的情况，本文档来自技高网...

【技术保护点】
一种基于异构数据源和分布式文件系统的融合查询方法，其特征在于，包括如下步骤：(1)用户向系统发起查询请求；系统包括处理节点、源数据节点和维护节点；(2)处理节点接收用户的请求，分析请求生成语法执行树；(3)处理节点和源数据节点交互，获取各个表的源数据信息，并根据源数据类型的不同进行任务的下发；(4)目标数据源根据请求进行数据提取和分析，并返回筛选后的数据；(5)处理节点对返回的数据进行传输、聚合和连接操作，将处理后的结果返回给用户。

【技术特征摘要】
1.一种基于异构数据源和分布式文件系统的融合查询方法，其特征在于，包括如下步骤：(1)用户向系统发起查询请求；系统包括处理节点、源数据节点和维护节点；(2)处理节点接收用户的请求，分析请求生成语法执行树；(3)处理节点和源数据节点交互，获取各个表的源数据信息，并根据源数据类型的不同进行任务的下发；(4)目标数据源根据请求进行数据提取和分析，并返回筛选后的数据；(5)处理节点对返回的数据进行传输、聚合和连接操作，将处理后的结果返回给用户。2.如权利要求1所述的基于异构数据源和分布式...

【专利技术属性】
技术研发人员：何海峰，夏飞鹏，周艳，
申请(专利权)人：南京中新赛克科技有限责任公司，
类型：发明
国别省市：江苏,32