基于消息队列的跨数据源查询方法、系统及服务器节点技术方案

本发明专利技术提供一种基于消息队列的跨数据源查询方法、系统及服务器节点，所述基于消息队列的跨数据源查询系统包括：SOL预处理模块，用于基于用户输入的数据生成SOL语句；SOL优化模块，用于对所述SOL语句进行优化获取执行效率最高的SOL语句；元数据更新模块，用于根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点，将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。本发明专利技术可以进一步提高查询吞吐量，实现跨数据源跨区域的分布式查询，连接到任意节点的用户端能够看到集群中所有队列，即使该队列不位于连接节点上。

Cross data source query method, system and server node based on message queue

【技术实现步骤摘要】
基于消息队列的跨数据源查询方法、系统及服务器节点
本专利技术属于大数据
，特别是涉及跨数据源分布式查询

技术介绍
跨数据源分布式查询是近年来业界的研究热点之一。传统的技术方案由于可扩展性和处理性能的限制无法满足其要求。新兴基于消息队列的具有良好的可扩展性，需要将不同数据源数据汇聚到同一个数据库里，由于不可篡改性、匿名性和去中心化等特性，区块链技术得到了工业界和学术界的广泛关注，催生了大量区块链应用，包括比特币、以太坊等。传统区块链采用链式结构，通过全网共识机制维护全局统一的最长链，查询吞吐量低、且不可扩展，使其不能应用于对实时性要求较高和高吞吐量的场景中，如银行和交易所等。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于消息队列的跨数据源查询方法、系统及服务器节点，用于解决现有技术中跨数据源查询数据查询吞吐量低、且不可扩展的技术问题。为实现上述目的及其他相关目的，本专利技术的实施例提供一种基于消息队列的跨数据源查询方法，包括：基于用户输入的数据生成SOL语句；对所述SOL语本文档来自技高网...

【技术保护点】
1.一种基于消息队列的跨数据源查询方法，其特征在于：包括：/n基于用户输入的数据生成SOL语句；/n对所述SOL语句进行优化获取执行效率最高的SOL语句；/n根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点；/n将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。/n

【技术特征摘要】
1.一种基于消息队列的跨数据源查询方法，其特征在于：包括：
基于用户输入的数据生成SOL语句；
对所述SOL语句进行优化获取执行效率最高的SOL语句；
根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点；
将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。


2.根据权利要求1所述的基于消息队列的跨数据源查询方法，其特征在于：所述基于用户输入的查询数据生成SOL语句的一种具体实现方式包括：
声明待查询的变量；
对操作数据进行分组和/或关联；
根据所述待查询的变量、操作数据的分组和/或关联以及本地节点的元数据生成SOL语句。


3.根据权利要求1或2所述的基于消息队列的跨数据源查询方法，其特征在于：所述对所述SOL语句进行优化获取执行效率最高的SOL语句的实现方式包括：
对所述SOL语句进行语法解析，将带索引的变量放在查询条件的最前方并删除非必要的变量。


4.根据权利要求1或2所述的基于消息队列的跨数据源查询方法，其特征在于：所述基于消息队列的跨数据源查询方法还包括：
搭建RabbotMQ集群，配置RabbotMQ集群中的多个节点，使得每个所述节点既是中心节点，又是附属节点，连接到任意节点的用户端均可看到集群中所有队列。


5.根据权利要求3所述的基于消息队列的跨数据源查询方法，其特征在于：所述更新本地节点的方式包括实时更新，手动更新和触发更新。

【专利技术属性】
技术研发人员：杨文龙，郭罗军，刘永超，
申请(专利权)人：合肥森亿智能科技有限公司，
类型：发明
国别省市：安徽;34