一种异构数据聚合查询方法、系统、装置和存储介质制造方法及图纸

本发明专利技术涉及数据采集处理技术领域，具体涉及一种异构数据聚合查询方法、系统、装置和存储介质，首先，通过数据过滤初筛到查询指令对应的不同语句，其次，通过多线程的工作方式定位到不同语句对应的数据库并执行得到查询结果，最后进行数据的聚合，本发明专利技术在数据推送的过程中，后续的数据还可以继续处理，做到了及时获推送，提升了系统的运行速度，避免了查找数据过程中的轮询和排队现象。数据过程中的轮询和排队现象。数据过程中的轮询和排队现象。

【技术实现步骤摘要】
一种异构数据聚合查询方法、系统、装置和存储介质


[0001]本专利技术涉及数据采集处理
，具体涉及一种异构数据聚合查询方法、系统、装置和存储介质。

技术介绍

[0002]随着互联网行业的快速发展，数据采集和数据处理广泛应用。国内外出现了各种数据采集、处理方法和装置，将数据采集和处理带入到新的时代。
[0003]目前，各级政府、部门及企业等，每天都产生大量的数据，但是由于网络环境、计算机体系结构、操作系统、数据格式、数据存储的逻辑模型等不同，导致存在不同结构的数据，这些数据在不同的部门相互独立存储，独立维护，彼此间相互孤立，无法实现数据共享，形成了数据孤岛。为了充分发挥数据间的潜在价值，现有技术中，通过ETL(Extract
‑
Transform
‑
Load)将数据从来源端经过抽取(extract)、解析(transform)、加载(load)传递至目的端。但是，ETL使用任务调度模式执行每个阶段的任务，需要根据轮询判断数据是否聚合需要处理，存在时间差，且任务排队，会导致阻塞，后续任务无法及时执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
任意一项所述的方...

【专利技术属性】
技术研发人员：肖云鹤，刘亚军，贺欢庆，代庆国，
申请(专利权)人：北京信格科技有限公司，
类型：发明
国别省市：