一种数据可视化平台用异步数据源连接系统技术方案

本发明专利技术提供了应用于数据管理技术领域的一种数据可视化平台用异步数据源连接系统，一种数据可视化平台用异步数据源连接系统，包括本地数据端和外部数据源，本地数据端包括可视化展示模块、核心数据库和数据分类模块，本地数据端上设置有用于连接外部数据源的中继点，中继点包括总检索模块和多个子数据库，外部数据源包括多个外部数据库，子数据库与外部数据库之间设置有访问通道；总检索模块内设置有两个并列的检索通道，可以实现在中继点端设置检索条件对已连接的多个外部数据源进行预采集，采集获得的数据集合在中继点中与外部数据源对应的子数据库内，可检索子数据集，以进行快速的数据读写而不易受外部数据源影响。速的数据读写而不易受外部数据源影响。速的数据读写而不易受外部数据源影响。

【技术实现步骤摘要】
一种数据可视化平台用异步数据源连接系统


[0001]本申请涉及数据管理
，特别涉及一种数据可视化平台用异步数据源连接系统。

技术介绍

[0002]目前市面上数据库越来越多，对于大屏可视化项目，有时需要同时展示不同数据库的数据，这需要相关技术人员耗费大量的时间统一数据源数据，开发工作量也很大。
[0003] 异步数据源连接系统是用于多数据源连接的数据管理系统的一部分。这个系统可以帮助用户连接和管理不同的数据源，如关系型数据库、非关系型数据库、文本文件、Web API等，通过提供一个共同的接口，让用户可以轻松地访问和使用这些数据。
[0004]目前对于多数据源的数据连接管理系统，在数据采集时对连接的数据源没有进行深度的整理，只是简单的整理后保存到本地数据源。
[0005]本专利技术主要目的是快速开发，不需要可视化开发人员花费大量的时间在数据源上，配置好连接地址就可以方便的使用此数据源。

技术实现思路

[0006]本申请目的在于提供一种用于数据可视化平台进行接入多数据源时，方便多数据源异步数据管理的系统，相比现有技术提供一种数据可视化平台用异步数据源连接系统，包括本地数据端和外部数据源，本地数据端包括可视化展示模块、核心数据库和数据分类模块，本地数据端上设置有用于连接外部数据源的中继点，中继点包括总检索模块和多个子数据库，外部数据源包括多个外部数据库，子数据库与外部数据库之间设置有访问通道；总检索模块内设置有两个并列的检索通道，两个检索通道分别用于外部数据源数据检索和子数据库数据检索；子数据库包括子数据集、子数据检索模块和数据管理模块，子数据集包括冷数据集和热数据集。
[0007]可以实现在中继点端设置检索条件对已连接的多个外部数据源进行预采集，采集获得的数据集合在中继点中与外部数据源对应的子数据库内，然后将检索结果展示在可视化展示模块上，在进行进一步检索时，直接检索中继点内的子数据集，以进行快速的数据读写而不易受外部数据源影响。
[0008]进一步的，总检索模块上设置有检索命令分片程序，命令分片程序用于将总检索模块上设置的检索条件命令分片成多个子检索命令。通过对多个子数据库和对应的外部数据源进行检索，获得所需数据。
[0009]可选的，数据管理模块的功能包括：子数据库内数据读写，子数据库内数据的检索和数据验证。
[0010]进一步的，冷数据集用于外部数据源中采集获得数据的保存，热数据集用于数据的验证更新，热数据集每次更新数据后，数据管理模块再根据更新内容对冷数据集进行修
改。
[0011]进一步的，访问通道用于子数据库对外部数据源的读取，对外部数据源进行数据检索采集时，热数据集通过访问通道与外部数据库连接。
[0012]进一步的，可视化展示模块用于展示总检索模块的检索结果、子数据库内收集的数据和已连接的外部数据源。
[0013]进一步的，数据分类模块用于写入核心数据库内数据的格式分类、格式转换和格式统一管理，方便核心数据库内数据的调取，可以配置数据采集，将数据源数据根据检索条件保存到本地数据源。
[0014]进一步的，中继点内设置有子数据库管理模块和内存管理模块。在内存管理模块检测到任一子数据库内存不足时，子数据库管理模块可将其他空余的子数据库与该子数据库关联，使关联的子数据库可在其内存不足时辅助数据储存。
[0015]可选的，子数据库内设置有验证更新程序，在每次检测模块的数据采集条件更换时，通过访问通道访问外部数据源，验证热数据与外部数据源中数据是否匹配。
[0016]可选的，子数据库内设置有验证定时验证程序，子数据库定时通过访问通道访问外部数据源，通过数据管理模块验证冷数据集与外部数据源中数据是否匹配。
[0017]相比于现有技术，本申请的优点在于：（1）本方案可以实现在中继点端设置检索条件对已连接的多个外部数据源进行预采集，采集获得的数据集合在中继点中与外部数据源对应的子数据库内，然后将检索结果展示在可视化展示模块上，在进行进一步检索时，直接检索中继点内的子数据集，以进行快速的数据读写而不易受外部数据源影响。
[0018] （2）总检索模块上设置有检索命令分片程序，命令分片程序用于将总检索模块上设置的检索条件命令分片成多个子检索命令，多个子检索命令分别对多个子数据库进行检索。通过对多个子数据库和对应的外部数据源进行检索，获得所需数据。
[0019] （3）冷数据集用于外部数据源中采集获得数据的保存，热数据集用于数据的验证更新，热数据集每次更新数据后，数据管理模块再根据更新内容对冷数据集进行修改。
[0020] （4）数据分类模块用于写入核心数据库内数据的格式分类、格式转换和格式统一管理，方便核心数据库内数据的调取，可以配置数据采集，将数据源数据根据检索条件保存到本地数据源，中继点内设置有子数据库管理模块和内存管理模块。在内存管理模块检测到任一子数据库内存不足时，子数据库管理模块可将其他空余的子数据库与该子数据库关联，使关联的子数据库可在其内存不足时辅助数据储存。
[0021] （5）子数据库内设置有验证更新程序，在每次检测模块的数据采集条件更换时，通过访问通道访问外部数据源，验证热数据与外部数据源中数据是否匹配。
[0022] （6）子数据库内设置有验证定时验证程序，子数据库定时通过访问通道访问外部数据源，通过数据管理模块验证冷数据集与外部数据源中数据是否匹配。
附图说明
[0023]图1为本申请的系统框图；图2为本申请的系统架构图；图3为本申请的逻辑流程图；
图4为本申请的实施例2工作流程图；图5为本申请的实施例3工作流程图。
具体实施方式
[0024]实施例将结合说明书附图，对本申请技术方案进行清楚、完整地描述，基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]实施例1：本专利技术提供了一种数据可视化平台用异步数据源连接系统，请参阅图1
‑
3，一种数据可视化平台用异步数据源连接系统，包括本地数据端和外部数据源，本地数据端包括可视化展示模块、核心数据库和数据分类模块，本地数据端上设置有用于连接外部数据源的中继点，中继点包括总检索模块和多个子数据库，外部数据源包括多个外部数据库，子数据库与外部数据库之间设置有访问通道，子数据库包括子数据集、子数据检索模块和数据管理模块，子数据集包括冷数据集和热数据集；总检索模块内设置有两个并列的检索通道，两个检索通道分别用于外部数据源数据检索和子数据库数据检索；总检索模块上设置有检索命令分片程序，命令分片程序用于将总检索模块上设置的检索条件命令分片成多个子检索命令。通过对多个子数据库和对应的外部数据源进行检索，获得所需数据。
[0026]数据管理模块的功能包括：子数据库内数据读写，子数据库内数据的检索和数据验证，进行数据验证时，数据管理模块可对冷数据集内储存的数据溯源，并将冷数据集内储存的数据与其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据可视化平台用异步数据源连接系统，包括本地数据端和外部数据源，其特征在于，所述本地数据端包括可视化展示模块、核心数据库和数据分类模块，所述本地数据端上设置有用于连接外部数据源的中继点，所述中继点包括总检索模块和多个子数据库，所述外部数据源包括多个外部数据库，所述子数据库与外部数据库之间设置有访问通道；所述总检索模块内设置有两个并列的检索通道，两个所述检索通道分别用于外部数据源数据检索和子数据库数据检索；所述子数据库包括子数据集、子数据检索模块和数据管理模块，所述子数据集包括冷数据集和热数据集。2.根据权利要求1所述的一种数据可视化平台用异步数据源连接系统，其特征在于，所述总检索模块上设置有检索命令分片程序，所述命令分片程序用于将总检索模块上设置的检索条件命令分片成多个子检索命令。3.根据权利要求1所述的一种数据可视化平台用异步数据源连接系统，其特征在于，所述数据管理模块的功能包括：子数据库内数据读写，子数据库内数据的检索和数据验证。4.根据权利要求1所述的一种数据可视化平台用异步数据源连接系统，其特征在于，所述冷数据集用于外部数据源中采集获得数据的保存，所述热数据集用于冷数据集内数据的更新和外部数据源中数据的读取。5.根据权利要求1...

【专利技术属性】
技术研发人员：黄拔瑜，
申请(专利权)人：安徽泛联信息科技有限公司，
类型：发明
国别省市：