一种基于SQLite模式的数据汇聚方法及存储介质技术

本发明专利技术涉及一种基于SQLite模式的数据汇聚方法及存储介质，所述方法包括以下步骤：上级系统构建数据采集模型，并通过SQLite语言生成数据库模板文件；将生成的数据库模板文件推送至下级系统；下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端；采集端识别数据库模板文件，配置采集目标数据源的目标数据库及采集任务；采集端根据采集任务从目标数据库采集目标数据，并将采集的目标数据导入至数据库模板文件中；将导入目标数据的数据库模板文件推送至上级系统；上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚。通过应用SQLite数据库对各个不同系统数据进行采集并汇聚，实现各个系统之间业务数据共享交换。据共享交换。据共享交换。

【技术实现步骤摘要】
一种基于SQLite模式的数据汇聚方法及存储介质


[0001]本申请涉及数据采集领域，具体涉及一种基于SQLite模式的数据汇聚方法及存储介质。

技术介绍

[0002]随着信息资源管理技术的不断发展，信息化管理技术已经运用到生活、工作的各个方面，从商业领域也逐步扩展政企领域，实现技术的多元化应用。
[0003]目前，信息资源管理系统在政企中起到越来越显著和重要的作用，通过信息资源管理技术使政企实现了无纸化办公，在信息传输上更加快捷高效，大大提高政企的办公效率。但是，随着政企部门信息化不断建设，出现不同层级间的信息资源管理系统数据不连通、不共享、不互认的情况，在对系统进行升级改造和数据联通时，由于各级系统的厂商不同，就会出现接口开发成本高、数据对接工作量大，过多投入人力财力的问题，比如进行数据库对接，需要猜测数据库表结构，分析数据库表结构等；或者由于系统版本过于老旧，厂商已经不再提供技术支持，就会出现在数据联通过程中不能顺利协调配合的问题等。

技术实现思路

[0004]鉴于上述问题，本申请提供了一种基于SQLite模式的数据汇聚方法及存储介质，解决现有不同系统之间业务数据共享共用难的问题。
[0005]为实现上述目的，专利技术人提供了一种基于SQLite模式的数据汇聚方法，包括以下步骤：
[0006]上级系统构建数据采集模型，并通过SQLite语言生成数据库模板文件；
[0007]将生成的数据库模板文件推送至下级系统；
[0008]下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端；
[0009]采集端识别数据库模板文件，配置采集目标数据源的目标数据库及采集任务；
[0010]采集端根据采集任务从目标数据库采集目标数据，并将采集的目标数据导入至数据库模板文件中；
[0011]将导入目标数据的数据库模板文件推送至上级系统；
[0012]上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚。
[0013]进一步优化，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：
[0014]上级系统获取下级系统所需要采集的目标数据类型以及采集数据对应的存放位置；
[0015]根据获取的目标数据类型及对应的存放位置构建数据采集模型。
[0016]进一步优化，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：
[0017]下级系统解析接收到数据库模板文件，得到数据库模板文件的版本号；
[0018]判断数据库模板文件的版本号是否发生变化，若发生变化，则将新的数据库模板文件导入至采集端；
[0019]若未发生变化，则让采集端采用原有的数据库模板文件进行数据采集。
[0020]进一步优化，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚”具体包括以下步骤：
[0021]上级系统对接收到的存储有目标数据的数据库模板文件进行缓存；
[0022]在预设时间内，判断是否接收到同一采集端推送的数据库模板文件；
[0023]若未收到，则将缓存中的数据库模板文件进行融合汇聚；
[0024]若收到，则判断数据库模板文件中的目标数据是否发生变化；
[0025]若发生变化，则根据变化后的数据库模板文件中的目标数据进行融合汇聚；
[0026]若未发生变化，则丢弃新接收的数据库模板文件，将缓存中的数据库模板文件中的目标数据进行融合汇聚。
[0027]进一步优化，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚”具体包括以下步骤：
[0028]将数据库模板文件中更新和新增的目标数据构建对应的树或表，并判断更新和新增的目标数据是否存在对应关系，若存在对应关系，则自动生成关系图；
[0029]并通过对应函数将关系图生成指定数据库文件。
[0030]还提供另一个技术方案：一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时执行以下步骤：
[0031]上级系统构建数据采集模型，并通过SQLite语言生成数据库模板文件；
[0032]将生成的数据库模板文件推送至下级系统；
[0033]下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端；
[0034]采集端识别数据库模板文件，配置采集目标数据源的目标数据库及采集任务；
[0035]采集端根据采集任务从目标数据库采集目标数据，并将采集的目标数据导入至数据库模板文件中；
[0036]将导入目标数据的数据库模板文件推送至上级系统；
[0037]上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚。
[0038]进一步优化，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：
[0039]上级系统获取下级系统所需要采集的目标数据类型以及采集数据对应的存放位置；
[0040]根据获取的目标数据类型及对应的存放位置构建数据采集模型。
[0041]进一步优化，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：
[0042]下级系统解析接收到数据库模板文件，得到数据库模板文件的版本号；
[0043]判断数据库模板文件的版本号是否发生变化，若发生变化，则将新的数据库模板文件导入至采集端；
[0044]若未发生变化，则让采集端采用原有的数据库模板文件进行数据采集。
[0045]进一步优化，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进
行融合汇聚”具体包括以下步骤：
[0046]上级系统对接收到的存储有目标数据的数据库模板文件进行缓存；
[0047]在预设时间内，判断是否接收到同一采集端推送的数据库模板文件；
[0048]若未收到，则将缓存中的数据库模板文件进行融合汇聚；
[0049]若收到，则判断数据库模板文件中的目标数据是否发生变化；
[0050]若发生变化，则根据变化后的数据库模板文件中的目标数据进行融合汇聚；
[0051]若未发生变化，则丢弃新接收的数据库模板文件，将缓存中的数据库模板文件中的目标数据进行融合汇聚。
[0052]进一步优化，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚”具体包括以下步骤：
[0053]将数据库模板文件中更新和新增的目标数据构建对应的树或表，并判断更新和新增的目标数据是否存在对应关系，若存在对应关系，则自动生成关系图；
[0054]并通过对应函数将关系图生成指定数据库文件。
[0055]区别于现有技术，上述技术方案，当上级系统需要下级系统内的数据时，上级系统通过构建数据采集模型，并通过SQLite语言本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SQLite模式的数据汇聚方法，其特征在于，包括以下步骤：上级系统构建数据采集模型，并通过SQLite语言生成数据库模板文件；将生成的数据库模板文件推送至下级系统；下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端；采集端识别数据库模板文件，配置采集目标数据源的目标数据库及采集任务；采集端根据采集任务从目标数据库采集目标数据，并将采集的目标数据导入至数据库模板文件中；将导入目标数据的数据库模板文件推送至上级系统；上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚。2.根据权利要求1所述的基于SQLite模式的数据汇聚方法，其特征在于，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：上级系统获取下级系统所需要采集的目标数据类型以及采集数据对应的存放位置；根据获取的目标数据类型及对应的存放位置构建数据采集模型。3.根据权利要求1所述的基于SQLite模式的数据汇聚方法，其特征在于，所述步骤“下级系统解析数据库模板文件，并将解析后的数据库模板文件导入至采集端”具体包括以下步骤：下级系统解析接收到数据库模板文件，得到数据库模板文件的版本号；判断数据库模板文件的版本号是否发生变化，若发生变化，则将新的数据库模板文件导入至采集端；若未发生变化，则让采集端采用原有的数据库模板文件进行数据采集。4.根据权利要求1所述的基于SQLite模式的数据汇聚方法，其特征在于，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚”具体包括以下步骤：上级系统对接收到的存储有目标数据的数据库模板文件进行缓存；在预设时间内，判断是否接收到同一采集端推送的数据库模板文件；若未收到，则将缓存中的数据库模板文件进行融合汇聚；若收到，则判断数据库模板文件中的目标数据是否发生变化；若发生变化，则根据变化后的数据库模板文件中的目标数据进行融合汇聚；若未发生变化，则丢弃新接收的数据库模板文件，将缓存中的数据库模板文件中的目标数据进行融合汇聚。5.根据权利要求1所述的基于SQLite模式的数据汇聚方法，其特征在于，所述步骤“上级系统将所有返回的数据库模板文件中的目标数据进行融合汇聚”具体包括以下步骤：将数据库模板文件中更新和新增的目标数据构建对应的树或表，并判断更新和新增的目标数据是否存在对应关系，若存在对应关系，则自动生成关系图；并通过对应函数将关系...

【专利技术属性】
技术研发人员：赵立，
申请(专利权)人：格美安北京信息技术有限公司，
类型：发明
国别省市：