一种实现异构数据库数据采集的方法技术

本发明专利技术提供了一种实现异构数据库数据采集的方法，包括：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则；根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；对采集到的数据进行处理并汇总至总公司数据库；本发明专利技术通过直接将各分公司数据库的数据直接采集汇总到总公司数据库，避免造成数据格式不一致，导致给后期数据汇总带来了极大的不便，通过为所述各个分公司数据库配置数据库信息和触发规则、数据库驱动，实现了一次开发，适配各个分公司。适配各个分公司。适配各个分公司。

【技术实现步骤摘要】
一种实现异构数据库数据采集的方法


[0001]本专利技术涉及数据采集
，特别涉及一种实现异构数据库数据采集的方法。

技术介绍

[0002]数据已成为各种规模企业的主要优先事项。随着收集和分析数据的技术激增，企业将数据置于上下文中并从中获取新见解的能力也在不断增强。为了更精准的预测消费者的行为路径，企业每天都需要做信息收集工作，并将这些数据进行存储和分析。如果没有数据支撑，企业的营销就有可能是盲目营销，品牌希望产品及服务能够覆盖目标受众或角色的目的极有可能落空。但许多公司在项目初期没有此类的需求，或考虑不全，导致总公司和分公司分别使用了不同的系统，导致数据库和表都不相同，给后期数据汇总带来了极大的不便。
[0003]并且一般数据采集系统为各分公司分别开发，再使数据传入总公司，开发工作繁琐，后期还需人力维护，耗时费力。

技术实现思路

[0004]本专利技术提供一种实现异构数据库数据采集的方法，通过直接将各分公司数据库的数据直接采集汇总到总公司数据库，避免造成数据格式不一致，导致给后期数据汇总带来了极大的不便，通过为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现异构数据库数据采集的方法，其特征在于，包括：步骤1：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则；步骤2：根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；步骤3：根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；步骤4：对采集到的数据进行处理并汇总至总公司数据库。2.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤1之前，还包括：获取各个分公司数据库的基本信息，其过程如下：获取各个分公司数据库的键值，并确定所述键值的数据类型；确定所述数据类型对应的预设解析规则，利用所述预设解析规则对所述键值进行解析，获取所述键值对应的特征数据；基于所述特征数据确定各个分公司数据库服务的端口范围，并根据端口范围
‑
数据库类型之间的映射关系，确定所述各个分公司数据库的数据库类型；确定所述数据库类型的特征扩展规则，并利用所述特征扩展规则，对各个分公司数据库进行扫描，获取各个分公司数据库的基本信息。3.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤2中，根据各个分公司的数据库配置信息，选择数据库驱动包括：步骤201：获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配；步骤202：若匹配成功，则确定分公司数据库对应的数据库驱动；步骤203：否则，基于所述数据库配置信息定制驱动程序，并基于所述驱动程序建立数据库驱动。4.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，利用所述数据采集接口进行数据采集包括：获取数据采集指令，并对所述数据采集指令进行分析，确定数据采集类型；根据所述数据采集类型选择对应的数据采集接口从分公司数据库中进行数据的采集。5.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤4中，对采集到的数据进行处理并汇总至总公司数据库包括：步骤401：接收来自各个分公司数据库采集到的数据，并对所述数据进行降噪处理，对所述数据进行标准化处理，得到标准采集数据；步骤402：对所述标准采集数据按照数据类型进行分类，得到多组待存储数据；步骤403：将所述待存储数据按照组别分别存储值所述总公司数据库中不同的存储单元。6.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，基于所述数据库驱动确定数据采集接口包括：提取所述数据库驱动与数据采集相关的驱动程序，并基于所述驱动程序确定数据采集接口的数量和类型；
基于所述数据采集接口的类型为所述数据采集接口设置接口格式参数；基于所述数据采集接口的数量和类型，对所述数据采集接口进行排序，得到接口排列顺序；根据所述接口排列顺序为设置接口参数的数据采集接口建立接口集合；基于运行测试工具对所述接口集合中每个数据采集接口测试，判断每个数据采集接口是否能够正常运行；若是，保存所述接口集合；否则，基于测试结果确定所述数据采集接口的出错点，并根据预设修正方案对所述出错点进行修正，得到最终的接口集合。7.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，根据所述触发规则，登录分公司数据库包括：基于所述分公司数据库的开发环境，匹配规则解析器的IP地址，并基于所述IP地址对所述触发规则进行解析，生成触发描述语言；对所述触发描述语言进行语义解析，生成对应的一个或多个语义结果；当语义结果为多个时，根据所述触发描述语言的对象信息确定每个语义结果对应的触发子事件，并确定所述触发子事件的优先级信息，选择优先级最高的语义结果作为最终语义结果；基于所述最终语义结果对所述触发描述语言进行划分，并生成多个触发子事件；基于预设触发链表，获取所述多个触发子事件对应的第一触发器；获取登录所述分公司数据库提供的第二触发器，并从所述第二触发器中选择与所述第一触发器相匹配的第三触发器；获取所述第三触发器的历史触发记录，并根据所述历史触发记录，并...

【专利技术属性】
技术研发人员：和雄伟，师丹华，杨光华，魏专利，梁晓霞，
申请(专利权)人：太原市高远时代科技有限公司，
类型：发明
国别省市：