基于数据中心的数据融合方法及系统技术方案

本发明专利技术公开了一种基于数据中心的数据融合方法及系统，该方法包括：获取网办大厅使用到的业务系统中的数据表，在数据中心中构建镜像数据库，生成相应的镜像数据表；所述数据中心接收到所述网办大厅发送的回写数据请求，根据回写数据对相应的所述镜像数据表进行回写操作，生成相应的回写操作记录，以及，基于预设规则启动触发器实施数据交换，将所述镜像数据库的数据同步给业务系统；所述数据中心在所述镜像数据库的数据同步完成后，将相应数据清洗转换并存入所述数据中心的主数据库；所述网办大厅从所述主数据库中获取展示数据。本发明专利技术通过镜像数据库中转回写数据，实现了数据融合，保持数据的一致性，真正意义上实现办事、服务、数据一站式。

【技术实现步骤摘要】
基于数据中心的数据融合方法及系统
本专利技术涉及数据存储
，特别涉及一种基于数据中心的数据融合方法及系统。
技术介绍
目前网上办事大厅一般采用数据交换技术实现数据中心与业务系统交换，但目前网办大厅只允许从数据中心获取数据，不能回写数据到数据中心，也不能直接从业务系统获取或写回数据到业务系统数据库，如图1所示，主要是考虑到往数据中心或业务系统回写数据很难做到规则统一和数据同步的实时性，这样势必造成数据中心和业务系统数据表数据错误或不一致。因此，网上办事大厅采用传统模式进行数据交换，难以做到数据融合，存在信息、数据、办事、服务等割裂，未能真正意义上实现办事、服务、数据一站式，极大影响用户体验感。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于数据中心的数据融合方法，能够回写数据到数据中心或数据中心，实现数据融合。本专利技术还提出一种使用上述基于数据中心的数据融合方法的基于数据中心的数据融合系统。根据本专利技术的第一方面实施例的基于数据中心的数据融合方法，包括：获取网办大厅使用到的业务系统中的数据表，在数据中心中构建镜像数据库，生成相应的镜像数据表；所述数据中心接收到所述网办大厅发送的回写数据请求，根据回写数据对相应的所述镜像数据表进行回写操作，生成相应的回写操作记录，以及，基于预设规则启动触发器实施数据交换，将所述镜像数据库的数据同步给业务系统；所述数据中心在所述镜像数据库的数据同步完成后，将相应数据清洗转换并存入所述数据中心的主数据库；所述网办大厅与所述主数据库相连接，从所述主数据库中获取展示数据。根据本专利技术实施例的基于数据中心的数据融合方法，至少具有如下有益效果：通过构建镜像数据库，由镜像数据库中转并将回写数据存入数据中心及业务系统，实现了数据融合，保持数据的一致性，真正意义上实现办事、服务、数据一站式。根据本专利技术的一些实施例，所述数据交换的方法包括：镜像库数据表更新步骤，比较所述镜像数据表及所述业务系统中对应的数据表的结构规则信息，根据比较结果更新所述镜像数据表；业务系统数据表同步步骤，根据所述回写操作记录将所述镜像数据表的数据同步给所述业务系统。操持镜像库的数据表与业务系统的数据表结构及数据上的一致。根据本专利技术的一些实施例，所述镜像库数据表更新步骤包括：表结构检测步骤，根据所述镜像数据表获取所述业务系统中对应的数据表的第一表结构，判断所述镜像数据表的第二表结构是否与所述第一表结构一致，得到表结构检测结果；规则检测步骤，根据所述镜像数据表获取所述业务系统中对应的数据表的第一参照完整性规则，判断所述镜像数据表的第二参照完整性规则是否与所述第一参照完整性规则一致，得到规则检测结果；更新步骤，若所述表结构检测结果及所述规则检测结果至少有一项为不一致，则对所述镜像数据表的表结构进行更新。根据表结构定义及参照完整性规则维持镜像库表结构与业务系统中对应的数据表结构一致。根据本专利技术的一些实施例，将所述回写数据写入所述镜像数据库，生成相应的回写操作记录的方法包括：根据所述回写数据请求的类型，在所述镜像数据表相应的记录中增加相应的操作标记，并记录操作起始位置及操作数目。对镜像库的数据操作记录，但不作实际删除，便于按预设规则整体将数据给业务系统进行同步，而非频繁请求操作。根据本专利技术的一些实施例，根据所述回写操作记录将所述镜像数据库的数据同步给所述业务系统的方法包括：根据所述镜像数据表的所述操作标记，在所述业务系统中相应的数据表中定位至所述操作起始位置，对所述操作数目的数据触发相应的更新操作。根据镜像数据库操作记录，对业务系统数据表进行相应操作，完成对业务系统数据表的回写操作，保证业务系统数据表的数据与镜像数据库中一致。根据本专利技术的一些实施例，所述构建镜像数据库的方法包括：从所述业务系统中提取所述网办大厅使用的数据表，获取所述数据表的所述第一表结构及所述第一参照完整性规则；根据所述第一表结构及所述第一参照完整性规则在所述镜像数据库中生成相应的所述镜像数据表，并保存所述镜像数据表的所述第二表结构及所述第二参照完整性规则。事先依据业务数据表的表结构定义及参照完整性规则生成镜像数据表，有利于保证镜像数据库的数据表与业务系统中相应的数据表结构一致，在后续回写数据时，避免出错，可减小业务数据表结构规则变动引发的镜像表结构同步量，提升后续回写处理速度。根据本专利技术的一些实施例，所述网办大厅获取展示数据的方法包括：所述网办大厅通过向所述主数据库发起数据请求来获取所述展示数据，或者，所述主数据库实时向所述网办大厅推送所述展示数据；所述预设规则包括：按预设时间间隔启动触发器。网办大厅获取展示数据增加灵活性；回写触发定时操作，可避免长时间镜像数据库与业务系统数据不一致的同时，能避免频繁同步，影响镜像数据库及业务系统的正常工作。根据本专利技术的第二方面实施例的基于数据中心的数据融合系统，包括业务系统，网办大厅及数据中心，其中所述数据中心包括：镜像数据库，用于存储所述网办大厅处理的业务系统中的数据表相应的镜像数据表；主数据库，用于存储与所述业务系统保持同步的所述镜像数据表；数据管理模块，用于根据所述网办大厅的回写数据请求，对所述镜像数据库进行相应操作，并根据预设规则将所述镜像数据库的数据同步给所述业务系统。根据本专利技术实施例的基于数据中心的数据融合系统，至少具有如下有益效果：以镜像数据库为回写中转，网办大厅可更改业务系统数据，保证数据中心与业务系统的数据一致性，实现数据融合，保持数据的一致性，真正意义上实现办事、服务、数据一站式。根据本专利技术的一些实施例，所述数据管理模块包括：回写数据处理单元，用于根据所述回写数据请求的类型，在所述镜像数据表相应的记录中增加相应的操作标记，并记录操作起始位置及操作数目；镜像数据表结构同步单元，用于基于预设规则根据所述业务系统的所述数据表的第一表结构及第一参照完整性定义，对相应的所述镜像数据表进行更新；业务系统数据同步单元，用于基于预设规则根据所述操作标记，在所述业务系统中相应的数据表中定位至所述操作起始位置，对所述操作数目的数据触发相应的更新操作。镜像数据库处理回写数据在相应记录中增加操作标记，便于同步给业务系统；镜像数据表结构同步单元使得镜像库的数据表与业务系统的数据表在结构上保持一致，便于回写数据同步给业务系统。根据本专利技术的一些实施例，所述网办大厅包括：数据采集模块，用于生成回写数据，向所述数据中心发出回写请求；数据应用模块，用于从所述主数据库中获取数据并展示。数据采集模块收集回写数据，与镜像数据库相连接；数据应用模块用于展示数据；网办大厅分类有序地处理数据，提高效率，降低错误发生率。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为现有的网上办事大厅的数据交换示意图；图2为本专利技术实施例的方法的步骤示意图；图3为本专利技术实施例的方法的回写数据的处理过程示意图；图4为本专利技术实施例的系统的模块示意框图；<本文档来自技高网...

【技术保护点】
1.一种基于数据中心的数据融合方法，其特征在于，包括：/n获取网办大厅使用到的业务系统中的数据表，在数据中心中构建镜像数据库，生成相应的镜像数据表；/n所述数据中心接收到所述网办大厅发送的回写数据请求，根据回写数据对相应的所述镜像数据表进行回写操作，生成相应的回写操作记录，以及，基于预设规则启动触发器实施数据交换，将所述镜像数据库的数据同步给业务系统；/n所述数据中心在所述镜像数据库的数据同步完成后，将相应数据清洗转换并存入所述数据中心的主数据库；/n所述网办大厅与所述主数据库相连接，从所述主数据库中获取展示数据。/n

【技术特征摘要】
1.一种基于数据中心的数据融合方法，其特征在于，包括：
获取网办大厅使用到的业务系统中的数据表，在数据中心中构建镜像数据库，生成相应的镜像数据表；
所述数据中心接收到所述网办大厅发送的回写数据请求，根据回写数据对相应的所述镜像数据表进行回写操作，生成相应的回写操作记录，以及，基于预设规则启动触发器实施数据交换，将所述镜像数据库的数据同步给业务系统；
所述数据中心在所述镜像数据库的数据同步完成后，将相应数据清洗转换并存入所述数据中心的主数据库；
所述网办大厅与所述主数据库相连接，从所述主数据库中获取展示数据。


2.根据权利要求1所述的基于数据中心的数据融合方法，其特征在于，所述数据交换的方法包括：
镜像库数据表更新步骤，比较所述镜像数据表及所述业务系统中对应的数据表的结构规则信息，根据比较结果更新所述镜像数据表；
业务系统数据表同步步骤，根据所述回写操作记录将所述镜像数据表的数据同步给所述业务系统。


3.根据权利要求2所述的基于数据中心的数据融合方法，其特征在于，所述镜像数据表更新步骤包括：
表结构检测步骤，根据所述镜像数据表获取所述业务系统中对应的数据表的第一表结构，判断所述镜像数据表的第二表结构是否与所述第一表结构一致，得到表结构检测结果；
规则检测步骤，根据所述镜像数据表获取所述业务系统中对应的数据表的第一参照完整性规则，判断所述镜像数据表的第二参照完整性规则是否与所述第一参照完整性规则一致，得到规则检测结果；
更新步骤，若所述表结构检测结果及所述规则检测结果至少有一项为不一致，则对所述镜像数据库中的相应所述镜像数据表的表结构进行更新。


4.根据权利要求2所述的基于数据中心的数据融合方法，其特征在于，将所述回写数据写入所述镜像数据库，生成相应的回写操作记录的方法包括：
根据所述回写数据请求的类型，在所述镜像数据表相应的记录中增加相应的操作标记，并记录操作起始位置及操作数目。


5.根据权利要求4所述的基于数据中心的数据融合方法，其特征在于，根据所述回写操作记录将所述镜像数据库的数据同步给所述业务系统的方法包括：
根据所述镜像数据表的所述操作标记，在所述业务系统中相应的数据表中...

【专利技术属性】
技术研发人员：廖海生，徐晓丽，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：广东;44