数据整合系统和方法技术方案

本发明专利技术提供一种数据整合系统和方法，该数据整合系统包括：初始化模块，从不同数据源获取数据；适配模块，从所述初始化模块接收数据，并提供具有标准数据格式的数据；校验模块，从所述适配模块接收标准数据格式的数据，并校验所述标准数据格式的数据的完整性和正确性，过滤不符合要求的数据；持久化模块，将通过校验的数据持久化到数据库；以及监控模块，监控数据整合系统中每条数据的整合情况。本发明专利技术不是单纯采用数据文件整合及数据及时整合这两种数据整合方式的任何一种，而是将两种方式有机地融为一体；灵活地适应各种情况的数据整合需求，并且提供尽可能灵活的水平和垂直扩展功能。

【技术实现步骤摘要】

本专利技术涉及一种，尤其涉及一种能够提供具有标准数据格式 的数据的。
技术介绍
众所周知，现今企业中的信息发展迅速，技术更是日新月异。然而多方面的信息建 设以及自然的延续，虽然各自取得相当的效益，却也造成了一座座的信息孤岛，阻碍了进一 步的信息运用以及更大的统合效益。为了阻断信息割据，提高信息系统的运行效率，数据整 合技术成为各个企业所关心的技术。数据整合技术可将各个信息孤岛的数据进行互通，将 孤立的信息整合到一起，形成最终企业需要的信息。在数据整合技术中，其中两种为数据文件整合方式和数据及时整合方式，下面分 别介绍1.数据文件整合方式(PUSH方式)图1是数据文件整合方式的架构图。参见图1，所谓数据文件整合方式，是指由源 数据提供方提供一个或多个数据文件，将源数据提供方的所有数据变化一次性提供给数据 接收方，而由数据接收方对数据文件进行处理，其中文件格式比较常见的为xml、txt、exCel 等。此种方式主要应用场景是一次性导入大量数据。该方式的优点是容易控制，便于储存； 缺点是文件格式种类繁杂，并且文件中的数据格式也是五花八门，一旦增加一种文件格式 和数据格式，程序需要经常做很本文档来自技高网...

【技术保护点】
一种数据整合系统，包括：初始化模块，从不同数据源获取数据；适配模块，从所述初始化模块接收数据，并提供具有标准数据格式的数据；校验模块，从所述适配模块接收标准数据格式的数据，并校验所述标准数据格式的数据的完整性和正确性，过滤不符合要求的数据；持久化模块，将通过校验的数据持久化到数据库；以及监控模块，监控数据整合系统中每条数据的整合情况。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘鑫，云广，
申请(专利权)人：北京迅捷英翔网络科技有限公司，
类型：发明
国别省市：11[中国|北京]