数据集成系统和数据集成方法技术方案

本发明专利技术提供了一种数据集成系统和数据集成方法，其中，该数据集成系统包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；处理单元，用于通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；写入单元，用于通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。通过本申请的技术方案，可以有效地提高数据集成的稳定性和数据集成的效率。

【技术实现步骤摘要】
数据集成系统和数据集成方法
本专利技术涉及数据处理
，具体而言，涉及一种数据集成系统和一种数据集成方法。
技术介绍
目前在云计算环境下BI（商业智能）战略变得越来越重要，而在商业智能中实时的数据集成在其中占有很重要的部分，需要一种完成数据抽取，转换，加载，分析等一整套数据处理流程的方法。目前现有的实时数据集成的方法稳定性能比较差，对于列存储的数据仓库如gbase也没有很好的支持，并且效率也不是很高，因此有必要对现有的增量实时数据集成进行优化。
技术实现思路
本专利技术正是基于上述问题，提出了一种数据集成技术，能够有效地提高数据集成的稳定性和数据集成的效率。有鉴于此，本专利技术提出了一种数据集成系统，包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。在上述技术方案中，优选地，还包括：持久化单元，用于对所述挖掘出的数据进行持久化。在上述技术方案中，优选地，还包括：记录单元，用于通过所述第二线程记录所述处理数据的标识。在上述技术方案中，优选地，所述写入单元还用于通过所述第三线程将所述目标语句批量写入所述目标数据库。在上述技术方案中，优选地，所述第一线程、所述第二线程和所述第三线程是异步执行的。本申请还提出了一种数据集成方法，包括：步骤202，通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；步骤204，通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；步骤206，通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。在上述技术方案中，优选地，所述步骤202还包括：对所述挖掘出的数据进行持久化。在上述技术方案中，优选地，所述步骤204还包括：通过所述第二线程记录所述处理数据的标识。在上述技术方案中，优选地，所述步骤206还包括：通过所述第三线程将所述目标语句批量写入所述目标数据库。在上述技术方案中，优选地，所述第一线程、所述第二线程和所述第三线程是异步执行的。通过以上技术方案，可以有效地提高数据集成的稳定性和数据集成的效率。附图说明图1示出了根据本专利技术的实施例的数据集成系统的示意框图；图2示出了根据本专利技术的实施例的数据集成方法的示意流程图；图3示出了根据本专利技术的实施例的数据集成系统的结构示意图；图4示出了根据本专利技术的实施例的数据流向示意图；图5示出了根据本专利技术的实施例的数据挖掘和发送至消息队列的示意流程；图6示出了根据本专利技术的实施例的数据写入目标数据库的示意流程图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。图1示出了根据本专利技术的实施例的数据集成系统的示意框图。如图1所示，根据本专利技术的实施例的数据集成系统100包括：日志挖掘单元102，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；处理单元104，用于通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；写入单元106，用于通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。从源端数据库中挖掘出数据，并将数据写入目标数据库，需要先对源端数据库的进行日志挖掘，然后将挖掘出的数据放入缓存队列，再将数据发送至消息队列，最后写入到目标数据库，通过为日志挖掘操作、将数据发送至消息队列操作和写入目标数据库三步操作分别设置线程，可以使得上述三个操作同时进行，比如通过对源端数据库进行日志挖掘操作得到数据A，然后将数据A放入缓存队列，在将缓存中的数据A发送至消息的队列时，进行日志挖掘操作的线程（即第一线程）可以继续对源端数据进行日志挖掘，并且将数据写入目标数据库的线程（即第三线程）也可以在此时将在数据A之前已经存在于消息队列中的其他数据，继续写入目标数据库，而无需等待数据A写入目标数据库之后才能再次对远端数据库进行日志挖掘，也无需等待数据A写入目标数据库之后才将消息队列中的其他数据写入目标数据库，从整体上提高了数据获取、处理和写入的效率，提高了实时数据集成的效率。其中的第一预设条件和第二预设条件，可以预先设置一张数据表来规定所需的业务数据，对于即将实例化的数据和即将从缓存中发送至消息队列的数据，可以判断其是否输入预先设置的表格中所规定的内容，若不属于，说明该数据并不是用户所需，则可以直接删除，从而减少对无用数据的处理，提高了实时数据集成的效率。优选地，还包括：持久化单元108，用于对挖掘出的数据进行持久化。由于进行日志挖掘得到的内容都存在于缓存中，如果进行日志挖掘的线程（即第一线程）中断或停止，那么存在于缓存中的内容将全部丢失，进而导致进行需要同步的操作数据丢失，通过将挖掘出的数据进行持久化处理，比如持久化到本地日志中，从而可以在进行日志挖掘的线程中断或停止的情况下，依然能够通过查询本地日志来调用挖掘出的数据，提高了实时数据集成的稳定性。优选地，还包括：记录单元110，用于通过第二线程记录处理数据的标识。若第二线程发生中断或停止，那么挖掘出的数据会由于没有发送到消息队列中而丢失，通过记录处理数据设置标识，具体可以是在每一个处理数据发送到消息队列之前，都记录下该数据当前的SCN号，从而避免第二线程崩溃而导致处理数据丢失，提高了实时数据集成的稳定性。优选地，写入单元106还用于通过第三线程将目标语句批量写入目标数据库。可以在目标语句积累到一定数量后，通过批量导入的方式，将目标语句写入目标数据库，从而避免逐条写入语句而造成的频繁交互，提高了实时数据集成的效率。优选地，还包括：所述第一线程、所述第二线程和所述第三线程是异步执行的。从而提高每步操作的同步率，进而提高实时数据集成的效率。图2示出了根据本专利技术的实施例的数据集成方法的示意流程图。如图2所示，根据本专利技术的实施例的数据集成方法包括：步骤202，通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；步骤204，通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；步骤206，通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。从源端数据库中挖本文档来自技高网...

【技术保护点】
一种数据集成系统，其特征在于，包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。

【技术特征摘要】
1.一种数据集成系统，其特征在于，包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库；所述第一线程、所述第二线程和所述第三线程是异步执行的。2.根据权利要求1所述的数据集成系统，其特征在于，还包括：持久化单元，用于对所述挖掘出的数据进行持久化。3.根据权利要求1所述的数据集成系统，其特征在于，还包括：记录单元，用于通过所述第二线程记录所述处理数据的标识。4.根据权利要求1所述的数据集成系统，其特征在于，所述写入单元还用于通过所述第三线程将所述目标语句批量写入所述目标数据...

【专利技术属性】
技术研发人员：衡骏，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：