数据同步装置和数据同步方法制造方法及图纸

本发明专利技术提供了一种数据同步装置，包括：事务操作配置模块，用于根据接收到的选择指令，从第一数据库中选择出事务操作；事务操作处理模块，对所述事务操作进行监控，并根据监控结果判断是否需要将所述事务操作中的数据同步到第二数据库，在判断结果为是时，获取所述事务操作对应的元数据实体表，并进行缓存；数据处理模块，根据缓存的所述元数据实体表和获取的与所述元数据实体表对应的所述第二数据库的实体表，将所述事务操作中的数据同步到所述第二数据库。相应地，本发明专利技术还提供了一种数据同步方法。通过本发明专利技术的技术方案，可以在最大程度上使两种数据库中的数据保持同步。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种数据同步装置，包括：事务操作配置模块，用于根据接收到的选择指令，从第一数据库中选择出事务操作；事务操作处理模块，对所述事务操作进行监控，并根据监控结果判断是否需要将所述事务操作中的数据同步到第二数据库，在判断结果为是时，获取所述事务操作对应的元数据实体表，并进行缓存；数据处理模块，根据缓存的所述元数据实体表和获取的与所述元数据实体表对应的所述第二数据库的实体表，将所述事务操作中的数据同步到所述第二数据库。相应地，本专利技术还提供了一种数据同步方法。通过本专利技术的技术方案，可以在最大程度上使两种数据库中的数据保持同步。【专利说明】
本专利技术涉及数据处理
，具体而言，涉及一种。
技术介绍
传统的企业数据库系统即联机事务处理系统(OLTP)作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。因此，人们逐渐尝试对OLTP数据库中的数据进行再加工，后续出现了联机分析处理(OLAP)在内的诸多应用牵引驱动了数据仓库技术，然而如何让这两种数据库更好的为企业服务，如何将生产过程中OLTP数据库导入到OLAP数据库中进行分析成为一个亟待解决的问题。目前大部分企业的处理方式是数据按照一定的周期(通常在每晚或者每周末)，从事务型数据库中导入决策支持型数据，然而这种方式会导致数据不够及时，特别是对于一些报表由于数据不全面，导致数据有误差而延误企业决策。因此，需要一种新的数据同步技术，可以在最大程度上使两种数据库中的数据保持冋步。
技术实现思路
本专利技术正是基于上述问题，提出了一种新的数据同步技术，可以在最大程度上使两种数据库中的数据保持同步。有鉴于此，本专利技术提出了一种数据同步装置，包括:事务操作配置模块，用于根据接收到的选择指令，从第一数据库中选择出事务操作；事务操作处理模块，对所述事务操作进行监控，并根据监控结果判断是否需要将所述事务操作中的数据同步到第二数据库，在判断结果为是时，获取所述事务操作对应的元数据实体表，并进行缓存；数据处理模块，根据缓存的所述元数据实体表和获取的与所述元数据实体表对应的所述第二数据库的实体表，将所述事务操作中的数据同步到所述第二数据库。其中，第一数据库可以是联机事务处理数据库，第二数据库可以是联机分析处理数据库，数据处理模块是实时的获取缓存的所述元数据实体表。通过该技术方案，可以有效的监控操作事务，及时的将联机事务处理数据库中的数据同步到联机分析处理数据库中，确保决策的高效准确。在上述技术方案中，优选地，所述数据处理模块还用于，对缓存的所述元数据实体表的数量进行统计，当所述数量超过预设数量时，按照所述预设数量分次将所述元数据实体表对应的事务操作中的数据同步至所述第二数据库。在该技术方案中，如果一次缓存的元数据实体表的数量过多，那么若这多个元数据实体表同时同步到第二数据库，则可能会造成同步时间过长，发生拥堵的现象，因此限制每次只能同步预设数量的元数据实体表对应的数据。比如，预设数量是50，而一次缓存的元数据实体表的数量是70，那么系统将把70个元数据实体表中的数据分两次同步到第二数据库中，即第一次同步50个元数据实体表中的数据，剩下的数据在第一次同步完成之后，再进行同步。而由于实际每次同步的时间很短，因此，在用户看来这70个数据是同时同步的，不存在时间上差异。在上述技术方案中，优选地，所述数据处理模块还用于，对缓存的所述元数据实体表的数量进行统计，当所述数量未达到预设数量时，将所述元数据实体表对应的事务操作中的数据同步至所述第二数据库。在该技术方案中，如果一次缓存的元数据实体表的数据未达到预设数量，那么可以直接将这些元数据实体表对应的数据都同步到第二数据库，从而达到将数据实时同步的效果。在上述技术方案中，优选地，还包括:标记模块，对已同步至所述第二数据库的所述数据进行标记。在该技术方案中，为了区分缓存中的已同步数据和未同步数据，可以在已同步的数据上添加标记。在上述技术方案中，优选地，还包括:清理模块，定时对所述标记模块标记的所述数据进行清理。在该技术方案中，为了保证数据同步的及时性，可以定期对缓存中的已同步数据进行清理。根据本专利技术的另一方面，还提供了一种数据同步方法，包括:步骤202，根据接收到的选择指令，从第一数据库中选择出事务操作；步骤204，对所述事务操作进行监控，并根据监控结果判断是否需要将所述事务操作中的数据同步到第二数据库，在判断结果为是时，获取所述事务操作对应的元数据实体表，并进行缓存；步骤206，实时的获取缓存的所述元数据实体表，根据缓存的所述元数据实体表和获取的与所述元数据实体表对应的所述第二数据库的实体表，将所述事务操作中的数据同步到所述第二数据库。其中，第一数据库可以是联机事务处理数据库，第二数据库可以是联机分析处理数据库，通过该技术方案，可以有效的监控操作事务，及时的将联机事务处理数据库中的数据同步到联机分析处理数据库中，确保决策的高效准确。在上述技术方案中，优选地，步骤206还包括:对缓存的所述元数据实体表的数量进行统计，当所述数量超过预设数量时，按照所述预设数量分次将所述元数据实体表对应的事务操作中的数据同步至所述第二数据库。在该技术方案中，如果一次缓存的元数据实体表的数量过多，那么若这多个元数据实体表同时同步到第二数据库，则可能会造成同步时间过长，发生拥堵的现象，因此限制每次只能同步预设数量的元数据实体表对应的数据。比如，预设数量是50，而一次缓存的元数据实体表的数量是70，那么系统将把70个元数据实体表中的数据分两次同步到第二数据库中，即第一次同步50个元数据实体表中的数据，剩下的数据在第一次同步完成之后，再进行同步。而由于实际每次同步的时间很短，因此，在用户看来这70个数据是同时同步的，不存在时间上差异。在上述技术方案中，优选地，所述步骤206还包括，对缓存的所述元数据实体表的数量进行统计，当所述数量未达到预设数量时，将所述元数据实体表对应的事务操作中的数据同步至所述第二数据库。在该技术方案中，如果一次缓存的元数据实体表的数据未达到预设数量，那么可以直接将这些元数据实体表对应的数据都同步到第二数据库，从而达到将数据实时同步的效果。在上述技术方案中，优选地，所述步骤206还包括:对已同步至所述第二数据库的所述数据进行标记。在该技术方案中，为了区分缓存中的已同步数据和未同步数据，可以在已同步的数据上添加标记。在上述技术方案中，优选地，还包括:步骤208，定时对标记的所述数据进行清理。在该技术方案中，为了保证数据同步的及时性，可以定期对缓存中的已同步数据进行清理。通过以上技术方案，可以在最大程度上使两种数据库中的数据保持同步。【专利附图】【附图说明】图1示出了根据本专利技术的实施例的数据同步装置的框图；图2示出了根据本专利技术的实施例的数据同步方法的流程图；图3示出了根据本专利技术的实施例的数据同步装置的结构图；图4示出了根据本专利技术的实施例的数据同步方法的具体流程图。【具体实施方式】为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和【具体实施方式】对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理本文档来自技高网...

【技术保护点】
一种数据同步装置，其特征在于，包括：事务操作配置模块，用于根据接收到的选择指令，从第一数据库中选择出事务操作；事务操作处理模块，对所述事务操作进行监控，并根据监控结果判断是否需要将所述事务操作中的数据同步到第二数据库，在判断结果为是时，获取所述事务操作对应的元数据实体表，并进行缓存；数据处理模块，根据缓存的所述元数据实体表和获取的与所述元数据实体表对应的所述第二数据库的实体表，将所述事务操作中的数据同步到所述第二数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：李春丽，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：